Clasificación de preguntas sin respuesta: la retórica de Twitter David Tomás* Departamento de Lenguajes y Sistemas Informáticos Universidad de Alicante, España dtomas@dlsi.ua.es Resumen Debido a la velocidad con la que se propaga la información en Twitter, son numerosos los usuarios que utilizan esta red social para formular preguntas. Este contexto resulta propicio para plantear un cambio de paradigma en el desarrollo de sistemas de búsqueda de respuestas, haciendo que éstos no sólo sean capaces de responder a las consultas de los usuarios, sino también de detectar cuándo un usuario tiene una necesidad de información para acudir en su ayuda. Detectar ésta necesidad de información en Twitter no es trivial, ya que en numerosas ocasiones la gente emplea en sus mensajes interrogaciones retóricas que no requieren de una respuesta. En este trabajo se ha desarrollado un clasificador basado en aprendizaje automático para discriminar entre preguntas reales y retóricas en Twitter, como un primer paso para la creación de sistemas de búsqueda de respuestas que sean capaces de detectar cuándo un usuario realiza una petición real de información. Keywords: Recuperación de información, búsqueda de respuestas, clasificación de preguntas, preguntas retóricas, redes sociales, Twitter 1. Introducción Las redes sociales han adquirido una relevancia indiscutible en el panorama actual de Internet. Millones de personas se conectan y vinculan a diario en estas redes para verter en ellas contenidos, ideas, noticias y opiniones. Los usuarios de Internet han pasado de ser meros consumidores de información a convertirse en participantes activos y motores de la red. Twitter1 es una de las principales redes sociales, con más de 140 millones de usuarios que generan 340 millones de mensajes diarios [8]. Esta red ofrece un servicio de microblogging que permite a sus miembros enviar y leer mensajes de texto (conocidos como tweets) de un máximo de 140 caracteres. Esta restricción en el tamaño de los mensajes y la facilidad de propagación entre sus usuarios la han convertido en una fuente intestimable de información en tiempo real. * 1 Este trabajo ha sido financiado por el Gobierno Español a través del proyecto TEXTMESS 2.0 (TIN2009-13391-C04-01), por la Universidad de Alicante (GRE10-33) y por la Generalitat Valenciana (GV/2012/110). http://www.twitter.com/. Es precisamente esta inmediatez con la que se propagan los mensajes la que hace que muchos usuarios utilicen Twitter como foro para plantear sus dudas y consultas, en lugar de recurrir a sistemas de recuperación de información en la Web como Google2 o a sitios sociales de búsqueda de respuestas como Yahoo! Answers.3 Este panorama nos ofrece la posibilidad de plantear un nuevo paradigma para el desarrollo de sistemas de búsqueda de respuestas (BR): frente a los sistemas actuales, donde es el usuario el que acude a éstos con una petición de información para obtener una respuesta, en el contexto planteado aquı́ serı́a el propio sistema el que detectarı́a que un usuario tiene una necesidad de información y acudirı́a en su ayuda. La creación de este tipo de sistemas pasarı́a por ser capaces de detectar cuándo un usuario está expresando con su mensaje una petición de información. Detectar esta situación en Twitter no es una tarea trivial, ya que en numerosas ocasiones sus usuarios expresan opiniones y argumentos mediante oraciones interrogativas con fines retóricos: su objetivo no es obtener una respuesta, sino enfatizar los argumentos expuestos. Mensajes como “¿Por qué siempre me toca a mı́?” o “¿Cómo me pude olvidar?” tienen la apariencia de una pregunta, pero no expresan ninguna necesidad de información ya que no esperan una respuesta. Es lo que se conoce como pregunta retórica. En este artı́culo se pretende sentar las bases de este nuevo paradigma de funcionamiento para los sistemas BR, realizando una aproximación a la detección de peticiones de información realizadas por los usuarios de Twitter. Esta tarea se afrontará desde el punto de vista de la clasificación de preguntas [7]. Esta investigación se centra en el desarrollo de un sistema basado en aprendizaje automático capaz de discriminar entre peticiones reales de información y expresiones retóricas que adquieren la forma de oración interrogativa pero que no buscan respuesta alguna. El lenguaje informal que habitualmente se emplea en Twitter y la particular fisonomı́a de sus mensajes hacen que las caracterı́sticas de aprendizaje planteadas en este sistema de clasificación disten notablemente de las empleadas en los sistemas de clasificación de preguntas tradicionales. Este trabajo tiene la siguiente estructura: la sección 2 describe la idiosincrasia de Twitter; en la sección 3 se describe la aproximación seguida para la detección automática de preguntas, incluyendo las caracterı́sticas de aprendizaje y el corpus empleado; en la sección 4 se definen los experimentos realizados y los resultados obtenidos; la sección 5 muestra los trabajos relacionados con la investigación desarrollada en este artı́culo; finalmente, en la sección 6 se presentan las conclusiones y el trabajo futuro que podrı́a derivarse de esta investigación. 2. Anatomı́a de Twitter En este apartado se describen los elementos y conceptos fundamentales de la red social Twitter. El primero de estos conceptos es el de tweet, que es como se denomina a los mensajes de como máximo 140 caracteres que emiten los 2 3 http://www.google.com/. http://answers.yahoo.com/. usuarios de esta red social. Por defecto, los tweets tienen un carácter público, siendo accesibles para cualquier persona. En Twitter existen dos tipos básicos de relaciones entre sus miembros. Dado un usuario, los followers son las personas que siguen a ese usuario, mientras que los friends son las personas a las que sigue ese usuario. Cuando un usuario decide seguir a otro, automáticamente pasa a recibir todos los tweets que éste genere. Debido a la limitación que supone la cuota de 140 caracteres, el lenguaje empleado en los tweets suele ser marcadamente informal, plagado de notaciones taquigráficas y del argot usado habitualmente en los foros de Internet y en los mensajes SMS telefónicos. Además de estos rasgos comunes a otros medios, los mensajes de Twitter poseen sus propios rasgos distintivos: los hashtags, las menciones, los enlaces y los retweets. Un hashtag o etiqueta es una cadena de caracteres formada por una o varias palabras y precedidas por el sı́mbolo almohadilla (#). Son incluidos por los usuarios en sus tweets para representar un tema con el que se quiere identificar el mensaje enviado (por ejemplo, usar #elecciones20n para referirse a las elecciones generales de 2011 en España). Una mención es una alusión a un usuario de Twitter y se representa por el sı́mbolo arroba (@) seguido del identificador del usuario (por ejemplo, “@johnmaeda” o “@d tomas”). También es habitual la inclusión en el texto de los tweets de enlaces a páginas Web, imágenes y vı́deos, complementando la información introducida en el mensaje. Finalmente, cuando un mensaje es un retweet de uno previo (un seguidor retransmite un mensaje recibido a sus propios seguidores), se incluye el término RT en el mensaje para indicar esta situación de forma explı́cita. 3. Clasificación de preguntas Los sistemas de BR tienen como finalidad encontrar respuestas concretas a necesidades precisas de información formuladas por los usuarios mediante lenguaje natural. Sin embargo, no todos los tipos de pregunta que se pueden dar en la comunicación humana son de interés para estos sistemas, sino sólo aquellas oraciones formuladas por los usuario que tienen como objetivo recibir una cierta información como respuesta. Las preguntas se formulan habitualmente mediante oraciones interrogativas, contrastando con aquellas oraciones que hacen una afirmación, una petición o expresan una exclamación. Las preguntas retóricas son un ejemplo de oraciones interrogativas utilizadas por su efecto persuasivo, pero que no esperan una respuesta (“¿Cuántas veces te lo tengo que repetir?”). Estas preguntas son un artefacto usado por el hablante para deleitar, persuadir o conmover al oyente. La clasificación de preguntas es una de las tareas fundamentales en los sistemas de BR. Esta tarea consiste en, dada una pregunta, determinar el tipo de respuesta esperada. Para consultas como “¿Quién es el presidente de Estados Unidos?” y “¿Dónde está la Torre Eiffel?”, un sistema de clasificación de preguntas determinarı́a que se espera como respuesta el nombre de una persona y un lugar respectivamente. Esta clasificación permite filtrar un gran número de respuestas posibles y quedarse sólo con aquellas que pertenecen al tipo de respuesta esperada. El problema aquı́ planteado es el de discriminar entre oraciones interrogativas que tienen una necesidad de información real y las que no. Este problema va a ser abordado como una tarea de clasificación automática de preguntas, donde a cada instancia de entrada (tweet) le será asignada una clase de entre dos posibles, “real” o “retórica”, indicando si la pregunta espera una respuesta o no. El clasificador se va a construir siguiendo el paradigma de aprendizaje automático supervisado. Para desarrollar un sistema de este tipo es necesario definir una serie de componentes. El primero de ellos es la taxonomı́a de tipos de pregunta que queremos asignar a las entradas que lleguen al sistema. En este caso, las clases posibles son únicamente dos (clasificación binaria). El segundo componente del sistema es el conjunto de ejemplos (tweets en nuestro caso) correctamente etiquetados con las posibles clases de la taxonomı́a. Es lo que se conoce como corpus de entrenamiento. El tercer componente es el conjunto de caracterı́sticas que se van a extraer de cada instancia y que identificará la información relevante para la clasificación. El último componente es un algoritmo capaz de aprender a predecir la clase a la que pertenece cada nueva instancia de entrada a partir de las caracterı́sticas de aprendizaje extraı́das del corpus de entrenamiento. En nuestros experimentos utilizaremos algoritmos ya existentes pertenecientes a diferentes familias. En los siguientes puntos se describen las caracterı́sticas de aprendizaje extraı́das y el corpus desarrollado. 3.1. Caracterı́sticas de aprendizaje Uno de los principales retos a la hora de desarrollar sistemas de clasificación basados en aprendizaje automático es definir el conjunto de caracterı́sticas que mejor permita al algoritmo de aprendizaje discriminar entre las distintas clases de la taxonomı́a. En el campo de la clasificación de preguntas, estudios previos han demostrado que el empleo de bolsas de palabras y de información semántica (entidades, listas de palabras semánticamente relacionadas, relaciones de WordNet, etc.) son fundamentales para una correcta clasificación [4]. Sin embargo, en el problema que aquı́ nos planteamos, estas caracterı́sticas se antojan de poca utilidad. Por ejemplo, la aparición de pronombres interrogativos como “quién”, “cuándo” o “dónde” resultan fundamentales para saber si nos están preguntando por una persona, una fecha o un lugar. Sin embargo, a la hora de determinar si una pregunta es real o retórica, esta información puede resultar en la mayorı́a de las ocasiones totalmente irrelevante. Por lo que respecta al uso de diccionarios o bases de datos léxicas tradicionales, el carácter marcadamente informal de gran parte de los mensajes emitidos en Twitter limitan la utilidad de estos recursos. Las caracterı́sticas que vamos a plantear en este apartado contrastan claramente con las empleadas en los sistemas de clasificación de preguntas tradicionales. Tal y como veı́amos en la sección 2, los tweets poseen una idiosincrasia muy particular que intentaremos explotar en este trabajo. Se han definido un total de 19 caracterı́sticas, agrupadas conceptualmente por afinidad hasta obtener 7 Signos de puntuación Número interrogativos Número de signos interrogativos contenidos Número exclamaciones Número de signos de exclamación contenidos Contiene comillas Indica si aparecen o no comillas Lenguaje propio de Twitter Número menciones Número de usuarios nombrados (usando ’@’) Número hashtags Número de etiquetas empleadas (usando ’#’) Contiene enlaces Indica la existencia o no de direcciones Web Número palabras Número total de palabras que contiene Número interjecciones Número de interjecciones que contiene Entidades Número entidades Número de entidades (producto, empresa, lugar, etc.) que aparecen Etiquetado morfológico Número comunes Número de nombres comunes que aparecen Número propios Número de nombres propios que aparecen Número verbos Número de verbos (no auxiliares) que aparecen WordNet Media camino Distancia media en el árbol de WordNet entre los términos del mensaje y el nodo raı́z Porcentaje WordNet Porcentaje de términos del mensaje encontrados en WordNet Encontrados WordNet Número total de términos del mensaje encontrados en WordNet Análisis de sentimientos Polaridad Indica la polaridad del mensaje: positivo, negativo o neutro Relaciones Número friends Número de personas a las que sigue el usuario que lo envió Número followers Número de personas que siguen al usuario que lo envió Relación friends/followers Número de amigos del usuario dividido por su número de seguidores Tabla 1. Caracterı́sticas de aprendizaje utilizadas para representar cada tweet. grupos diferentes. La tabla 1 resume estos conjuntos. Todas estas caracterı́sticas son de tipo numérico (o binario, asignando en esos casos el valor 0 a falso y 1 a verdadero) y sus valores han sido normalizados en el intervalo [0, 1]. Para la obtención de estas caracterı́sticas se utilizaron diversas herramientas de procesamiento del lenguaje natural, algunas de ellas adaptadas al lenguaje propio de Twitter. Para obtener la polaridad de los mensajes se empleó la herramienta Twitter Sentiment,4 capaz de clasificar la polaridad de un tweet en tres tipos diferentes: positivo, negativo y neutro. Para el análisis morfológico y la detección de entidades se empleó el etiquetador UW Twitter NLP Tools [5], especializado en el tratamiento de textos informales. En los experimentos aquı́ realizados se ha trabajado únicamente sobre el idioma inglés, condicionados por la disponibilidad en este idioma de algunas de las herramientas necesarias para la obtención de las caracterı́sticas descritas. No obstante, la mayorı́a de caracterı́sticas planteadas son directamente extraı́bles del tweet y, por tanto, independientes del idioma con el que se trabaje. 3.2. Construcción del corpus Es necesario crear un corpus etiquetado para poder entrenar al algoritmo de clasificación. Para este trabajo se hace necesario un conjunto de preguntas 4 http://twittersentiment.appspot.com/. reales y un conjunto de preguntas retóricas convenientemente etiquetadas. Si bien existen grandes corpus de preguntas reales (como los empleados en las diversas ediciones de las competiciones TREC [9] o los recopilados en sitios sociales de búsqueda de respuestas), hasta donde alcanza nuestro conocimiento no existen corpus especı́ficos de preguntas retóricas que puedan servir para entrenar un clasificador como el aquı́ planteado. Más aún, el lenguaje formal empleado en los recursos antes mencionados contrasta con el lenguaje marcadamente informal que emplean los usuarios de Twitter. Esta diferencia hace que los recursos existentes resulten poco adecuados para el fin perseguido en esta investigación. Por esta razón, como paso previo a la construcción del clasificador se optó por recopilar y etiquetar manualmente un corpus de preguntas reales y retóricas formuladas en Twitter. El primer paso fue la obtención de un conjunto amplio de oraciones interrogativas directas de Twitter,5 es decir, tweets que contuvieran signos de interrogación. Se recopilaron 10.000 mensajes de este tipo para cada uno de los pronombres interrogativos (“what”, “who”, “whom”, “whose”, “which”, “when”, “where”, “why” y “how”) a fin de obtener una muestra variada de oraciones interrogativas. De este conjunto de 90.000 preguntas se seleccionaron de forma aleatoria 100 muestras para cada uno de los pronombres enumerados, generando una muestra de 900 oraciones interrogativas que fueron etiquetadas manualmente como “real” o “retórica”. El criterio que se estableció para el etiquetado fue el de considerar como preguntas reales aquellas que esperaban una respuesta, independientemente de si esa pregunta estaba formulada para un público general o no. Es decir, mensajes como “¿Qué vais a hacer después del partido?” fueron etiquetados como preguntas reales. Como resultado de este etiquetado, 680 preguntas fueron consideradas como retóricas mientras que sólo 220 fueron consideradas preguntas reales. Estas cifras dan una idea de que, efectivamente, la mayorı́a de oraciones interrogativas expresadas en Twitter no son consultas que esperen una respuesta, sino artificios retóricos para dar fuerza o emotividad al discurso de sus usuarios. Con el objetivo de conseguir un corpus equilibrado con respecto al número de muestras de cada tipo, se buscó la forma de obtener más preguntas reales formuladas por usuarios de Twitter. Para ello se recurrió a buscar mensajes que contuvieran el hashtag #lazyweb.6 La presencia de esta etiqueta prácticamente garantiza que el mensaje enviado es una pregunta que formula de manera general un usuario a sus seguidores. De esta manera se obtuvieron 2.803 tweets que contenı́an esta etiqueta y que, por tanto, representan una muestra rica de preguntas reales para entrenar al clasificador. La etiqueta #lazyweb fue eliminada en todos estos mensajes, ya que hubiera supuesto un rasgo definitorio a la hora de discriminar entre preguntas reales y retóricas. Para obtener el corpus equilibrado en los experimentos planteados en la sección 4, se seleccionaron 680 muestras al azar de este conjunto de 2.803. 5 6 El tratamiento de preguntas indirectas queda fuera del ámbito de esta investigación. Lazyweb es un concepto usado para describir el acto de trasladar preguntas a los usuarios de Internet antes de buscar la solución por uno mismo. Clasificador Precisión SVM NB IB1 RF 75,56 70,78 68,56 73,33 real retórica Precisión Cobertura F-score Precisión Cobertura 0,00 0,00 0,00 75,60 100,00 38,40 32,30 35,10 79,20 83,20 34,90 33,20 34,00 78,70 80,00 43,30 29,50 35,10 79,30 87,50 F-score 86,10 81,10 79,40 83,20 Tabla 2. Precisión obtenida por SVM, Naı̈ve Bayes (NB), IB1 y Random Forest (RF) sobre el corpus de 900 preguntas y sobre cada una de las clases (real y retórica). 4. Experimentos y resultados En esta sección se van a exponer los experimentos y resultados obtenidos en la evaluación del sistema propuesto. Se han planteado tres experimentos diferentes. El primero de ellos trata de evaluar el rendimiento del clasificador sobre el corpus de 900 preguntas etiquetado manualmente. El segundo se centra en el corpus aumentado con preguntas obtenidas a través del hashtag #lazyweb. El tercer y último experimento realiza un estudio selectivo donde se evalúa el aporte al rendimiento del sistema de cada uno de los grupos de caracterı́sticas definidos. En todos los experimentos el rendimiento del sistema se ha evaluado en términos de precisión, entendiendo como tal el resultado de dividir el número de preguntas correctamente clasificadas por el total de preguntas. Para evitar dividir el corpus en un conjunto de entrenamiento y en otro de evaluación, se ha realizado una validación cruzada en 10 particiones (10-fold cross-validation). 4.1. Corpus original En este experimento se ha trabajado con el corpus de 900 preguntas etiquetado manualmente, experimentando con todas las caracterı́sticas descritas en la sección 3.1 y empleando cuatro algoritmos de clasificación pertenecientes a diferentes familias: support vector machines (SVM) como representante de los clasificadores lineales, Naı̈ve Bayes de los métodos bayesianos, IB1 de los algoritmos basados en ejemplos y Random Forest de los árboles de decisión. La tabla 2 muestra los resultados obtenidos para el corpus completo (segunda columna) y de forma individualizada para cada una de las clases (real y retórica). Por los resultados obtenidos, podrı́a parecer que SVM es el que mejor rendimiento ofrece al obtener la mejor precisión en este experimento. Sin embargo, un análisis pormenorizado sobre cada una de las clases revela que para real obtiene una precisión y cobertura nula, es decir, todas las preguntas fueron clasificadas como pertenecientes a la clase retórica. El resto de algoritmos, aunque de forma menos marcada, muestra también una clara tendencia a asignar mayoritariamente la clase retórica a las instancias clasificadas. Para ver hasta qué punto está afectando al rendimiento del sistema la falta de equilibrio en el número de muestras de cada tipo en el corpus, se ha realizado un nuevo experimento seleccionando 220 preguntas de la clase retórica de entre Clasificador SVM NB IB1 RF 440 preguntas Precisión 64,73 ± 1,80 56,41 ± 4,55 57,73 ± 1,52 62,34 ± 2,40 1.360 preguntas Precisión Mejora 76,30 ± 0,56 +17,87 73,80 ± 1,43 +30,83 72,84 ± 1,09 +26,17 80,49 ± 1,01 +29,11 Tabla 3. Precisión media y desviación tı́pica obtenida por los cuatro algoritmos sobre el corpus equilibrado de 440 preguntas y sobre el de 1.360 preguntas. En este último caso, se muestra la mejora de precisión obtenida con respecto al anterior. las 680 existentes para equilibrar las 220 de la clase real y obtener un corpus de 440 preguntas. Este proceso de selección de 220 preguntas sobre las 680 totales se repitió 10 veces, evitando ası́ que una única selección al azar pudiera llevarnos a obtener un rendimiento poco realista del sistema. La tabla 3 muestra la media (µ) de la precisión y la desviación tı́pica (σ) calculada para cada uno de los algoritmos sobre las 10 iteraciones mencionadas. Las matrices de confusión obtenidas en estos experimentos (no incluidas aquı́ por motivos de espacio) muestran una mayor igualdad a la hora de asignar una u otra clase a las muestras del corpus, como resultado de haber equilibrado el corpus. Sin embargo, la tabla 3 nos ofrece un rendimiento bastante pobre para todos los clasificadores (SVM es el mejor con 64,73 %) y una desviación elevada en algunos casos (como con Naı̈ve Bayes) que revelan un comportamiento inestable dependiendo del subconjunto de muestras de entrenamiento elegido. Estos resultados revelan que el criterio establecido para decidir cuándo una pregunta es real o retórica (que espere o no una respuesta) durante el etiquetado del corpus ha generado un conjunto demasiado difuso en el cual las caracterı́sticas definidas no son capaces de resultar discriminatorias. Se antoja recomendable, pues, reconsiderar este criterio de etiquetado. Un enfoque más orientado a la aplicación final de este trabajo serı́a etiquetar como preguntas reales sólo aquellas que estén dirigidas a un público general y no a una persona concreta o a un grupo particular, al que apenas es necesario proporcionar información para que entienda plenamente la consulta formulada. Por otra parte, este tipo de preguntas personales carecerı́an de interés para un sistema que busque solventar de forma automática las consultas que plantean los usuarios en Twitter. 4.2. Corpus aumentado Este experimento va a analizar el rendimiento del clasificador empleando el corpus aumentado descrito en la sección 3.2, donde se aprovechó el uso popular de la etiqueta #lazyweb para recopilar un conjunto de preguntas reales formuladas en Twitter. La evaluación en este nuevo contexto consiste en la selección aleatoria de 680 preguntas de las más de 2.800 que se recopilaron. Junto con las 680 preguntas de tipo retórico etiquetadas manualmente se obtiene ası́ un corpus equilibrado de 1.360 preguntas. Este experimento se ha repetido 10 veces para asegurar que el rendimiento no está condicionado por el subconjunto aleatorio de preguntas seleccionado. La tabla 3 muestra la media y desviación tı́pica, ası́ como la mejora obtenida con respecto al corpus de 440 preguntas. Los resultados obtenidos revelan un rendimiento mucho más elevado que en el experimento realizado anteriormente con el corpus de 440 preguntas, obteniendo una precisión superior al 80 % con el algoritmo Random Forest y consiguiendo mejoras superiores al 30 % en el caso de Naı̈ve Bayes. La desviación tı́pica es también notablemente menor, demostrando un comportamiento más estable de los clasificadores frente a la selección del conjunto de muestras del experimento. Esta mejora viene dada por dos aspectos fundamentales. El primero es el tamaño del corpus empleado: 1.360 muestras frente a 440. Es sobradamente conocida la influencia que tiene el número de muestras del corpus de entrenamiento en el rendimiento del clasificador. El segundo aspecto es la calidad de las muestras. En el experimento anterior veı́amos que la frontera entre preguntas reales y retóricas resultaba demasiado difusa para el clasificador, ya que muchas de las preguntas que considerábamos como reales estaban destinadas a un público particular que requiere de muy poca información para su tratamiento. Sin embargo, en este segundo experimento, las preguntas reales obtenidas están claramente dirigidas a un público general y orientadas a la obtención de una respuesta. Poseen una mayor riqueza de información que en el caso anterior que facilita al clasificador la labor de discriminar entre éstas y las preguntas de tipo retórico. 4.3. Estudio selectivo Con el objetivo de evaluar la importancia de cada uno de los grupos de caracterı́sticas definidos en la tabla 1, se ha realizado un estudio selectivo, eliminando en cada iteración una de las caracterı́sticas en el proceso de evaluación y comprobando la influencia producida sobre el rendimiento global del clasificador. Este experimento se ha realizado sobre el corpus de 1.360 preguntas. Vamos a centrar el estudio en el algoritmo Random Forest, que es el que mejor resultado obtuvo en el apartado anterior. La figura 1 muestra los resultados obtenidos. La lı́nea etiquetada como “Todas” muestra la precisión media µ obtenida utilizando todas las caracterı́sticas. Las lı́neas paralelas superior e inferior representan µ + σ y µ − σ respectivamente. En esta gráfica se observa que las caracterı́sticas del lenguaje de Twitter (número menciones, número hashtags, contiene enlaces y número palabras) son las que más afectan al rendimiento del clasificador al ser eliminadas. Los signos de puntuación, la información morfológica y las relaciones establecidas influyen también de manera sustancial en el rendimiento final. Son este tipo de caracterı́sticas superficiales del lenguaje las que más afectan al sistema. Sin embargo, las caracterı́sticas semánticas relativas a entidades, análisis de sentimientos y WorNet apenas afectan al rendimiento del sistema, siendo llamativo el caso de WordNet, en el que su eliminación favorece al rendimiento final del clasificador. Si bien podrı́a concluirse que la información semántica carece de utilidad para la discriminación de preguntas reales y retóricas, hay que tener en cuenta que el tratamiento del lenguaje informal se haya todavı́a en una fase incipiente, Random Forest Todas Seleccion 84 Precisión 82 80 78 76 s ne io ac ad rid la el R Po et dN or W s ca gi ló fo es ad tid or M En je ua ng Le ón ci ua nt Pu Características eliminadas Figura 1. Precisión del clasificador Random Forest sobre el corpus de 1.360 preguntas al eliminar cada uno de los conjuntos de caracterı́sticas definidos. “Todas” muestra la precisión obtenida al emplear todas las caracterı́sticas. y que el rendimiento obtenido por éstas herramientas dista todavı́a del obtenido por sus equivalentes para lenguaje formal, pudiendo ser un motivo fundamental de la escasa efectividad de estas caracterı́sticas. Para completar este estudio sobre la relevancia de cada una de las caracterı́sticas en el rendimiento del clasificador, hemos utilizado information gain (IG) como medida para determinar cuáles son las caracterı́sticas que aportan más información durante el proceso de aprendizaje. El orden de relevancia asignado por IG fue el siguiente (de mayor a menor): Número followers, Número propios, Número menciones, Número interrogativos, Número palabras, Número friends, Relación friends/followers, Media camino, Número verbos, Contiene enlaces, Número exclamaciones, Encontrados WordNet, Polaridad, Número propios, Número entidades, Número interjecciones, Porcentaje Wordnet, Número Hashtags y Contiene Comillas. Esta lista muestra que la caracterı́stica más relevante según IG es el número de seguidores del autor del tweet. Este resultado confirma el estudio realizado por InboxQ [2], donde se indica que un 67 % de los usuarios que formulan preguntas en Twitter tienen más de 100 seguidores. Es decir, existe una correlación entre la formulación de preguntas reales y el número de seguidores. El número de menciones también tiene una relevancia importante. Incluir nombres de personas en oraciones interrogativas puede ser indicativo de que el mensaje va dirigido a una persona particular y que probablemente se trate de un mensaje privado y no de una petición de información. El número de interrogativos también tiene una relevancia notable. Varios interrogativos consecutivos puede denotar un grado alto de informalidad (“¿¿Qué me dices??”). Por otra parte, varias oraciones interrogativas consecutivas pueden ser un claro ejemplo de uso retórico del lenguaje (“¿Dónde están tu valores? ¿Y tu dignidad?”). Por lo que respecta a las caracterı́sticas peor valoradas, el uso de comillas (muy habitual en expresiones literales) o el número de hashtags no parecen ser relevantes para la clasificación, al igual que el porcentaje de términos del mensaje que aparecen en WordNet (y que podrı́an dar una idea del grado de formalidad del lenguaje empleado) o el número de interjecciones (que podrı́a ser también indicativo de la formalidad o informalidad del mensaje). 5. Trabajo relacionado La red social Twitter se ha convertido en los últimos años en foco de estudio preferente para la comunidad investigadora dentro del área de la recuperación de información y la minerı́a de opiniones. El volumen de datos que se genera en Twitter y su particular idiosincrasia han abierto un nuevo panorama de oportunidades y retos para la comunidad investigadora en el área de las tecnologı́as del lenguaje humano. Muchos de los estudios realizados en este campo están relacionados con el análisis de opiniones [3] y la detección de eventos en tiempo real [6]. El lenguaje informal usado habitualmente en Twitter ha llevado a realizar numerosos trabajos para la adaptación de técnicas aplicadas tradicionalmente sobre textos formales, como el etiquetado de entidades [5]. Dentro del campo de la búsqueda de información, la tarea TREC Microblog,7 centrada en el desarrollo y evaluación de sistemas de recuperación de información sobre Twitter, se celebró por primera vez en 2011 con un notable éxito de participación. Son numerosos los estudios centrados en la evaluación de medidas para ponderar la relevancia de los tweets con respecto a una consulta [1]. Por lo que respecta a la búsqueda de respuestas, existen algunos productos comerciales para la detección de preguntas formuladas en Twitter, ofreciendo la posibilidad a los usuarios de esta red social de responder a las preguntas. No se trata de sistemas automáticos de BR, sino de interfaces que facilitan que los usuarios respondan a las preguntas formuladas por otros ususarios, siguiendo la filosofı́a de los sistios sociales de búsqueda de respuestas como Yahoo! Answers. InboxQ8 y TweetQA9 son dos ejemplos de este tipo de aplicaciones. Estos sitios no aplican ningún tipo de análisis para detectar cuándo un usuario a formulado una pregunta, sino que sus mensajes deben emplear unos patrones fijos en su consulta para que sean detectadas por la aplicación. Fuera del contexto de la búsqueda de respuestas, existe un trabajo similar al nuestro en su intención, aunque no en su fondo [10]. En este trabajo se propone un sistema de clasificación para el campo de la biomedicina capaz de determinar cuándo una pregunta puede ser contestada o no por especialistas médicos. Para ello utilizan un corpus de preguntas clasificadas y una ontologı́a médica para determinar sobre qué patologı́as se puede dar respuesta y sobre cuáles no. 7 8 9 http://trec.nist.gov/tracks.html. https://www.inboxq.com/. http://www.tweetqa.com/. 6. Conclusiones y trabajo futuro En este trabajo se ha planteado un sistema para la detección de preguntas reales formuladas por usuarios de Twitter. Este sistema pretende ser un paso previo para un cambio de paradigma en el funcionamiento de los sistemas de BR, haciendo que los propios sistemas sean los que detecten las necesidades de información de los usuarios y acudan en su ayuda. Se ha desarrollado un clasificador capaz de discriminar entre preguntas reales y preguntas retóricas, estudiando el rendimiento de diferentes algoritmos y caracterı́sticas de aprendizaje en el proceso. Los resultados obtenidos son prometedores, alcanzando valores por encima del 80 % de precisión. Como trabajo futuro se plantea la ampliación del corpus de entrenamiento y el estudio de los tipos de pregunta que se dan en Twitter, además de incorporar al sistema el tratamiento de preguntas indirectas. Referencias 1. Duan, Y., Jiang, L., Qin, T., Zhou, M., Shum, H.Y.: An empirical study on learning to rank of tweets. In: Proceedings of the 23rd International Conference on Computational Linguistics. pp. 295–303. COLING ’10, ACL, Stroudsburg, PA, USA (2010) 2. InboxQ: Twitter’s loaded questions: How people ask and answer questions on twitter. http://blog.inboxq.com/?page=7 (2011), [Accedido 14-Diciembre-2011] 3. Joshi, A., Balamurali, A.R., Bhattacharyya, P., Mohanty, R.: C-feel-it: a sentiment analyzer for micro-blogs. In: Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics. pp. 127–132. HLT ’11, ACL, Stroudsburg, PA, USA (2011) 4. Li, X., Roth, D.: Learning question classifiers: the role of semantic information. Natural Language Engineering 12(3), 229–249 (2006) 5. Ritter, A., Clark, S., Mausam, Etzioni, O.: Named entity recognition in tweets: an experimental study. In: Proceedings of the Conference on Empirical Methods in Natural Language Processing. pp. 1524–1534. EMNLP ’11, ACL, Stroudsburg, PA, USA (2011) 6. Sakaki, T., Okazaki, M., Matsuo, Y.: Earthquake shakes twitter users: real-time event detection by social sensors. In: Proceedings of the 19th conference on World Wide Web. pp. 851–860. WWW ’10, ACM, New York, NY, USA (2010) 7. Tomás, D.: Sistemas de clasificación de preguntas basados en corpus para la búsqueda de respuestas. Ph.D. thesis, Departamento de Lenguajes y Sistemas Informáticos, Universidad de Alicante, España (Julio 2009) 8. Twitter: Twitter turns six. http://blog.twitter.com/2012/03/ twitter-turns-six.html (2011), [Accedido 26-Marzo-2012] 9. Voorhees, E.M.: The trec-8 question answering track report. In: Eighth Text REtrieval Conference. NIST Special Publication, vol. 500-246, pp. 77–82. National Institute of Standards and Technology, Gaithersburg, USA (1999) 10. Yu, H., Sable, C.: Being erlang shen: Identifying answerable questions. In: Proceedings of the Workshop on Knowledge and Reasoning for Answering Questions. IJCAI ’05 (2005)