RELEVANCIA DE LOS DESCRIPTORES ENFERMEROS Y
Anuncio
2012 RevistaEnfermeríaCyL RELEVANCIA DE LOS DESCRIPTORES ENFERMEROS Y ACCESIBILIDAD... ISSN 1989-3884 RELEVANCIA DE LOS DESCRIPTORES ENFERMEROS Y ACCESIBILIDAD MEDIANTE ÉSTOS A LA LITERATURA CIENTÍFICA DE ENFERMERÍA EN ESPAÑOL: VIABILIDAD DE LA CONSTRUCCIÓN DE UN TESAURO ENFERMERO. Fidel Rodríguez Rodríguez, Grado en Enfermería, Máster en Investigación de Cuidados por la Universidad Complutense de Madrid, Especialista en Enfermería Familiar y Comunitaria. RESUMEN: Recopilar de forma ágil los artículos científicos enfermeros sobre un tema determinado, como trabajo previo de documentación, es fundamental para el investigador. El uso de la red, para publicar la producción científica, está permitiendo acceder a artículos (la literatura científica llamada “gris”) que habrían pasado desapercibidos para los investigadores por las dificultades que sus autores tienen para poder publicar en las revistas científicas. Actualmente, es difícil concebir una publicación en papel, que no tenga su duplicado y el acceso en la web. Este estudio se centra en analizar la relevancia de los descriptores enfermeros en español y la accesibilidad mediante estos descriptores a los documentos científicos enfermeros, a la vez que se estudia la viabilidad de la construcción de un tesauro enfermero que permita agrupar de forma relevante y temática la documentación científica en lengua castellana. Se seleccionaron las 31 revistas de mayor impacto que se editan en papel y publicadas electrónicamente. Se acotó el periodo de tiempo a estudiar entre junio de 2003 y junio de 2008, es decir 5 años. Los criterios de acceso seleccionados fueron: acceso a los metadatos y acceso al texto completo de los artículos, ordenadas por mayor impacto (INDEX de Enfermería 2006). Para analizar la relevancia se hacen 7 grupos constituidos por 3 profesionales enfermeros. Puntuarán cada artículo de 0 a 1, siendo relevantes aquellos artículos con puntuación igual o superior a 2. Este método minimiza la subjetividad. Para la catalogación de los artículos y sus palabras claves se creó una aplicación informática accesible desde INTERNET. Cada catalogador sólo ve sus artículos y la puntuación que él mismo asigna. Se analizaron un total de 4671artículos, de éstos, 451 artículos no tenían definidos descriptores por lo que fueron descartados para la muestra. Los 4220 (100%) artículos restantes fueron analizados por los catalogadores que han asignado una relevancia igual o superior a 2 puntos a 2.231 (52,86%) e inferior a 2 puntos a 1989 (47,14%). Aunque la relevancia es subjetiva, es el primer paso para abordar el problema de la catalogación de la documentación científica. Este elevado número de artículos no relevantes (47,14%) pueden tener problemas en su localización que se hará más tediosa, menos exhaustiva e imprecisa para el investigador. PALABRAS CLAVES: Tesauro de enfermería, descriptores, relevancia, exhaustividad, precisión. - Página 33 - Rev. enferm. CyL Vol 4 - Nº 1 (2012) RELEVANCIA DE LOS DESCRIPTORES ENFERMEROS Y ACCESIBILIDAD... ABSTRACT: 2012 RevistaEnfermeríaCyL The compilation and collecting of scientific nursing articles in an effective manner on a particular topic, as previous work documentation, is essential for the researcher. Internet use, to publish the scientific production, is allowing the access to articles – the so-called “grey scientific literature”, that would have been unnoticed by researchers due to the difficulties of the authors to be published in scientific journals. Currently, it is difficult to conceive a printed publication which does not have an online copy and allows its access through the web. This study focuses on analyzing the relevance of the descriptors of nursing in Spanish, and the accessibility through these descriptors to scientific nursing documents while studying the feasibility of building a nursing thesaurus, which allows to group in a relevant manner and by themes, the scientific literature produced in Spanish language. With this aim, 31 journals of a higher impact factor that usually are printed and online published were selected. The study time period was between June 2003 and June 2008, i.e. five years. The access criteria selected were, the access to metadata and to the full text of articles, sorted by greatest impact factor (INDEX de Enfermería 2006). In order to analyse the relevance, seven groups consisting of three professional nurses were settled. Each professional within a particular group analysed the same article scoring it from 0 to 1, being relevant those articles that got a total score equal or greater than 2. This method reduces the subjectivity in measuring. For cataloging the analysed articles and their keywords, a software was created being also accessible through the Internet. Each cataloger only has access to his/her articles and to the score assigned by himself/herself. The study comprised the analysis of a total of 4671 articles. 451 didn’t have descriptors defined, thus, they were discarded for the sample. The 4220 remaining articles (100 %) were analysed by catalogers, having assigned a relevance equal or greater than 2 points to 2.231 (52,86%), and less than 2 points to 1989 (47,14%). Although the relevance is a subjective criteria, it is a first step to tackle the problem of cataloging scientific documentation. The high number of non-relevant articles (47,14%) may cause problems in their searching, becoming a more tedious, less comprehensive and vague work from a researcher point of view. KEY WORDS: Nursing thesaurus, descriptors, relevance, completeness, precision. - Página 34 - Rev. enferm. CyL Vol 4 - Nº 1 (2012) 2012 RevistaEnfermeríaCyL RELEVANCIA DE LOS DESCRIPTORES ENFERMEROS Y ACCESIBILIDAD... INTRODUCCIÓN En un contexto de tecnología avanzada que denominamos Sociedad de la Información y del Conocimiento, surgen una serie de dudas en la apreciación de la efectividad de la recuperación de la información, emanan del desconocimiento que el usuario posee sobre una cuestión muy específica, no sabemos si el sistema proporciona la respuesta más pertinente y eficaz con respecto a sus necesidades de información o si por el contrario le devuelve sólo una parte sesgada de esa respuesta.1 Los nuevos sistemas de recuperación de información (SRI) han permitido la automatización de procesos de búsqueda de información, de ingente cantidad de ésta, generada en todo el mundo. Pero tal acúmulo de información hace cada vez más complejas las búsquedas, entre otras cosas por los solapamientos de las semánticas que hacen más difícil seleccionar las que mejor se adecuan a las necesidades de recuperación de información de cada persona.2,3 Los diferentes contenidos, sin relación alguna, se ofrecen como información de un contexto, que quien busca tiene definido, pero para quien la automatización de los procesos de búsqueda no discrimina. En la literatura no se cuestiona la enorme ventaja que supone en la recuperación de la información la existencia de las bases de datos, pero el incremento en la producción bibliográfica y la creciente necesidad de conocer la documentación existente, con mayor relevancia y persistencia, hacen precisos nuevas herramientas documentales que mejoren las búsquedas.4 Se están realizado intentos para que la búsqueda de documentación científica sea lo más relevante posible, dada la necesidad de reutilización de la misma. Dentro del contexto enfermería, pueden existir otros subcontextos de estudio y fuera del contexto enfermería otros (de la disciplina enfermería la disciplina medicina la más cercana), con puntos de vista distintos sobre las materias de estudio, que promueven desarrollos de sistemas de información basados en el conocimiento y de software en general. Esta circunstancia crea problemas de comunicación pues usan sus propios vocabularios con diferente significado solapándose los términos y utilizando diferentes métodos y estructuras por lo que es necesario medir el rendimiento de los sistemas en el contexto enfermería mediante el estudio de la relevancia, la pertinencia, la exhaustividad y precisión como apuntan algunos autores.5,6,7,8 Enfermería debe tener estructurado un lenguaje documental y crear mediante codificación, términos controlados para la comunicación documental, es decir, descriptores.9 Por tanto se necesita una eficaz indización para extraer los conceptos que permitan construir los lenguajes documentales que mejoren la capacidad de búsquedas automatizadas. Existen taxonomías de enfermería (diagnósticos, resultados e intervenciones) que se usan en la construcción de la documentación clínica propia para la enseñanza y para la investigación. También hay otra información que queda fuera de este límite taxonómico que permite clasificar y que se debe utilizar para clasificar la documentación enfermera. La única forma de saber si, como profesión, se está trabajando en la línea correcta es examinar los servicios que se ofrecen a los usuarios. Este es un aspecto de la investigación en el área de la documentación y, específicamente, de la recuperación de información que corre en paralelo a la evolución de la profesión y de los medios tecnológicos para desarrollarla10 y en enfermería esta afirmación puede servir para ilustrar cómo estamos solapados con otras profesiones en los SRI que se ofrecen y como conceptualmente no los define la propia profesión. Hay escasa visibilidad de publicaciones de enfermería española debido en parte a la pequeña presencia de éstas en bases de datos, por lo que en consecuencia acaban recibiendo un insuficiente reconocimiento por parte de la comunidad científica.11,12,13 Además la documentación enfermera se almacena como parte de otros tipos de documentaciones o al amparo de otras disciplinas utilizando sus bases de datos. La enfermería desde el punto de vista de los conceptos es cambiante, pero tiene ya suficiente estabilidad como para trabajar con información estructurada y relacionada. Hay que realizar un tratamiento de esa información que no sea superficial en el análisis y descripción de los documentos enfermeros, si queremos que estos se recuperen de forma eficaz ya que el esquema tradicional de recuperación de la información ha sido transformado y encaminado a la automatización. La definición más aceptada de tesauro es la de un lenguaje documental de estructura combinatoria, de carácter especializado, que se basa en expresiones conceptuales llamadas descriptores, provistas de relaciones semánticas.14 Los tesauros permitirán recoger estos conceptos y por ende a los autores utilizar descriptores o palabras claves que agrupan la documentación científica en un contexto o un subcontexto específicos y facilitan su búsqueda y la búsqueda automatizada de la documentación de acuerdo con el contenido documental y de forma independiente. Un tesauro en español (inicialmente) propio de enfermería se aplicará, en el desarrollo de documentos en su indización, su búsqueda, su agrupación contextual y recuperación así como para la divulgación de la producción científica en INTERNET. Hay autores que señalan ya la integración de servicios de Historia Clínica Electrónica federada con ontologías.15 - Página 35 - Rev. enferm. CyL Vol 4 - Nº 1 (2012) 2012 RevistaEnfermeríaCyL RELEVANCIA DE LOS DESCRIPTORES ENFERMEROS Y ACCESIBILIDAD... La superposición léxico-semántica hace necesarios nuevos enfoques del problema y el uso de recursos que conecten la información científica relacionándola. Como punto de partida es necesario un estudio del vocabulario que están utilizando los autores enfermeros en la producción científica enfermera y, que relevancia y pertinencia tiene este vocabulario en cuanto a las búsquedas automatizadas se refiere. Existen varias bases de datos para enfermería en castellano, tales como BDIE (Base de datos de Investigación en Enfermería en España) del Instituto de Investigación Carlos III, CUIDEN, (Cuidados en Enfermería) de la Fundación Index de Granada), CUIDATGE de la Biblioteca de Enfermería de la Universitat Rovira i Virgili (Tarragona), en ellas se indizan, además de revistas específicas de Enfermería, publicaciones en Ciencias de la Salud, libros, proyectos de investigación, tesinas, actas de congresos o monografías, material audiovisual, entre otros documentos, pero no se cuenta con un tesauro en castellano. Ha habido intentos en la construcción de tesauros u ontologías en idioma ingles, basados en el contenido textual de las definiciones de intervenciones de enfermería, extraídas de la Clasificación de Intervenciones de Enfermería, y una ontología basada en las etiquetas de las mismas intervenciones de enfermería que reunió un total de 2861 relaciones jerárquicas. Otro estudio posterior analizó los resultados también centrándose en las intervenciones únicamente y esto constituye una visión parcial del asunto.16 También el Royal College of Nursing del Reino Unido publicó en 2003 un tesauro titulado “RCN Library Thesaurus of Nursing Terms.17” La editorial Elssevier tiene un tesauro (EMTREE is Elsevier’s Life Science Thesaurus. It is a hierarchically structured, controlled vocabulary, for Biomedicine and related Life Sciences) y en inglés y al que se accede mediante pago18 . También “The CINAHL® database” posee un tesauro sobre modelos y teorías de enfermería.19 Con la introducción y utilización de los tesauros en los procesos que conforman la fase de organización y representación de la información, el punto de partida conceptual más alto en la jerarquización de los términos debe estar en el contexto y para la solución de problemas enfermeros en el concepto diagnóstico al que irán ligados la obtención de resultados y a estos las intervenciones necesarias para alcanzar los resultados. Es lógico pensar que las intervenciones sólo serán un subcontexto que parte del concepto diagnóstico y que se va definiendo a partir de los resultados para mayor relevancia en las etiquetas intervenciones utilizadas en la jerarquización. Son muchos los autores que defienden el uso de las ontologías y tesauros en la web para alcanzar un consenso en el vocabulario terminológico para la cooperación en INTERNET y para mejorar los tiempos de respuesta que invierten los usuarios con búsquedas eficientes y rápidas. En enfermería contribuirán a la gestión de las actividades organizacionales, la mejora de la investigación enfermera y globalización del conocimiento enfermero. Pero también pondrá las bases de la web semántica enfermera, ayudando a adaptar las herramientas tradicionales de búsqueda y recuperación de la información a los nuevos entornos que se relacionan con enfermería para que los profesionales enfermeros que tienen acceso, desde su puesto de trabajo, a Internet puedan encontrar la información enfermera (evidencia enfermera) de forma más rápida y sencilla por una mejor definición y agrupación de esta información.20 Asi pues la falta de un tesauro enfermero en español dificulta la utilización de un lenguaje documental común y la construcción de conocimiento. Consideramos que este estudio puede ser una buena primera fase para comenzar una segunda fase con la construcción de una ontología enfermera en español. No es frecuente encontrar estudios de este tipo liderados por enfermeras que analicen la capacidad de los sistemas de almacenamiento informáticos en la recuperación de la información y menos aún, de forma tan específica, en el ámbito de la enfermería que escribe en castellano. El presente estudio nace como apoyo a un proyecto para crear un tesauro enfermero que organice la literatura científica enfermera en español mediante los descriptores enfermeros. Existe la necesidad, primero de estudiar la relevancia, exhaustividad y precisión de los términos enfermeros y segundo estudiar la viabilidad del tesauro. La propuesta consiste en que bajo el formato tesauro, la información científica enfermera se organice jerárquicamente mediante contextos y subcontextos de la ciencia enfermera, de los que colgarían los descriptores y sus relaciones. Los resultados permitirán establecer la viabilidad del tesauro y su construcción. Estudiar la relevancia de los descriptores o palabras clave que utilizan los enfermeros en la literatura científica sirve para determinar si la indexación que se hace de sus artículos permitirá acceder a ellos de una forma fácil y precisa. El entorno actual, léase INTERNET, hace preciso acotar y acumular la documentación científica para acceder a la que sea relevante. Es clave seleccionar descriptores que sean relevantes, ya que estos agruparán nuestros documentos con los descriptores afines al problema estudiado, a sus soluciones y diferenciarán las novedades. La relevancia de los descriptores permitirá que nuestro artículo aparezca dentro de la búsqueda efectuada a través de la red externa al tesauro y en la búsqueda interna del mismo. El análisis de relevancia es subjetivo por lo que necesitaremos minimizar la subjetividad. Para la realización del estudio se encargarán dos equipos, uno de enfermeros, el equipo Ávila y el otro el equipo de la Escuela de Técnica Superior de Ingeniería Informática de la Universidad de Valladolid, el equipo GRINDB que - Página 36 - Rev. enferm. CyL Vol 4 - Nº 1 (2012) 2012 RevistaEnfermeríaCyL RELEVANCIA DE LOS DESCRIPTORES ENFERMEROS Y ACCESIBILIDAD... se asumirá la parte técnica con el objetivo de programar y construir el tesauro adaptado para su consulta de la web. En las distintas reuniones que se mantienen los dos equipos van delimitando el modelo de organización del tesauro y el análisis de los descriptores enfermeros, así como las tareas y los plazos de entrega de los resultados. La logística informática y de asistencia a los investigadores la Fundación Enfermería en Castilla y León integra en el Equipo Ávila a una programadora y pone la infraestructura web para el trabajo a distancia. El objetivo principal del estudio, consistió en facilitar el acceso a la literatura científica, basándose en aspectos semánticos de dicha información y su utilidad, en el contexto de enfermería y como objetivos secundarios los equipos se propusieron: estudiar la relevancia, pertinencia, exahustividad y precisión de los descriptores de los artículos en las revistas científicas enfermeras de lengua castellana; recoger los descriptores en una base de datos conceptualizarlos y contextualizarlos sobre la base de las taxonomías NANDA21, NIC22 y NOC23 y los contextos del ejercicio profesional enfermero; construir un tesauro enfermero en lengua española con los descriptores o palabras clave estudiadas y los conceptos de las taxonomías de enfermería NANDA, NIC y NOC; publicar tesauro web como referencia para los autores enfermeros a la hora de crear los metadatos de sus publicaciones y mejorar la relevancia y pertinencia de los mismos. Equipo GRINBD: Construcción de la Aplicación Tesauro de Enfermería Para facilitar las tareas de descubrimiento, organización y acceso a información disponible en la Web, los sistemas de organización de información (KOS) permiten la estructuración de los recursos de información según descriptores de conceptos, que permitan expresar consultas de información en términos de un vocabulario controlado. Dentro de los sistemas de organización de información podemos encontrar, entre otros, anillos de sinónimos, que son listas de términos con relaciones de sinonimia, taxonomías, que añaden la posibilidad de estructurar los conceptos según relaciones de generalizaciónespecialización, o los tesauros, que añaden relaciones semánticas entre los conceptos. No hay un criterio unificado para el uso de un modelo u otro, y la elección depende de las necesidades concretas de cada problema. Esta heterogeneidad se encuentra incluso en las formas de representación de sistemas del mismo tipo. En el caso de los tesauros, hay recomendaciones para su constitución, como las normas lSO-278824 o la ANSI/NISO Z-39-1925 para representación de tesauros monolingües, o la ISO-5964 para representación de tesauros multilingües, pero ninguna describe formalmente un formato de representación. Para resolver este problema de heterogeneidad, la iniciativa W3C propone un estándar para la representación de sistemas de organización de información (SKOS)26,27,28 para su uso en el entorno de la Web Semántica. Debido a la aceptación que está teniendo éste modelo, probablemente se convierta en el estándar para la representación de KOS. Situación actual La gestión de tesauros es un tema de interés actualmente, por lo que se pueden encontrar diversas herramientas para esta tarea. Entre estas herramientas podemos encontrar MultiTes,29 una herramienta para Windows que da soporte a relaciones ANSI/NISO(24,25) y permite al usuario añadir nuevas relaciones. SuperThes es otra herramienta para Windows que también da soporte a las relaciones ANSI/ NISO,24,25 y permite exportar los tesauros tanto en XML como en formato tabular. ThManager30 es una herramienta construida en Java implementada por el grupo de sistemas de información avanzada de la Universidad de Zaragoza que utiliza el formato SKOS para la gestión de Tesauros, permitiendo la gestión de múltiples tesauros con una aplicación de escritorio. La mayoría de las herramientas disponibles están en forma de aplicaciones con edición directa de los tesauros, sin proporcionar mecanismos de gestión que permitan el desarrollo colaborativo del tesauro siguiendo procedimientos formales. Nuestro sistema deberá proporcionar estos procesos para poder realizar una gestión y seguimiento de la evolución del tesauro manteniendo el control sobre su estado. Además de lo comentado, nuestro sistema requiere el uso de una extensión de los modelos básicos utilizados para la gestión de KOS, como la posibilidad de contextualizar términos en distintos contextos, añadiendo sobre los conceptos información específica dependiente del contexto. Modelo Base: SKOS SKOS proporciona un modelo para expresar la estructura básica, representación y contenido de sistemas de organización de conocimientos sencillos (Simple Knowledgement Organization Systems) tales como esquemas de clasificación, taxonomías, tesauros, y otros tipos de vocabularios controlados en formato RDF. Su objetivo principal es migración de los sistemas de representación de información al entorno de la Web Semántica. A continuación se describirá el modelo, que utilizamos como referencia debido a su amplio uso en la representación de tesauros, su estado actual, y los problemas encontrados para la representación de nuestro modelo. SKOS fue inicialmente desarrollado en el marco de la creación de un tesauro de actividades dentro del proyecto SWAD-Europe2 (Semantic Web Advanced Development for Europe) en 2001, aunque la primera versión fue publicada en 2003. La versión actual de la recomendación es la del 9 de Agosto de 200924. - Página 37 - Rev. enferm. CyL Vol 4 - Nº 1 (2012) 2012 RevistaEnfermeríaCyL RELEVANCIA DE LOS DESCRIPTORES ENFERMEROS Y ACCESIBILIDAD... En SKOS, un sistema de organización de información consiste en un conjunto de conceptos (etiquetados como skos:Concept), que pueden verse como ideas o nociones. Un concepto se identifica por su UFil (Uniform Resource ldentifier), una cadena de caracteres que identifica unívocamente el concepto. Sobre éstos conceptos se definen propiedades y relaciones con otros conceptos. Entre las propiedades encontramos principalmente etiquetas léxicas y notas de documentación. Las etiquetas léxicas permiten definir el nombre del concepto (skos:prefLabel), y nombres alternativos, como sinónimos (skos:altLabeI), en distintos idiomas, que permite fácilmente la creación de tesauros multilingües. Las notas de documentación se utilizan para diversos propósitos, basándose en guías de documentación como lSO2788 o BS8723-2. SKOS proporciona soporte para definir un concepto (skos:definition), para especificar el alcance del concepto, indicando por ejemplo cómo usar el concepto o su limitación en la indexación de documentos (skos:scopeNote), para mostrar ejemplos del concepto (skoszexample), o para describir cambios significativos en el concepto (skos:historyNote). del concepto deben ser únicas igualmente. El modelo original se ha tenido que ampliar por las siguientes consideraciones. En un tesauro SKOS, un concepto funciona como un nodo del que pueden entrar y salir arcos, que representan relaciones con otros conceptos. Una vez llegado al nodo, se dispone de toda la información referente a ese nodo, incluyendo propiedades y relaciones. Sin embargo, en el tesauro que se desea construir, requerimos que los conceptos puedan estar contextualizados. Esto es, dependiendo del contexto en el que se utilice el concepto, se deberá disponer de información específica por situarse en ese contexto, incluyendo definición o nota de alcance, y relaciones con otros conceptos contextualizados, o incluso referencias bibliográficas. SKOS no proporciona esta funcionalidad, puesto que como se ha comentado una vez se llega al nodo del concepto, siempre se obtiene la misma información, independientemente del contexto. Se puede ver con un ejemplo: También permite definir relaciones asociativas entre conceptos, indicando que están relacionados de alguna manera (skoszrelated). Los conceptos se pueden agrupar en esquemas de conceptos (skos:ConceptScheme). Supongamos que tenemos un término denominado “Hipertensión Arterial”, y lo tenemos en 2 contextos diferentes, “Programa del Adulto Sano”, y “Programa del Adolescente Sano”. Como concepto tiene una definición y unas características básicas independientes de contexto (sigue siendo el mismo término), pero dentro de esos contextos, puede que necesitemos hacer aclaraciones sobre su alcance, definición, relacionarlo con términos distintos, o indexar distintas fuentes bibliográficas. En el ejemplo mostrado el árbol de contextos sólo tiene profundidad 2, aunque el modelo soporta cualquier profundidad. SKOS permite además el uso de otros modelos de metadatos, como Dublin Core, para describir las caracteristicas de los conceptos que no queden cubiertas por SKOS. Un término contextualizado puede a su vez servir como contexto para otros términos. Así, en el ejemplo anterior se podrían contextualizar términos bajo “Hipertensión Arterial”, y crear árboles de la profundidad necesaria. Entre las relaciones, permite modelar relaciones de generalización-especialización, definiendo las relaciones “más específica” (skosznarrower) y la relación “más general” (skos:broader). Modelo utilizado La base utilizada es SKOS, aunque adaptada a nuestras necesidades. Las propiedades inicialmente soportadas dentro de las definidas por SKOS son: nombre (skos:prefLabel), sinónimos (skos:altLabel), definición (skos:definition) y nota de alcance (skos:scopeNote), aunque se podra ampliar si se considera necesario. Sobre éstas propiedades se guarda información sobre el modelo de metadatos al que pertenecen, la cardinalidad máxima por idioma, y si puede o no ser única en el tesauro. De esta manera, el nombre (skos:prefLabel) debe ser único para cada término, y único en todo el tesauro. Puesto que se trata de un vocabulario controlado, no se permite que haya dos términos con el mismo nombre en el mismo idioma. Respecto a sinónimos, un término puede tener varios de ellos en cada idioma, pero éstos tienen que ser únicos también en el tesauro. La definición y la nota de alcance METODOLOGÍA Diseño: Estudio Experimental Nuestro estudio se basa en la aplicación de un modelo de evaluación de la efectividad de la recuperación de información efectuada por los motores de búsqueda de documentación científica enfermera en lengua española desde una perspectiva multimensional: 1. Medida de la relevancia, pertinencia, exhaustividad y precisión de las búsquedas de la documentación científica enfermera en Internet. 2.Determinación de los porcentajes de duplicados. 3.Establecimiento de similitud entre buscadores en los nichos de información y comparación con los buscadores de tipo general. - Página 38 - Rev. enferm. CyL Vol 4 - Nº 1 (2012) 2012 RevistaEnfermeríaCyL RELEVANCIA DE LOS DESCRIPTORES ENFERMEROS Y ACCESIBILIDAD... 4.La elaboración de esta propuesta se acompaña de la verificación de la viabilidad para construir el tesauro enfermero en lengua española que facilitará el acceso a la literatura científica, basándose en aspectos semánticos de dicha información y su utilidad en el contexto de enfermería y el contraste con los estudios anteriores más destacados o tesauros existentes, mientras que nuestra perspectiva multimensional necesita de un desarrollo experimental pues va a incluir aspectos que en enfermería han sido poco estudiados. Para responder las preguntas planteadas se hizo, previamente, una recopilación de los descriptores suministrados por los autores en las revistas científicas enfermeras y realizar su conceptualización y establecer las categorías del análisis. Y en segundo lugar realizaremos las búsquedas en internet a fin de medir su relevancia y la pertinecia. También se midió la exahustividad y la precisión de los descriptores. Material y método Las revistas a estudiadas son aquellas de carácter científico editadas en lengua española que están indexadas tanto de formato papel como de formato electrónico. Se estudiaron sólo los artículos de carácter científico enfermero desde el mes de junio de 2003 al mes de junio 2008 de las 31 revistas en papel de mayor impacto y electrónicas. Para la selección de las revistas se tomó como referencia el índice de impacto publicado por el indizador “INDEX de enfermería” para el año 2006, que en ese momento era el último publicado. Se decide la inclusión de la mayoría de las revistas referenciadas en INDEX de enfermería puesto que los índices de impacto son muy similares, necesitamos el mayor número posible de términos y sólo descartamos aquellas que tienen un índice de impacto cero. Se analizaron un total de 4220 artículos, fueron descartados para la muestra aquellos que no tenían definidas palabras clave ya que el objetivo era hacernos con esos términos para su inclusión en el tesauro. El tamaño muestral fue suficiente para alcanzar los objetivos del estudio. De algunas de las revistas se incluyeron la tirada completa del primer y último año a fin de no dejar fuera números de esos años debido a sus cortas tiradas. Método Para la recogida de la información se diseña un programa web que se hospeda en los servidores de la Fundación Enfermería de Castilla y León y que realiza una de nuestras colaboradoras. El programa permite el trabajo en colaboración y a distancia del resto de los 21 catalogadores. Se hacen dos sesiones para explicativas del manejo del programa en Ávila por parte de la programadora. A medida que se va trabajando en el programa se van corrigiendo los fallos y la aplicación crece con un sistema de administración que detecta errores en la catalogación y permite su subsanación. Se tienen que realizar otras dos sesiones de ajuste con los catalogadores y la programadora para tomar acuerdos, entre otras cosas, sobre cómo debemos introducir de forma normalizada los datos y que facilidades tiene que tener la aplicación para poder realizar modificaciones en los mismos cuando se encuentran errores en las palabras claves de sintaxis, clasificación y denominación de los artículos que contiene ahora la base de datos. Resultados El trabajo de catalogación se hace por fases y se completa en un total de 5 fases y una vez agotados los artículos seleccionados. No se comienza ninguna de las siguientes fases hasta haber subsanado los errores que detecta la aplicación en la fase en curso. A la vez que los investigadores introducen los datos se catalogan las palabras claves como relevantes o no. Para este trabajo se crean 7 grupos de 3 investigadores que una vez entrenados en el manejo de la aplicación puntúan las palabras claves que aparecen en el artículo como relevantes o no para agrupación de información. Esta forma de trabajo ha permitido depurar a la vez la base de datos ya que los investigadores revisaban los textos tres veces. Para el análisis de la relevancia puntuarán cada artículo de 0 a 1, siendo relevantes aquellos artículos con puntuación igual o superior a 2. Este método minimiza la subjetividad. Para la catalogación de los artículos y sus palabras claves se creó una aplicación informática accesible desde INTERNET. Cada catalogador sólo ve sus artículos y la puntuación que él mismo asigna. Para el cálculo de la exahustividad como criterios de rendimiento de los sistemas evaluados se han utilizado los artículos relevantes. La exahustividad mide la proporción de los documentos relevantes recuperados. No se comparan los sistemas, sino que los documentos determinados como relevantes deben aparecer en las búsquedas. Son la probabilidad de obtener el artículo buscamos, cuando utilizando los nichos de información enfermera en castellano, interrogamos al sistema con palabras clave, que nosotros sí conocemos de antemano. Se hicieron dos grupos de personas buscadoras, entrenadas para hacer las búsquedas, y se les dio una hoja de cálculo con 112 ó 113 (tabla.-1) artículos obtenidos de forma aleatoria, con sus palabras clave a cada una de ellas. Ocho personas desplegaron sus búsquedas en sistemas específicos tales como (Medline, Index, y Scielo) de donde habíamos recuperado casi la totalidad de los artículos recuperados para el estudio. Otras ocho personas hicieron las búsquedas en sistemas de búsquedas generales (Google, Google académico, Yahoo y Bind) para poder comparar entre estos sistemas. Cada catalogador realiza una media de 608,86 catalogaciones de un total de 12.660 catalogaciones - Página 39 - Rev. enferm. CyL Vol 4 - Nº 1 (2012) 2012 RevistaEnfermeríaCyL RELEVANCIA DE LOS DESCRIPTORES ENFERMEROS Y ACCESIBILIDAD... y ha introducido un tercio de las fichas de los artículos catalogados (202,95 de media por catalogador) del total de 4.220 artículos introducidos en la base de datos. Se analizaron un total de 4220 artículos por los catalogadores que han asignado una relevancia igual o superior a 2 puntos a 2.231 (52,86%) e inferior a 2 puntos a 1989 (47,14%). Aunque la relevancia es subjetiva, es el primer paso para abordar el problema de la catalogación de la documentación científica. Este elevado número de artículos no relevantes (47,14%) pueden tener problemas en su localización que se hará más tediosa, menos exhaustiva e imprecisa para el investigador. Se han analizado, recogido y catalogado 16.444 palabras clave o descriptores con repeticiones de los términos. Los descriptores sin repeticiones a incluir en una primera instancia en el tesauro han supuesto un total de 6.537 palabras clave de las 16.444 que tiene la base de datos con repeticiones. Para el cálculo de la exahustividad como criterios de rendimiento de los sistemas evaluados se han utilizado 1.801 de los 2.231 artículos relevantes. Los resultados que se obtienen para los sistemas específicos el 4,88% de media (de 900 búsquedas realizadas se recuperaron sólo 44 artículos); en este caso 0,05 de exhaustividad. Mientras que para los sistemas generales fue del 44,39% de media; la exhaustividad en este caso es 0,44 (de 901 búsquedas realizadas se recuperaron 400 artículos). Resultados de sistemas específicos Búsq. Res % Index 112 0 0,00 Scielo 112 7 6,25 Medline 112 1 0,89 Index 112 8 7,14 Index 113 4 3,54 Medline 113 14 12,39 Scielo 113 7 6,19 Scielo 113 3 2,65 Resultados de sistemas generales Búsq. Res % Google Académico 113 59 52,21 Google Académico 112 48 42,86 Bing 112 31 27,68 Yahoo 113 54 47,79 Google 113 43 38,05 Google 113 59 52,21 Google Académico 112 55 49,11 Google Académico 113 51 45,12 Tabla.-1 Resultados de las búsquedas realizadas en nichos enfermeros y buscadores generales En ambos casos la precisión es la misma pues lo que se perseguía era encontrar los documentos que de antemano conocíamos y de los que sabíamos sus palabras clave. El sistema se desplegará sobre un servidor propiedad del Consejo de Enfermería de Castilla y León, utilizando el sistema de usuarios ya existente en los sistemas informáticos del Colegio, para trabajar con un conjunto inicial de términos de un tamaño alrededor de 10.000 términos en castellano, formados por los recogidos de las listas NANDA-NlC-NOC y aquellos recogidos de los artículos estudiados y de otras referencias bibliográficas. Construcción del sistema para verificar la viabilidad del tesauro La estructura del sistema debe permitir la gestión del tesauro en el modelo anteriormente descrito permitiendo el acceso vía web por parte de sus usuarios, de una manera sencilla y con componentes reutilizables. El sistema sigue una arquitectura modelo-vista-controlador, dividida en varios niveles. Ésta estructuración permite que se pueda modificar un componente de un nivel con un impacto mínimo en el resto de niveles, favoreciendo el mantenimiento y reutilización. Primero, en el nivel más bajo, se encuentra el almacenamiento del tesauro. Por encima se encuentra el sistema de gestión del tesauro, que se encarga de proporcionar la funcionalidad al nivel superior utilizando el nivel de almacenamiento. En el nivel más alto se encuentra el nivel de presentación, la - Página 40 - Rev. enferm. CyL Vol 4 - Nº 1 (2012) interfaz gráfica de usuario (GUI), que permita al usuario interactuar con el sistema. El sistema en niveles permite que se pueda cambiar la interfaz de usuario o el modelo de almacenamiento sin que afecte al resto del sistema. Sistema de gestión del tesauro Se ha elegido como sistema de almacenamiento la base de datos relacional utilizando el sistema gestor MySQL31. Se ha escogido el sistema de base de datos relacional frente al almacenamiento de RDF en ficheros debido a varios factores: en primer lugar, por su velocidad de acceso, necesaria en un sistema interactivo como el construido, sobre todo cuando el tamaño del tesauro crezca hasta cantidades de decenas de miles de conceptos o superiores. En segundo lugar, porque el modelo utilizado amplía el modelo básico de SKOS con los anteriormente descritos contextos y conceptos contextualizados. En tercer lugar, porque el sistema pone énfasis en el proceso de gestión del tesauro, y la base de datos relacional proporciona un buen medio de almacenamiento de toda la información involucrada en los procesos de gestión. La interfaz del nivel permite que en un futuro algunos componentes sean sustituidos por gestores de almacenamiento en RDF32 (como JENA33), cuando SKOS recoja funcionalidades sobre contextos tal como requerimos. Para el nivel de gestión del tesauro se ha construido el sistema en el lenguaje orientado al objeto Java. Se ha preferido éste lenguaje frente a otros lenguajes como php por los recursos disponibles para realizar tareas avanzadas, como la indexación de textos, que tiene en Apache Lucene34,35 una potente herramienta de código abierto. El nivel de interfaz de usuario se ha construido utilizando el lenguaje de scripts JSP utilizando el servidor de aplicaciones Apache Tomcat34,36, debido a que se utiliza Java en el nivel de gestión del tesauro. Utilizando además los recursos que proporciona el framework de JavaScript Jquery37, se consigue una interfaz amigable y de fácil uso para el usuario, asemejando el funcionamiento del sistema al que tendría una aplicación de escritorio. La representación interna del tesauro no debe ser impedimento para la interrelación con otros tesauros que utilicen el estándar SKOS. Debido a que el modelo sigue en la medida de lo posible el estándar SKOS (salvo por el apartado de los contextos), un módulo de importaciónexportación entre SKOS y nuestro sistema solucionaría el problema. Proceso de trabajo Una de las principales necesidades era permitir el trabajo colaborativo online, y definir un sistema de gestión con un proceso formal que permita tanto la participación de colaboradores como el control de los cambios por parte de 2012 RevistaEnfermeríaCyL RELEVANCIA DE LOS DESCRIPTORES ENFERMEROS Y ACCESIBILIDAD... los administradores. Se definen distintos roles de usuarios que puedan utilizar el sistema. Por una parte se encuentran los usuarios “normales”, que son aquellos que no tengan relación con el proceso administrativo del tesauro, que podrán realizar consultas sobre éste, pero no podrán realizar cambios ni propuestas formales. Podrán contactar con los administradores para cualquier consulta con sugerencia, pero no siguiendo el proceso formal. Otro tipo de usuarios son los catalogadores, que aparte de las posibilidades de los usuarios normales, podrán realizar sugerencias de petición de cambio formales, y agruparse en grupos de expertos para valorar las sugerencias que se les asignen. Por último se encuentran los administradores del tesauro, que serán los únicos con permiso para modificar el tesauro directamente sin realizar sugerencias, agrupar a catalogadores en grupos de expertos y asignarles tareas para valorar. El proceso de gestión se inicia por una sugerencia de cambio por parte de un catalogador o administrador. Esta sugerencia llevará información sobre el concepto que se desea modificar, los valores de sus atributos y relaciones actuales, y los valores de atributos y relaciones que se deseen cambiar, junto a sus nuevos valores. La sugerencia será revisada por un administrador, que podrá aceptarla o rechazarla, no estando obligado a aceptar la sugerencia al conjunto, pudiendo aceptarla parcialmente o realizar las correcciones que estime oportunas. Si lo desea, podrá posponer su decisión y asignar la valoración de la propuesta como tarea a un grupo de catalogadores previamente confeccionado. Estos catalogadores podrán dar su opinión sobre la propuesta, lo que ayudará al administrador al aceptarla o rechazarla. Puesto que se pone énfasis en este proceso de gestión, todos los datos referentes a un cambio (propuesta original, comentarios del grupo de expertos, valoración final y cambios finales) serán almacenados en el sistema. Conclusiones El mayor número de artículos con términos no relevantes nos inclina a pensar sobre la necesidad de un tesauro contextualizado para enfermería. La utilización de algunos términos como descriptores o palabras clave son tan generales que agrupan tantos artículos y tan diversos que utilizarlos como tal no ayudarán a que los artículos sean encontrados en las búsquedas de las base de datos. Por este motivo se produce mucho ruido y mucho silencio (en ambos casos la exahustividad no se aproxima a 1 que sería la búsqueda perfecta, es muy baja cuando buscamos en sistemas específicos como INDEX o SCIELO, lo que hace perder mucho tiempo al investigador. En el futuro, el crecimiento del número de artículos será exponencial y el ruido producido en las búsquedas también. Así pues, la ventaja de la automatización de las búsquedas y las - Página 41 - Rev. enferm. CyL Vol 4 - Nº 1 (2012) 2012 RevistaEnfermeríaCyL RELEVANCIA DE LOS DESCRIPTORES ENFERMEROS Y ACCESIBILIDAD... consultas a los nichos de información se convertirá en una desventaja. Nunca tendremos la certeza de que hemos obtenido aquello que buscamos. Tras trabajar en la catalogación de los términos y aunque se hace compleja la construcción del tesauro creemos que es viable. Será necesario establecer normas claras que posibiliten el trabajo colaborativo dirigido mediante proyectos. Tener un tesauro enfermero facilitará la consulta de los descriptores que agrupen mejor la producción científica y ayudara a la generación de nuevo conocimiento. Controlar el vocabulario en un tesauro permitirá la agrupación de literatura científica enfermera de forma relevante. Así se mejorará el acceso a la literatura científica y se disminuirán los tiempos de acceso a la misma. En cuanto a la viabilidad del tesauro, hemos identificado 6.537 e incluido para su relación los términos NANDA-NlC-NOC contando ya con cerca de 10.000 términos son suficientes para seguir trabajando. La aplicación creada permitirá identificar ausencias de términos y añadir sinónimos. Se ha desarrollado un modelo de tesauro basado en SKOS añadiendo las necesidades que se habían presentado y una plataforma para la gestión de un tesauro con este modelo, permitiendo tener el control en la evolución del tesauro. La plataforma es fácilmente accesible y utilizable implementándose como aplicación web. Se ha integrado la funcionalidad sobre la búsqueda de documentos implementada en el proyecto anterior, proporcionando interfaces web para su uso. Además, se ha extendido esta funcionalidad con las funcionalidades del tesauro. La envergadura del proyecto y los plazos de las concesiones económicas nos ha retrasado en algunos de los aspectos de la realización y puesta en marcha de tesauro y el modelo colaborativo. En este momento contamos con un sistema de trabajo colaborativo que se desarrollará a mediante grupos de catalogadores que se formarán en los colegios de enfermería e instituciones que se sumen al proyecto. Ya se puede consultar el tesauro en la web www. porusenfermeria.com o www.porusnursing.com donde vamos a desplegar tanto el tesauro como el archivo de los artículos y las palabras clave utilizadas como embrión de este tesauro. No se descarta, si es necesario, contar con la asesoría de otros profesionales de la documentación, informática e incluso lingüistas. En el futuro no se descarta: cubrir toda la especificación de SKOS en el modelo; ampliar la interfaz de exportación SKOS-RDF para todo el modelo; dotar al modelo de extensibilidad en los tipos de relaciones, permitiendo añadir nuevos tipos, para ello se deberá crear un meta-nivel que permita modelar estos tipos de relaciones; permitir la gestión de múltiples tesauros; utilizar metadatos para la descripción de estos; mejorar la interfaz para poder añadir fácilmente nuevos tipos de metadatos; permitir la integración de nuevos tesauros en SKOS. Proveer para ello una interfaz de importación SKOS-RDF; realizar búsquedas de documentos ayudadas por el tesauro, para ello se puede realizar desde un simple selector de contextos con los que deban estar relacionados los documentos hasta consultas en lenguaje natural que en primera instancia “tokenicen” la consulta en elementos del tesauro y posteriormente accedan a los documentos según estos elementos; valorar el uso de un framework como struts2 para contener la aplicación, y permitir una mejor organización de los componentes de esta según el modelo MVC; valorar el uso de JENA como sistema de almacenamiento. Todos los desarrollos han sido implementados por software libre. La buena sintonía de los miembros del equipo de trabajo de Ávila Rural, así como su dedicación y el reparto del trabajo de catalogación de artículos está haciendo posible alcanzar los objetivos previstos. Componentes de los equipos: Colaboradores Equipo Ávila: Víctor Velayos Jiménez, Maria Jesús González Bermejo, María Pilar Plaza García, María Esther Hernández González, José Vicente Pelazas Hernández, José Francisco Vicente Soler, Casilda Lozano García, María Lourdes Sánchez Pacho, María de las Mercedes Duarte Martín, Nuria Galán Martín, Francisca Bermejo Muñoz, Bárbara Vergara Rodríguez, María Pilar González Arrieta, Rosario Isabel Vicente Martín, Cristina de la Fuente Sánchez, Concepción García Sáez, María Blanca García García, Elvira Casillas Abejón, María Serra Matas, María Luisa Vergel Pardo y Carmen Romo Sáez. Colaboradores Eqipo GRINBD: Cesar Llamas Bello y Pablo de la Fuente Redondo. Becario y porgramador de Porusenfermería, Javier García Gómez Colaboradores de la Fundación Enfermería en Castilla y León: programadora, Bárbara Vergara Rodríguez La parte de realización del proyecto correspondiente al equipo GRINBD (UVA) se realizó en Valladolid en la Facultad de Informática, Universidad de Valladolid. El estudio y desarrollo de las aplicaciones web han sido financiados por el Consejo de Colegios de Enfermería de Castilla y León, la Fundación Enfermería en Castilla y León, la Junta de Castilla y León expediente: Investigador: GRS 208/A/08, y la Fundación AMA. - Página 42 - Rev. enferm. CyL Vol 4 - Nº 1 (2012) BIBLIOGRAFÍA 1. Martínez Méndez, F.J. Propuesta y desarrollo de un modelo para la evaluación de la recuperación de información en Internet. Tesis Doctorado. Universidad de Murcia. 2002 2. Estrada Cuzcano, A., Rodríguez Maniega, N. Evaluación de herramientas de búsqueda de información Biblios, 2001, abr.-jun. v. 8, pp 1-20 3. Lamarca Lapuente MJ. Hipertexto: El nuevo concepto de documento en la cultura de la imagen [on line]. Tesis doctoral. UCM URL: http://www.hipertexto.info, [Consulta: 11/05/2009] 4. Arano S, Codina Ll. La estructura conceptual de los tesauros en el entorno digital: ¿nuevas esperanzas para viejos problemas? JOR. CAT. D’INFORMACIÓ I DOC., 9es. Bar. 2004 5. Amat BC. “Rendimiento de 8 sistemas españoles de recuperación de información del espacio web español”. En: El profesional de la información, 2005, sep.-oct., v. 14, n. 5, pp. 335-346. 6. Gómez Díaz, R. La evaluación en recuperación de la información [on line]. “Hipertext.net”, núm. 1, 2003. <http://www.hipertext.net> [Consulta: 26/05/2009]. 7. Gil Urdiciain, B., Evaluación Semántica y estructural de tesauros, Revista General de Información y Documentación, Vol. 8. ni 2- 1998: 193-199 8. Naumis Peña, C. Indización y clasificación: Un problema conceptual y terminológico. Documentación de las Ciencias de la Información(26). 2003 9. García Gutierrez, A.L. Entropía, relevancia y pertinencia del descriptor en el mensaje comunicativo-documental. Nota tipológica. 10.1Villén–Rueda, Luis. «Indización y recuperación por materias en los opacs de las bibliotecas españolas: ¿dos décadas de evaluación?». En: El profesional de la información, 2006, marzo–abril, v. 15, n. 2, pp. 87-98. 11.Sobrido Prieto, M. González C. y otros (2005). Index de Enferm (Gran) 2005;48-49:74-77 12.Soria González, M. La organización de la información, los lenguajes documentales y la normalización. CSIC. Unidad de Coordinación de Bibliotecas. Madrid 13.Durán Villalobos, MM. Teoría de enfermería ¿un camino de herradura?, Aquichan, Vol 7, No 2 (2007) 14.Pérez Agüera, J.R. Automatización de tesauros y su utilización en la web semántica. Departamento de Biblioteconomía y Documentación, UCM, 2004 15.García Rojo M., Martín Sánchez F, El impacto de la H. Clínica Electrónica en la investigación y la docencia. Informe SEIS, Madrid, cap 11. 2003 16.Hardiker NR., Logical ontology for mediating between nursing intervention terminology systems. Methods Inf Med;42(3):265-70, 2003. 17.Royal College of Nursing, RCN Library Thesaurus of Nursing Terms, London. 2003 18.18.-EMTREE Life Science Thesaurus, URL: http://www. info.embase.com [Consulta:09/4/2008] 19.Margaret Allen, P Searching Bibliographic Databases 2012 RevistaEnfermeríaCyL RELEVANCIA DE LOS DESCRIPTORES ENFERMEROS Y ACCESIBILIDAD... for Nursing Theory by, University of San Diego. URL: http://www.sandiego.edu/nursing/theory/CINAHL/allen. html, [Consult:22/04/2008 ] 20. Castillo Blasco, L. Elaboración de un tesauro de información de actualidad y conversión en red semantica para su empleo en un sistema derecuperación periodístico. U.V. Servei de Publicacions, Valenmcia, España., 2006 21. NANDA Internacional. Diagnósticos de enfermería. Definiciones y clasificación. Barcelona: Elsevier; 2012 22.McCloskey J. Clasificación de intervenciones de enfermería (NIC). 5ª Ed. Barcelona: Elsevier; 2009. 23. Moorhead S, Jonson M, Maas M, Swanson E. Clasificación de Resultados de Enfermería (NOC). 4ª ed. Barcelona: Elsevier; 2009 24.ISO Technical Committee 46. ISO 2788: documentation: guidelines for the establishment and development of monolingual thesauri. International Organization for Standarization, 1986. 25.NISO Z39.19 Committee. Guidelines for the construction, Format, and management of Controlled Vocabularies. NISO Press, 2005. ISBN 1-880124-65-3. 26. SKOS Simple Knowledge Orzanization System Home Page[en línea]. Disponible en Web: http://www. w3.org/2004/02/skos/. [Consulta: mayo 2011]. 27.skosapi Team. The SKOS Api[en línea]. Disponible en Web: http://skosapi.sourceforge.net/. [Consulta: junio 2011]. 28.Pastor Sánchez JA. Diseño de un sistema colaborativo para la creación y gestión de tesauros en Internet basado en SKOS. PhD thesis, Facultad de Comunicación y Documentación, Departamento de Información y documentación, Universidad de Murcia, 2009. 29.Multisystems. MultiTes Home Page[en línea]. Disponible en: http://www.multites.com/index.htm. [Consulta: mayo 2011]. 30. Lacasta, J, Nogueras-Iso, J, López-Pellicer FJ, MuroMedrano, PR and Zaragoza-Soria FJ. Thmanager: An open source tool for creating and visualizing skos. Information Technology and Libraries (ITAL). 2007. 26(3):39-51 31.MySQL Team. MySQL Reference Manuals [en línea]. Disponible en: http://dev.mysql.com/doc/. [Consulta: marzo 2011]. 32. W3C. Resource Description Framework (RDF)[en línea]. Disponible en http://www.w3.org/RDF/. [Consulta: marzo 2011]. 33. The Jena Team. Jena - A Semantic Web Framework for Java[en línea]. Disponible en: http://jena.sourceforge. net/. [Consulta: mayo 2011]. 34.The Apache Software Foundation. Apache log4j home page[en línea]. Disponible en: http://logging.apache. org/log4j/1.2/. [Consulta: marzo 2011]. 35.Andrzej Bialecki. Luke - Lucene Index ToolBox Home Page[en línea]. Disponible en: http://www.getopt.org/ luke/. [Consulta: mayo 2011]. 36.The Apache Software Foundation. Apache Subversion Home Page [en línea]. Disponible en: http://subversion. apache.org/. [Consulta: mayo 2011]. 37.jQuery Team. JQuery. Write less, do more[en línea]. Disponible en: http://jquery.com/. [Consulta: febrero 2011]. - Página 43 - Rev. enferm. CyL Vol 4 - Nº 1 (2012)
