Análisis del Índice ScientiCol En este escrito se analizan las premisas bajo las cuales ha sido construido el índice ScientiCol-2006, herramienta básica de medición de la productividad de los grupos de investigación en el Sistema Nacional de Ciencia, Tecnología e Innovación. La necesidad de este análisis surge después de haber conocido los resultados de la última convocatoria de medición de Colciencias que evidencia una serie de fallas en esta herramienta de clasificación. El propósito del autor es contribuir en la discusión y la construcción de un sistema de medición que efectivamente incluya los factores más relevantes en el momento de determinar la calidad de los grupos de investigación. Este documento está dividido en cinco secciones. En la primera sección se explica de manera general como se calcula el actual índice, luego se realiza una comparación con el índice usado en la convocatoria de medición 2004. En la tercera parte del escrito se analizan los aspectos positivos del proceso de medición 2006; a continuación se analizan los vacíos encontrados en este mismo proceso, para finalizar con algunas conclusiones y propuestas tendientes a superar los problemas detectados. 1. Como se calcula el índice Scienticol-2006. Para efectos del cálculo se divide la productividad de un grupo en 4 componentes: Productos de nuevo Conocimiento, Productos de nuevo conocimiento Tipo A, Productos de divulgación y Productos de formación. a. Productos de Nuevo Conocimiento (NC). Caben acá los artículos, capítulos de libro resultados de investigación, libros resultados de investigación, normas, patentes, productos registrados, entre otros. Para cada uno de estos tipos de productos se calcula su aporte en la productividad de NC a partir de tres indicadores: Existencia, Calidad y Visibilidad Circulación y Uso. Título A Framework for the Generation of Adaptive Courses Based on Semantic Metadata A Knowledge-Based Approach to Describe and Adapt Learning Objects Tipo. Producto Existencia Calidad Visibilidad, circulación y uso Artículo completo – Revista Tipo A 1 3 1 5 Artículo completo – Revista Tipo B. 1 1.6 1 3.6 Aporte Artículos Aporte 8.6 Tabla 1. Aporte por producto. El indicador de existencia toma valores de 1 y 0; uno cuando el producto ha sido bien ingresado en el CVLaC respectivo y cero cuando falta información. En este último caso el producto no es tomado en cuenta en los cálculos. El indicador de calidad asigna un mayor valor para aquellos productos de mayor relevancia; publicar en una revista indexada A origina un mayor valor en el índice de calidad que publicar en una revista indexada B. Análisis del índice ScientiCol 1 Véase tabla 1 en donde se asignan indicadores de calidad de 3 y 1.6 respectivamente. El indicador de visibilidad circulación y uso no es medido en esta convocatoria; en todos los casos que la información ha sido correctamente ingresada toma un valor de 1, sin establecer diferencias entre impactos distintos. Una vez calculado el aporte por tipo de producto se procede a calcular la productividad promedio anual en Nuevo Conocimiento como se muestra en la tabla 2. El aporte de cada tipo de producto se divide por cinco, que es el máximo puntaje obtenido por los productos que generan nuevo conocimiento (1 de existencia, 3 de calidad y 1 de visibilidad circulación y uso). A continuación, el resultado obtenido se multiplica por el peso o anclaje. Obsérvese que a cada tipo de producto se le asigna un peso específico o factor de anclaje en el cálculo del aporte total en productos de nuevo conocimiento. Por ejemplo, el aporte total en libros de investigación tiene un peso de 3 unidades, mientras que el aporte total en artículos tiene un peso relativo de 1. Esta es otra manera de dar mayor o menor relevancia a un tipo de producto frente a otro. Tipo Producto Artículos Capítulos de libro Libros de investigación Normas Productos registrados Indicadores de Nuevo Conocimiento Dividido por Peso o Aporte 5 anclaje 8.6 5 5 0 7 1.72 1 1 0 1.4 1 0.6 3 1 3 Suma Productividad promedio anual para un grupo con 5 años de existencia en productos de Nuevo Conocimiento Indicador 1.72 0.6 3 0 4.2 9.52 1.9 Tabla 2. Cálculo de la Productividad Promedio Anual. Una vez obtenido el indicador de nuevo conocimiento, el valor resultante (9.52), se divide por los años de existencia del grupo, suponga 5 años para el ejemplo de la tabla 2. De esta manera se obtiene la productividad promedio anual de un grupo en productos de nuevo conocimiento durante toda su existencia. b. Productos de nuevo conocimiento tipo A (NC-A). Este tipo de productos está conformado por un subconjunto de los de nuevo conocimiento, llamados productos tipo A. Esta es la producción de mayor relevancia para un grupo; por ejemplo, sólo los artículos publicados en revistas tipo A caben en este componente. Mientras que un artículo publicado en una revista tipo C, aunque es producto de nuevo conocimiento, no cabe en esta categoría de los tipo A. Para cada uno de estos productos se calcula su aporte de la misma manera como se hace con los productos de nuevo conocimiento: Existencia, Calidad y Visibilidad. La diferencia radica en el indicador de calidad asignado, el cual toma mayor valor que el tomado por el resto de productos de NC. Para productos A el valor es 3 y para productos B el valor es 1,6. (Véase tabla 1) Nótese que un producto que se usa en los cálculos de la producción de nuevo conocimiento, si es tipo A, es usado de nuevo para calcular la productividad en esta categoría. Análisis del índice ScientiCol 2 c. Productos de divulgación. Acá caben las ponencias presentadas en eventos y la literatura gris, entre otros. Para calcular el aporte se toma únicamente el indicador de existencia. Esta categoría no usa los indicadores de calidad ni de visibilidad circulación y uso. d. Productos de formación. En este componente del índice se agrupan las tesis de doctorado y maestría dirigidas y finalizadas, los programas y cursos de maestría y doctorado soportados por profesores miembros del grupo, entre otros. Se calcula su aporte únicamente con el indicador de existencia. Esta categoría no usa los indicadores de calidad ni de visibilidad circulación y uso. De manera similar a como se obtiene la productividad promedio anual para los productos de nuevo conocimiento, se calcula la productividad promedio anual para los otros 3 componentes del índice. Para ejemplificar tomaremos cuatro casos hipotéticos: • El grupo X en sus 5 años de existencia ha producido 1.7 productos de nuevo conocimiento por año, 0.4 productos de nuevo conocimiento tipo A por año, 0.7 productos de formación por año y 0.8 productos de divulgación por año. • El grupo Y en sus 6 años de existencia ha producido 1.1 productos de nuevo conocimiento por año, 0.3 productos de nuevo conocimiento tipo A por año, 1 producto de formación por año y 0.4 productos de divulgación por año. • El grupo Z en sus 5 años de existencia ha producido 4 productos de nuevo conocimiento por año, 2 productos de nuevo conocimiento tipo A por año, 2 productos de formación por año y 2 productos de divulgación por año. • El grupo W en sus 7 años de existencia ha producido 5.5 productos de nuevo conocimiento por año, 4 productos de nuevo conocimiento tipo A por año, 3 productos de formación por año y 4 productos de divulgación por año. Para continuar con el cálculo, la productividad obtenida se divide por un umbral definido por Colciencias. Este umbral representa la productividad esperada por año para un grupo típico de 4 miembros. Los actuales umbrales son 2 productos por año de NC, 0.5 para NC tipo A, 1 producto por año de formación y 1 producto por año para divulgación. La división entre la productividad anual calculada y los umbrales Colciencias origina en todos los casos valores entre 0 y 1. Si el cociente es mayor que 1 se toma como valor 1. Como se verá más adelante esta decisión se hace para efectos de mantener normalizado el cálculo y garantizar que el índice Scienticol arroje valores entre 0 y 10. La tabla 3 muestra los cálculos obtenidos para los 4 grupos ejemplo. En el caso del grupo X se toma su productividad promedio anual en NC y se divide por el umbral Colciencias obteniendo un valor de 0.85. En el caso del grupo W, como el cociente es mayor que uno (5.5 dividido 2), se toma el máximo valor permitido (uno). Grupo X Y Z W Nuevo Conocimiento NC-TipoA Formación Umbral 2 Umbral 0.5 Umbral 1.0 1.7 / 2 = 1.1 / 2 = 4.0 / 2 = 5.5 / 2 = 0.85 0.55 1.0 * 1.0* 0.4 / 0.5 = 0.8 0.3 / 0.5 = 0.6 2 / 0.5 = 1.0 * 4 / 0.5 = 1.0 * 0.7 / 1 = 1.0 / 1 = 2.0 / 1 = 3.0 / 1 = 0.7 1.0 1.0 * 1.0 * Divulgación Umbral 1.0 0.8 / 1 = 0.8 0.4 / 1 = 0.4 2 / 1 = 1.0* 4/ 1 = 1.0 * Tabla 3. Productividad promedio anual de un grupo dividido por el umbral Colciencias. Análisis del índice ScientiCol 3 Como paso final, a cada componente de productividad se le asigna un peso específico en el aporte al índice ScientiCol. Los productos de NC aportan el 50% del valor de índice, los de NC tipo A aportan el 35% de este valor, los productos de formación aportan el 10% y los de divulgación el 5%. En este paso, el cociente obtenido en la tabla 3 se multiplica por este peso como se muestra en la tabla 4, lo cual permite conocer el índice ScientiCol obtenido por cada grupo. Grupo X Y Z W Nuevo Conoc. NC-TipoA Formación Divulgación 50% 35% 10% 5% 5 x 0.85 5 x 0.55 5 x 1.0 5 x 1.0 = 4.25 = 2.75 = 5 =5 3.5 x 0.8 = 2.8 3.5 x 0.6 = 2.1 3.5 x 1.0 = 3.5 3.5 x 1.0 = 3.5 1 x 0.7 = 1 x 1.0 = 1 x 1.0 = 1 x 1.0 = 0.7 1 1 1 0.5 x 0.8 = 0.4 0.5 x 0.4 = 0.2 0.5 x 1.0 = 0.5 0.5 x 1.0 = 0.5 Índice ScientiCol 8.5 6.5 10 10 Tabla 4. Índice ScientiCol de cada grupo ejemplo En este punto vale la pena hacer notar que para los grupos X e Y, el índice los clasifica correctamente; es decir, para productividades diferentes el cálculo arroja un índice diferente. Obsérvese que ambos grupos tienen una productividad que no supera los umbrales establecidos por Colciencias. No ocurre lo mismo con los grupos Z y W; aunque la productividad del grupo W es mucho mayor que la del grupo Z, ambos grupos obtienen el mismo valor para el índice. Nótese que W duplica en producción tipo A al grupo Z. La causa de esta anomalía es que ambos grupos tienen una producción por encima del umbral definido por Colciencias y por ello el índice no los jerarquiza correctamente. 2. Diferencias frente a la anterior versión del índice ScientiCol. En esta sección vamos a enumerar algunas diferencias respecto al índice utilizado en la medición de grupos 2004. Nos referiremos a los índices versión 2004 y versión 2006 como I-2004 e I-2006 respectivamente. • En el I-2006 no es posible que un grupo sin producción de nuevo conocimiento tipo A pueda ser clasificado como A. El peso de los productos tipo A, 35% en el cálculo, garantiza que un grupo sin productos A no obtenga a un índice mayor o igual a 8, lo que es equivalente a no poder ser clasificado como A. Esto no ocurría con el I2004. • En el I-2006 no se tiene en cuenta cuantos de los autores del producto son del grupo para calcular el aporte. Esto significa por ejemplo, que un artículo de 4 autores, en donde solo uno de ellos es miembro del grupo, aporta lo mismo en el cálculo que un artículo realizado únicamente por miembros del grupo. Esto no ocurría con el I2004. • En el I-2006 se toma como base un grupo tipo de 4 miembros para efectos de estimar productividad. Es decir, no se incluye en el cálculo el número real de miembros de un grupo. Lo deseable sería que el cálculo del promedio de productividad por año de un grupo esté mediado por el número de miembros que posea. Análisis del índice ScientiCol 4 • En el I-2006 un umbral único de producción es definido por Colciencias para todos los programas. En el I-2004 existía un umbral por programa que se definía tomando el grupo de mayor productividad en cada categoría y por programa; es decir, se empleaba el método de la curva. • Para calcular el I-2006 se desligaron los productos de los proyectos. Como consecuencia, no es obligatorio que un producto registrado en el GrupLaC esté asociado a un proyecto para que sea tenido en cuenta en el cálculo. Esto no ocurría con el I-2004. 3. Ventajas del I-2006. Del índice 2006 y del proceso de medición efectuado podemos enumerar las siguientes fortalezas. • Un grupo sin producción tipo A no puede ser clasificado como A. • El cálculo del aporte al índice de los artículos en revistas indexadas se realizó automáticamente, a partir de las bases de datos de clasificación de revistas que tiene Colciencias. Eliminar la intervención humana en esta parte del proceso le da más transparencia a la medición. • Existió un primer nivel de verificación de la información. Esta verificación se delegó en las universidades para el caso de libros, capítulos de libros, patentes, normas, productos registrados. Obsérvese que esto es un primer paso, aunque todavía con vacíos. En las universidades públicas deberían existir sistemas de información que integren la producción registrada y evaluada por las oficinas de jerarquía docente con los productos registrados en los GrupLaC, evitando que exista información no coincidente en ambas bases de datos. • El simulador provisto por Colciencias da una mayor transparencia al proceso y permite a los coordinadores corregir con anticipación posibles errores en el ingreso de la información al GrupLaC. 4. Desventajas del I-2006. Del índice 2006 y del proceso de medición podemos enumerar las siguientes debilidades. • Para el I-2006, si un producto aparece registrado en diferentes GrupLaC tiene el mismo impacto que si solo aparece registrado en un GrupLaC. Esto da lugar a que se infle la productividad de los grupos; por ejemplo, que se creen nuevos grupos con miembros de grupos ya existentes y se replique además parte o toda su productividad. • Como ya se mencionó arriba, no se tiene en cuenta cuantos autores de un producto son miembros del grupo para diferenciar el aporte al índice. • No se incluye el número de miembros de un grupo en los cálculos. Obviando el hecho evidente que no se puede exigir el mismo número de productos por año a un grupo de 3 miembros que a uno de 10. Análisis del índice ScientiCol 5 • El umbral definido por Colciencias para todo el país es demasiado bajo y no permite clasificar realmente a los grupos que estén por encima de este. De los resultados de la convocatoria de medición 2006, véase tabla 5, hemos tomado un buen número de universidades representativas del sistema. Obsérvese que el 47.52% de los grupos que se presentaron a la medición fueron clasificados como A, el 31.13% fueron clasificados en categoría B y el 21.35% se clasificaron como C. Lo anterior significa que la pretendida jerarquización arrojo una pirámide invertida en esta medición. Si se toman estas mismas universidades para el consolidado nacional de grupos por categoría, es decir los clasificados en el 2004 más los nuevos clasificados, hemos observado que se obtiene una tendencia similar. Universidad UN U. Andes U. Valle UdeA PUJ U. Norte UPB Categoría A 131 Categoría B 92 Categoría C 46 Medidos 269 49 27 9 85 39 21 19 79 35 22 15 72 33 14 22 69 14 10 4 28 12 9 9 30 12 10 17 39 11 13 7 31 9 8 7 24 Posición por grupos A 2 3 4 5 6 7 8 9 10 1 UTP UIS Eafit Total % 345 226 155 726 47.52 31.13 21.35 100.0 1 Tabla 5. Grupos por categoría en medición 2006 . • No es claro por qué Colciencias define incluir dos veces los productos Tipo A: En productos de Nuevo conocimiento y en productos tipo A. • El impacto de los productos no es medido en el I-2006. No debería tener el mismo impacto aquél artículo que es referenciado ampliamente por la comunidad científica en sus publicaciones respecto a aquellos que apenas son referenciados. Igualmente, el impacto de las patentes debería estar relacionado con el aporte al PIB o lo producido en regalías. 5. Conclusiones. La conclusión más evidente es la obtenida a partir del análisis de la tabla 5. El proceso de medición concebido para jerarquizar los grupos en función de su productividad no está arrojando los resultados deseados. Los niveles de exigencia y los criterios establecidos no están permitiendo identificar realmente a los grupos de excelencia. La pirámide invertida es un resultado a todas luces anómalo para el estado actual de la investigación de nuestro país en el contexto Mundial. En el caso de nuestro Sistema Nacional de Ciencia, Tecnología e Innovación aún en proceso de crecimiento y con un impacto muy modesto en el mundo, no podemos concluir que el 47.52% de nuestros grupos han alcanzado altos niveles que permitan clasificarlos como grupos A. Una segunda conclusión tiene que ver con la necesidad de incorporar nuevos elementos de medición tales como la cantidad de miembros del grupo, el impacto de los productos, el número de miembros del grupo que participan del producto, etc. 1 Estadísticas tomadas de los resultados publicados por Colciencias en su página Web - Junio 2006. Para la UN y la PUJ se toma el consolidado de todo el país. Si un grupo es avalado por varias universidades es contabilizado para todas. Análisis del índice ScientiCol 6 En opinión del autor, lo deseable es establecer un umbral de producción por año en función del número de miembros del grupo y de su capacitación. Un indicador importante para cualquier universidad es establecer indicadores de producción anual para sus investigadores; este dato puede ser la base para calcular la producción esperada de los grupos que ellos conformen. Otro elemento a incorporar es el indicador de visibilidad circulación y uso de los productos. Aunque todavía difícil de implantar en la práctica, vale la pena notar que algunas bases de datos bibliográficas permiten calcular automáticamente el número de referencias que tiene un artículo, cuál es el autor más referenciado, entre otros indicadores de impacto. Como se mencionó arriba, las patentes y los desarrollos tecnológicos pueden ser medidos por su impacto en la economía. Como tercera conclusión nótese el poco peso que tienen los productos de divulgación. El 5% del ScientiCol es atribuible a ponencias y póster en conferencias, literatura gris, etc. Este hecho lleva a reflexionar sobre la necesidad de dosificar la inversión en este tipo de eventos; aunque pueden ser útiles como primera experiencia de un investigador o para establecer contactos con pares científicos, su impacto en el índice es casi nulo. ScientiCol vs Productividad Promedio Anual NC-Tipo-A Valor 10,0 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,0 2,5 2,0 1,5 1,0 0,5 0,0 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59 61 63 65 Posición Grupo Indice ScientiCol NC-Tipo-A Gráfica 1. Índice ScientiCol para 65 grupos A y B de la U de A2. Como cuarta y última conclusión, esta vez para el caso particular de la U. de A., el autor analizó el índice ScientiCol de 65 grupos categoría A y B Colciencias de los 123 que posee hoy esta Universidad3 (véase gráfico 1). Como resultado encontró que 61 de 2 3 Información tomada de la impresión paso a paso del Índice Scienticol Para el momento de escribir este documento no se contaba con la información de los otros 58 grupos. Análisis del índice ScientiCol 7 estos grupos superan el umbral definido por Colciencias para productos de Nuevo Conocimiento Tipo A (0.5). Lo anterior significa que el índice no los clasifica correctamente; pues como se mostró más arriba, para estos casos el índice no mide el real aporte de la productividad; es decir, una mayor productividad tipo A no necesariamente implica un mayor índice ScientiCol. John Freddy Duitama M. Coordinador del Grupo Ingeniería Web. Jefe Centro de Investigaciones Ambientales y de Ingeniería. Facultad de Ingeniería -Universidad de Antioquia. Julio 2006. Análisis del índice ScientiCol 8