• Evaristo Jiménez Contreras

Cienciometría,yevaluación
la ciencia
(…yrevistas
de las
Cienciometría
medidas dedecalidad
de las
revistas)
científicas
Dr. Evaristo Jiménez-Contreras
Facultad de Comunicación y Documentación
Universidad de Granada
GRUPO EC3
Cátedra Celestino Mutis, Bogotá 10 noviembre 2014
Contenido
•
•
•
•
•
Definición
Algo de Historia
Estructura, funcionamiento
La primera pregunta
Aplicaciones
–
–
–
–
–
Evaluación de proyectos
Evaluación de revistas
Evaluación de investigadores
Rankings
Evaluación de Instituciones
• Ejemplo de la UGR
Definición: qué es, para qué sirve la Cienciometría?
• Vinckler, (1991)
– Cienciometría es una disciplina científica dedicada a los aspectos
cuantitativos de la Ciencia y la investigación científica.
• La Cienciometría es una disciplina nacida como variación sobre
la Bibliometría de la que toma sus metodologías pero las aplica
exclusivamente sobre el análisis de la Ciencia y a la que añade
todas las fuentes que pueden completar ese estudio.
• Entre sus usos estaría el mejor uso de los recursos para la
investigación
Su posición
BIBLIOMETRICS
INFORMETRICS
CIBERMETRICS
WEBMETRICS
SCIENTOMETRICS
SCIENTOMETRICS
Bjorneborn, L. (2004): Small world link structures across academic web space. A Library and
Information Science approach
Algo de Historia
•
•
•
•
Cuando nace?, los primeros recuentos..
Precursores: Cole & Eales, Hulme, Ortega
Clásicos: Lotka, Zipf, Bradford… los modelos
Maduración:
– Price, la Ciencia de la Ciencia
– Garfield, ISI
– Brookes, El envejecimiento
• Hoy:
–
–
–
–
–
Es una disciplina muy europea y cada vez más asiática
Hard Science
Muy estructurada: sociedades científicas, revistas, congresos.
Fuerte proyección social
Controvertida
Estructura funcional
Investigación
Aplicaciones
Básica: Modelos, leyes, citas,
redes…
Indicadores
Metodologías para el análisis de
especialidades
Benchmarking
Desarrollo de bases de datos,
repositorios
Política científica en
general
Resultados/Productos
Evaluación de autores
Evaluación de proyectos
Evaluación/Rankings revistas
Rankings institucionales
Evaluación institucional
Nuevos indicadores altmetricos
Lo que medimos (lo que podemos medir)
•RRHH
•Recursos Econ.
•Variables de
entorno
• Económicas
• Políticas
•Producción
científica
Caja negra
•Formación
•Transferencia
•Labor social
• Variables mixtas: financiación externa, becas…
La primera pregunta: es posible la evaluación de la
Ciencia?
Evaluación en Ciencia
• La evaluación es inherente a la actividad científica.
– La revisión por expertos es uno de los signos distintivos del quehacer
científico, es lo que diferencia a las revistas científicas de las restantes
(por ejemplo)
• Es cualitativa/cuantitativa
• Sin embargo, evaluar la Ciencia con la pretensión de orientar su
avance, optimizar los recursos, controlar sus progresos, etc. es
algo completamente diferente y en cierto modo ajeno a la tradición
científica
Es posible la planificación y la evaluación en Ciencia?
• El proceso de creación y aplicación de nuevo conocimiento es un
fenómeno muy complejo que implica a numerosos agentes:
– Gobiernos, instituciones científicas, empresas, la sociedad en su conjunto
• Sus efectos y algunos de sus factores son en parte intangibles
• Es incierta y a veces impredecible
• Las herramientas analíticas están poco desarrolladas (aunque cada
vez más)
• Con frecuencia genera polémicas y tiene efectos contraproducentes
Es posible la planificación y la evaluación en Ciencia?
• Por otra parte hay razones que parecen aconsejarla:
– Optimización de recursos
– Planificación de inversiones y de carreras
– Evaluación de proyectos
– Justificación ante la sociedad
El debate sobre la Política científica
Entre la Ciencia responsable.
Bernal JD, (1931) La responsabilidad social del científico
Los poderes públicos pueden y deben controlar la orientación de la
Ciencia
Y la república de la Ciencia…
La evaluación ex ante no es necesaria porque
“the results of any one particular investigation cannnot be predicted
with accuracy” (Bush, V. 1945)
Los científicos debían gozar de libertad total, nace la NSF
La práctica evaluadora se generaliza a partir de los 70-80 como
consecuencia de la crisis económica
A quien interesa o afecta?
La evaluación de la Ciencia es un territorio donde
convergen muchos intereses:
Académicos
Desde la Universidad se suministran las herramientas y los
fundamentos teóricos que la hacen posible.
Políticos
Desde la política se crean la herramientas legales para su
organización y se utilizan los resultados para financiar las
actividades
Económicos
Se aportan criterios para priorizar la investigación y se
aprovechan de sus resultados
Sociales
Se impulsan prioridades y se benefician de los resultados
Consecuencias:
Internas
Determina las carreras académicas
Asigna la financiación
Estratifica a la población
Incrementa la eficiencia del sistema científico
Externas
Hasta cierto punto define la orientación en la medida en que
es una herramienta de la PC
Da cuenta a los gestores y a la ciudadanía del estado de sus
instituciones científicas
Otra reflexión previa
La reflexión sobre los indicadores y usos de la Cienciometría no es
meramente técnica/teórica, Tiene unas evidentes implicaciones
políticas.
Su uso deben ser decidido a la luz del modelo de universidad que
busquemos (y no hay un modelo único).
La no evaluación de las actividades científicas, o su disolución entre
un conjunto más o menos amplio de objetivos o indicadores. también
es una opción política,
La percepción de las evaluaciones
Actitud de los investigadores franceses ante los procesos evaluativos:
Actitud
Porcentaje
Totalmente en contra
15
Aceptan con reparos
85
Totalmente a favor
0
Los ejercicios evaluadores no gustan a la comunidad científica (especialmente en CCSS
y H), Desde luego no gustan en España (en Latinoamérica?)
Eventualmente esta resistencia puede ser tan fuerte que paralice las evaluaciones
En Alemania a día de hoy no hay un sistema constituido de evaluación institucional
Situación de las universidades en Iberoamérica
• No existe un patrón común:
– Países con sistemas universitarios muy desarrollados: México, Chile, Brasil,
Colombia y otros…
– Países con infraestructuras organizativas maduras y otros…
• También hay que considerar si nos dirigimos a:
– Universidades enfocadas a investigación o a docencia
– Si tienen orientación internacional, nacional o local
– Si los destinatarios de los indicadores son usuarios, gestores,
responsables políticos
– Públicas o privadas
– Si aspiran a la excelencia científica o tienen una agenda social
• Por tanto los indicadores deben adaptarse a esos modelos y objetivos.
Aplicaciones
Ámbitos de actuación
Resultados/Productos
Evaluación de proyectos
Evaluación de autores
Evaluación/Rankings revistas
Rankings institucionales
Evaluación institucional
Valoración de proyectos
• Desde los primeros ensayos en USA la valoración de
proyectos ha incluido sistemáticamente un apartado de
valoración de los CV de los solicitantes
• Gradualmente esta valoración ha incorporado elementos
bibliométricos
– Producción, impacto, citas como parte del proceso
Caso España, la ANEP
Agencia Nacional de evaluación y Prospectiva (1989)
1, Méritos científicos del investigador principal y del resto del equipo de investigación.
1.1 - Valorar el historial científico del IP, especialmente en los últimos 6 años, y su capacidad de
liderazgo dentro del grupo.
1.2 - Valorar el historial investigador del resto de los componentes del equipo de investigación. Méritos
científicos de cada uno de los participantes, valorando positivamente la participación de investigadores
en formación
2. Interés científico-técnico del proyecto.
2.1 - Valorar el grado de novedad y relevancia del proyecto y el avance científico-técnico que supone
respecto del estado actual del tema.
2.2 - Valorar los resultados esperables de los objetivos propuestos, el conocimiento del estado actual
del tema y la claridad de ideas en el desarrollo del proyecto
3. Viabilidad de la propuesta.
3.1 - Capacidad del equipo de investigación para llevar a cabo los objetivos propuestos. No valorar
negativamente los intentos ambiciosos y arriesgados: un cierto riesgo puede ser meritorio en un
proyecto bien fundamentado.
Comentarios sobre la adecuación del presupuesto, plan de difusión, formación, otros.
Aplicación a la evaluación de las carreras académicas e institucionales
• Numerosos países: Australia, Bélgica, Holanda, Noruega, Finlandia,
España… han implementado alguna forma de premio por publicar
fuera.
• Se vincula la carrera académica a la publicación en los “mainstream
journals”.
• En general promueven la autoselección por parte de los autores
• Consecuencias:
• La investigación ha pasado a ser el centro de la vida universitaria
• Incremento de las cifras de publicaciones internacional
• Reacción en contra de las áreas de CCSS y Hum.
Algunos ejemplos; Noruega
• Tipos de publicaciones “A,B,C publications that could have achieved
greater significance by expending more effort and being compiled
into a smaller number of publications”
• Tipos de investigadores: local, nacional, Internacional
• “As a general rule, publications in publication channels with local
authorship are not to be included in the statistics on academic publishing
reported to the Database for Statistics on Higher Education (DBH), and
which would therefore be included in the Ministry’s basis for setting the
research component of the budgets.”
• Se diferencia entre Thomson Sci, Norart y BibSys
• Definición de publicación académica: originalidad, metodología canal,
lengua.
Algunos ejemplos; UK, del RAE al REF
•
•
•
•
•
•
•
•
•
Controvertido, calificado como muy negativo o muy positivo
Mide la calidad de los resultados (publicaciones), entorno, reputación
Flexible: cada panel establece sus reglas y umbrales.
Se valoraban los 7 años anteriores del miembros permanentes pero
se consideró a los part-time más adelante.
Selección de las mejores publicaciones
15 paneles y 67 subpaneles
Muy costoso
Incremento de la visibilidad pero no necesariamente de la calidad
(Moed 2008)
Ha generado una adaptación de conductas
Algunos ejemplos; UK, del RAE al REF
• Valoración en 5 niveles.
• Astectos nuevos: Calidad 65%; Impacto 20%; Medio ambiente
15%
• 36 paneles
• Cada panel desarrolla sus propios criterios. A modo de ejemplo
en el de Medicina no se menciona el impacto científico clásico
medido en citas o similar.
• Sub-panels 16, 17, 19, 20, 21, 22, 23, 24, 25 and 26 will neither
receive nor make use of citation data, or any other form of
bibliometric analysis including journal impact factors.
España
• CNEAI: objetivos
– Introducir un régimen retributivo para incentivar, mediante evaluaciones,
la actividad investigadora de calidad
– Fomentar que los investigadores orienten sus trabajos a lograr resultados
de amplia repercusión (internacional) científica y social
• Procedimiento:
– Evaluación sobre resultados de investigación: Las publicaciones
– Evaluaciones formales, NO sobre contenidos. Utilización de indicadores de
objetivación forma
– Evaluación por pares: comisiones de expertos y selección de las mejores
publicaciones de cada candidato (5 en 6 años)
– Valoración bibliométrica sobre todo
España
• ANECA fue creada en 2002
• la mejora de la calidad del sistema de educación superior
mediante la evaluación, certificación y acreditación de
enseñanzas, profesorado (Ayuda para la toma de
decisiones)
Qué evalúa
ANECA?
¿Qué
dimensiones evalúa ACADEMIA?
MÉRITOS
DOCENTES
ACTIVIDAD
INVESTIGADORA
•
•
•
•
•
Artículos en revistas
Libros y Capítulos
Proyectos y contratos
Transferencia
Congresos
FORMACIÓN
ACADÉMICA
•
•
•
Títulos y premios
Becas y ayudas
Estancias de
investigación
Docencia universitaria
Dirección de tesis,
tesinas, trabajos grado…
Cursos de formación
docente
•
•
•
GESTIÓN
•
•
•
Cargos Académicos
Puestos en la
administración
Liderazgo de grupos de
investigación y docentes
OTROS MÉRITOS
ANECA: una evaluación integral de la actividad académica
ANECA (2002 →)
Docencia
• 2008 programa ACADEMIA
22.000 evaluaciones)
… pero, de(>hecho.
Gestión
INVESTIGACIÓN
Transferencia
Pesos y puntuaciones para acreditación
CU
TU
Investigación
Investigación
Docencia
Docencia
Formación
Formación
Gestión
Gestión
Valoración de las revistas
Revistas Indexadas o con
Índice de Calidad Relativo
JCR
Revistas no
Indexadas o sin
Índice de Calidad
Relativo
¿Cuántas publicaciones son necesarias en ANECA?
o 1 index
CU
Ciencias y Ciencias de 40 SCI (50% primer
tercio)
la Salud
PTU
20 SCI (50% primer
tercio)
Indicadores para revistas
• Indicadores cualitativos
• Indicadores cuantitativos
– Basados en citas
• FI, SJR, SNIP, AI…, sin ponderar, ponderadas
– Nuevos
• Uso: visitas, descargas…Altmétricas
• Redes: Intermediación, centralidad…
Rankings
•
•
•
•
Los rankings son un arma arrojadiza
Son unidimensionales o lo que es peor multidimensionales
Difieren en sus reglas por tanto son incomparables entre sí
No descansan en supuestos teóricos claros en muchos de
sus apartados
Rankings
• Los rankings han proliferado en los últimos años
– Internacionales, nacionales
– Unidimensionales, multidimensionales, sintéticos
– Orientados a investigación, a la profesión, etc.
– Cerrados, adaptables
• Lo bueno es que siempre podemos elegir el que más
convenga a nuestra agenda científica o política.
Desmontando los rankings
• Elementos que componen la realidad universitaria:
Investigación
Investigación
Docencia
Reconocimiento
Inserción laboral
Opinión de los expertos
Transferencia
Opiniones y éxito de los
egresados
Otras labores sociales
• Elementos que componen la realidad de los rankings
Una valoración personal
• Cual es la razón del éxito?
– Percepciones, metodologías, información, expectación mediática
• Los rankings han venido para quedarse por tanto…
– Hay que tener un programa de actuación y debemos ser proactivos
– Conocer sus criterios internos y potenciarlos en nuestra política
científica si son razonables y es factible hacerlo, por ejemplo;
• Favorecer la publicación en revistas internacionales de alto impacto
• Contratar profesores de reconocido prestigio
• Atraen/ran visibilidad, estudiantes y recursos tanto
humanos como económicos
Evaluación institucional
• La incorporación de las herramientas ciencimétricas a la
gestión de la universidad es uno de los grandes cambios de
la política universitaria reciente
• Permiten
– La toma de decisiones informada
– La asignación de recursos de forma más objetiva y coherente
– La evaluación de los logros de las políticas y el grado de
acercamiento a los objetivos
– La rendición de cuentas
Un ejemplo de aplicación: la unidad de Bibliometría de
la UGR
Daniel Torres-Salinas, Evaristo Jiménez-Contreras: Hacia las unidades de
bibliometría en las universidades: modelo y funciones. REDC, Vol 35, No 3
(2012)
Las unidades de Bibliometría
Un ejemplo de Transferencia: EC3metrics
Muchas Gracias!
evaristo@ugr.es