Evaluación de Publicaciones Científicas - BVS

Evaluación de Publicaciones
Científicas
Lilian Calò
BIREME/OPS/OMS
PFI, gerente
lilian.calo@bireme.org
Flujo de la Comunicación Científica
Contribución de Ibero America a la
producción científica mundial
B R AZ IL
C HIL E
ME X IC O
A R G E NT INA
C O L O MB IA
V E NE Z UE L A
C O S T A R IC A
C UB A
E C UA D O R
J AMA IC A
PERU
T R INID & T O B AG O
UR UG UA Y
A L &C
124
44
43
21
20
13
1
1
1
1
1
1
1
272
1,101
0,391
0,382
0,186
0,178
0,115
0,009
0,009
0,009
0,009
0,009
0,009
0,009
2,415
Articles in
W oS in 2009
24606
3839
9682
5919
1759
1029
333
662
290
292
524
18
61
49014
S P AIN
P O R T UG A L
IberoAmérica
163
8
443
1,447
0,071
3,934
39606
7793
96413
3,139
0,618
7,642
4079
172
4251
36,222
1,527
37,750
341.055
51.274
392.329
27,035
4,064
31,099
11.261
100
1.261.551
100
C ountry
US A
C anadá
A mérica do Norte
W oS / W orld
T itles
% W orld
% W orld
1,950
0,304
0,767
0,469
0,139
0,082
0,026
0,058
0,023
0,023
0,042
0,001
0,005
3,885
Acceso a la información científica y técnica
indexada en AL&C
• AL&C es probablemente la región en desarrollo con
mayor capacidad y mejor infraestructura de acceso a la
información científica y técnica en salud. Esta evaluación
considera tanto el acceso a las referencias bibliográficas
como a los textos completos de los documentos.
• La contribución e impacto de la BVS es significativo en
la promoción de la información científica y técnica
calificada, organizada, accedida y evaluada.
Actividades relacionadas con la publicación científica
•
Contenido informativo: selección de contenido, adaptabilidad
•
Redacción del manuscrito: redacción científica, formatos, standards
•
Canales de transmisión: selección del vehículo apropiado para
diseminar la información, público-alvo, idioma
•
Evaluación: peer-review, inclusión en bases de datos, medidas de
impacto, uso y nuevas métricas
•
Publicación y difusión: periódicos impresos, en línea, conferencias,
blogs, redes sociales, foros en línea, etc.
Evaluación de la Producción Científica
• Es importante evaluar la producción científica para
traducir la investigación en programas y políticas
públicas y saber lo que es relevante.
• Indicadores de impacto científico: Factor de Impacto,
Scimago Journal Rank, Eigenfactor, Indice h, medidas
de uso y download, nuevas métricas;
• Indexación en Bases de Datos regionales e
internacionales: Scopus, LILACS, SciELO, MEDLINE,
Web of Science, JCR
Factor de Impacto
•
•
•
Utiliza la base Web of Science (Thomson Reuters)
FI = Citas recibidas / numero de artículos
Es calculado en base a 2 o 5 años para efecto de comparación de áreas
con distintos parámetros de citación
Por ejemplo, FI de New England Medical Journal en 2008:
Citas recibidas en 2008 a artículos publicados en 2007 y 2008: 32.311
Artículos publicados en 2007 y 2006: 646
Resultado: 32.311/646 = 50,017 = Factor de Impacto del NEMJ
•
Críticas al FI:
 Es impreciso pues lo que cuenta en el numerador no es tomado en cuenta
en el denominador;
 Existen artificios para aumentar FI de periódicos, como artículos de revisión,
editoriales de impacto, que serán mucho citado y otros;
 Disponible en una base de datos de acceso pagado www.isiknowledge.com/
•
¿Por qué es tan popular? Por haber sido el pionero, por ser simples de
calcular
Scimago Journal Rank
•
SCImago Journal Rank es una medida de impacto científico de las revistas
académicas que representa el número de citas recibidas por una revista y la
importancia o prestigio de las revistas donde tales citas vienen;
•
Utiliza la base de datos Scopus y acumula citas en 3 años;
•
Es basado en el algoritmo PageRank, utilizado por el Google para ordenar
las páginas más visitadas en una búsqueda;
•
Es un indicador independiente de tamaño y sus valores ordenan las revistas
por su "prestigio promedio por artículo" y puede ser utilizado para las
comparaciones de revistas en los procesos de evaluación de ciencias;
•
Disponible en una base de datos en acceso abierto,
http://www.scimagojr.com/ aunque la base Scopus es de acceso por
asignatura.
Eigenfactor
•
•
•
•
•
•
•
Eigenfactor utiliza el mismo algoritmo PageRank del clasificador de páginas
de Google;
El sistema de clasificación de periódicos utilizando Eigenfactor toma en
cuenta la diferencia de prestigio entre los periódicos que citan;
Eigenfactor también se ajusta para diferencias de patrones de citación entre
disciplinas, permitiendo comparar desempeños entre ellas utilizando el
mismo índice. También con esta finalidad, Eigenfactor se basa en las citas
recibidas en un período de cinco años.
Otra particularidad de Eigenfactor: diferente del factor de impacto, unifica y
contabiliza citas en revistas en los campos de ciencias y ciencias sociales;
Elimina autocitaciones. Se descuenta cada referencia de un artículo en una
revista a otro artículo de la misma revista.
Utiliza la base de datos Web of Science. El cálculo matemático se ideó de
forma que la suma de Eigenfactor de todos los periódicos indexados en
JCR sea 100.
El índice Eigenfactor se encuentra disponible en acceso abierto (
www.eigenfactor.org) y también en el sitio de Web of Science (acceso por
asignatura)
Article Influence
•
El Article Influence de un determinado periódico es la medida del prestigio
de este periódico por artículo. Él se calcula dividiéndose Eigenfactor por la
fración de artículos publicados por el periódico. Esta fracción se normaliza,
para que la suma total de artículos en todos los periódicos sea 1.
•
Así, mientras Eigenfactor toma en cuenta toda la red de citaciones recibidas
en los últimos cinco años por todos los artículos del periódico, el article
influence es una medida del prestigio de este periódico basado en las
citaciones por artículo.
•
El valor mediano del article influence es igual a 1.00. Valores mayores que
1 indican que cada artículo en el periódico ejerce una influencia arriba de la
media y valores menores que 1 indican que cada artículo en el periódico en
cuestión ejerce influencia abajo de la media.
•
El índice article influence se encuentra disponible en acceso abierto
www.eigenfactor.org y también en el sitio de Web of Science.
Indice h
•
Idealizado por J.E.Hirsch (2005) Proc. Natl. Acad. Sci. USA vol. 102 (46)
16569-16572;
•
Es un índice para cuantificar la productividad científica de un investigador,
departamento o institución;
•
Índice h es definido como el numero de publicaciones con citas > h;
•
Este índice normaliza las diferentes áreas del conocimiento;
•
Un autor con 20 publicaciones con 20 citas cada tiene un índice h igual a
20.
•
Es posible calcular el índice h de una revista. Una publicación tiene índice h
50 se tiene 50 papers con 50 citas cada.
"Estos resultados deben hacernos repensar FI y SJR como el “golden
standard” de las medidas de impacto científico. Los resultados aquí
presentados indican que las métricas basadas en medidas de uso y no
de citación - como ha sido más común - pueden representar una mejor
medida de consenso".
Bases de Datos
•
Permiten organizar y catalogar las revistas;
•
Realizar búsquedas por asunto, autor, periódico, palabras-clave;
•
Su función primordial es separar los periódicos basado en la calidad
en los artículos publicado;
•
Criterios varían poco entre las varias bases regionales e
internacionales;
•
Para que sean más representativas, las bases no necesitan indexar
la totalidad de los periódicos, y sí los más representativos;
Ley de Bradford
• Un número relativamente pequeño de revistas de cada
especialidad publica la mayor parte de los resultados
científicos significativos;
• 2000 revistas corresponden a 85% de los artículos
publicados y 95% de los artículos citados
• Esta porción de revistas no es fija, una constante
reevaluación e indexación de nuevas revistas es necesaria.
Indexación de revistas en salud de AL&C en bases de datos
Revistas de Brasil en la Web of Science/JCR
Año
2006
2007
2008
2009
Número de Revistas
Web of Science
JCR*
27
21
64
27
103
28
125
**
(*) Science Citation Index Expanded
(**) Se publicará em jun/2010
Relación Revistas Web of Science / JCR
Journals
in JCR
Science
Edition
Journals Ratio
in WoS
Journals in
WoS/JCR
Australia
Austria
Belgium
73
25
15
190
42
49
2.60
1.68
3.27
Brazil
Canada
28
80
124
172
4.43
2.15
Czech Rep
Denmark
England
Finland
22
60
1415
14
55
68
2203
19
2.50
1.13
1.56
1.36
France
Germany
150
463
281
725
1.87
1.57
India
Italy
45
75
109
175
2.42
2.33
Japan
Netherlands
New Zealand
Norway
174
610
23
34
230
808
38
51
1.32
1.32
1.65
1.50
China
Poland
81
59
134
141
1.65
2.39
Russia
Scotland
South Africa
108
21
21
155
29
65
1.43
1.38
3.10
South Korea
Spain
Sweden
40
37
19
89
162
31
2.23
4.38
1.63
Switzerland
USA
152
2506
198
4078
1.30
1.63
Country
Comparación entre criterios de Bases de Datos
Bases de Datos de Revistas Científicas
Criterios
Número de títulos en la base
Títulos aceptados
Periodicidad y Regularidad
Recomendaciones ICMJE*
Peer Review
Analice de citaciones (Factor
de Impacto)
DiverSidad Internacional de
autores
Cuerpo Editorial Diversificado
Mérito y carácter científico –
contribuciones originales
Título, resumen y palabras
clave en inglés
Referencias en alfabeto
romanas
Publicaciones en el área
médica y biomédica
Scopus
LILACS
SciELO
NLM
Web of
Science/JCR
18.000/16.500
peer reviewed
40%
Importancia
relativa
801
640
25-27%
18%
20-25%
Si
Si
Si
Si
No
Si o otro
standard
Si o otro
standard
Si
Si
Si
Si
Si
Si
No importante
Importante
No importante
Importante
Importante
Importante
No importante
Importante
No
necesariamente
No
necesariamente
Importancia
relativa
Importancia
relativa
Importancia
relativa
5455 (MEDLINE) 11.261 / 6.620
10-12%/ 5-6%
Importancia
relativa
Importancia
relativa
Importancia
relativa
Importancia
relativa
Importante
Importante
Importante
Si, resumes en
ingles
Si
Si
Si
No
No
No
Si
Si
No
Si
No
Si
No
(*) International Committee of Medical Journal Editors – Uniform Requirements for
Manuscripts Submitted to Biomedical Journals (http://www.icmje.org/)
Importante
Importante
Conclusiones
•
•
•
•
•
•
La indexación de una revista en una base de datos regional o internacional
no obedece solamente a criterios formales;
La situación de las revistas concurrentes en la selección presente o
precedente en la misma área de conocimiento es un factor determinante;
Muchas veces criterios comerciales, geográficos o de fomento de una área
especifica influencian la selección de revistas por una base de datos;
En el año 2008 Thomson Reuters seleccionó 700 nuevas revistas en el
mundo de carácter regional para apoyar la diseminación del conocimiento
regional. El proceso de selección duró cerca de 2 años;
De estas, 80 son de AL&C en varias áreas del conocimiento, incluso
ciencias de la salud. Los criterios son los mismos que para la admisión en
la WoS, pero sin dar tanta importancia a las citas.
La indexación en base de datos es una indicación de cualidad de una
revista pero no es el único criterio para aferir esta cualidad.