evaluación de colecciones en las bibliotecas universitarias (ii).

ANALES DE DOCUMENTACION, Nº 7, 2004, PÁGS. 171-183
EVALUACIÓN DE COLECCIONES EN LAS BIBLIOTECAS
UNIVERSITARIAS (II). MÉTODOS BASADOS EN EL USO DE LA
COLECCIÓN
Àng e ls Ma ssísimo i Sánchez de Boado ∗
Facultat de Biblioteconomia i Documentació. Universitat de Barcelona
Resumen: Como continuación del trabajo sobre métodos de evaluación basados en
el estudio de la colección en sí misma, se presentan siete métodos alternativos de
evaluación de la colección, basados esta vez en estudios sobre el uso de la colección.
Se presenta en forma breve cada método y se describen sus ventajas e inconvenientes, así como la aplicabilidad de cada uno para diferentes tipos de colección.
Palabras clave: Evaluación de colecciones; bibliotecas universitarias; indicadores
de calidad.
Title: COLLECTION EVALUATION IN UNIVERSITY LIBRARIES (II).
METHODS BASED ON COLLECTION USE
Abstract: This is our second paper devoted to the collection evaluation in the university libraries. Seven methods are described, based on collection use. Their advantages and disadvantages are discussed, as well as their usefulness for a range of library types.
Keywords: Collection evaluation; university libraries; performance indicators.
Los estudios de la colección en sí misma con vistas a su evaluación fueron revisados y
discutidos en otro número de esta publicación1, pero quedaron pendientes los estudios
basados en el uso. El objeto del presente artículo es presentar y examinar brevemente los
principales métodos que entrarían dentro de este segundo grupo.
Los métodos más frecuentemente utilizados para evaluar las colecciones en función de
su uso estudian, sobre todo, los siguientes aspectos:
• préstamo,
• uso o consulta in situ,
• disponibilidad de los documentos,
• rotación en los estantes,
• préstamo interbibliotecario y servicio de obtención de documentos,
• opinión de los usuarios,
• simulación del uso, o análisis de citas.
A continuación los analizaremos brevemente uno por uno.
∗
amassisimo@ub.edu
Cf. "Evaluación de colecciones en las bibliotecas universitarias: I, Métodos basados en el estudio de la colección". Anales de documentación 5 (2002), p. 245-272. Disponible en versión electrónica en la dirección
http://www.um.es/fccd/anales/ad05/ad0514.pdf. [Consulta: 4 dic. 2003].
1
172
ÀNGEL MASSÍSIMO
ESTUDIO DEL PRÉSTAMO
Este sistema analiza los datos del préstamo de la colección, ya sea completa o bien por
partes, combinándolos con criterios como la materia, el grupo de usuarios, la fecha de
publicación, etc., con la única limitación de la capacidad estadística de nuestro sistema de
préstamo. De esta manera podemos obtener la tasa de préstamos de una materia determinada, o bien la actividad de préstamo de un determinado segmento de usuarios2, o la curva
de préstamos de las distintas obras según su fecha de publicación, etc.
La utilidad del método es excelente a la hora de identificar las partes de la colección
menos utilizadas (sea por materias, soportes, etc.), así como para describir modelos de uso
para esas áreas (por ejemplo, épocas del año en que "salen" determinadas obras), y para
identificar grupos de usuarios preferentes para partes de una colección; incluso puede
aplicarse con finalidades de selección, para formar una colección que satisfaga las necesidades más frecuentes. Siempre que el tipo de fondos nos permita pensar que su uso en
préstamo es lo suficientemente representativo del total de usos, las ventajas del método
son evidentes, pues, aparte de la facilidad de obtención de los datos y de su interpretación
-lo que nos permite trabajar con una relativa economía de medios-, posibilita, como se ha
visto, la realización de una amplia gama de estudios sectoriales.
No obstante, el método no está exento de inconvenientes. Una de las principales limitaciones de ese tipo de estudios es, precisamente, el hecho de ser exclusivamente aplicables a los fondos de préstamo de las bibliotecas, y no a toda su colección ni a las otras
actividades que se pueden desarrollar con los documentos, (consulta, reprografía, etc.), de
manera que quedan excluidas de él todas las colecciones -o partes de colecciones- no
prestables, así como las obras objeto de préstamo restringido, de fin de semana, etc., a
menos que se elaborase para éstas un baremo especial. Obviamente, esto hace al método
tanto más adecuado cuanto más pensada para el préstamo sea la colección (por ejemplo,
en muchas bibliotecas los datos de préstamo de la colección de novela serán más representativos que los de revistas, si estas últimas sólo se prestan bajo determinadas condiciones
y, por supuesto, más que los de manuales, muchos de los cuales pueden incluso estar exentos de préstamo, lo que haría el sistema totalmente inviable).
Otro inconveniente es que el método no contempla el uso frustrado, al no poder contabilizar como préstamos las demandas de documentos que ya se encuentren prestados y,
por tanto, sean momentáneamente inasequibles para otro lector. Bien es cierto que muchas
bibliotecas admiten listas de espera, pero éstas tampoco se traducen siempre, en la práctica, en otros tantos usos efectivos, por lo que no deberían contabilizarse como préstamos
hasta tanto que la transacción no se efectuara realmente.
Una variante de los estudios de préstamo nos la ofrece el indicador que Poll y Te Boekhorst definen, en su obra Medición de la calidad3, como “uso de la colección por materias” (indicador nº 5). En el caso de ese indicador, los autores consideran que “el uso vie2
Siempre que nuestro sistema recoja los datos de los usuarios y permita cruzarlos con los de obras prestadas o
materias objeto de préstamo, y que ello se pueda hacer sin que constituya una violación del derecho a la intimidad del usuario individual.
3
Roswita Poll, Peter Te Boekhorst. Medición de la calidad: directrices internacionales para la medición del
rendimiento en las bibliotecas universitarias. Madrid: ANABAD, 1998. Esta obra se comentó, en la primera
parte de este artículo, como una de las pautas de calidad propuestas por IFLA (Cf. Anales de documentación, 5
(2002), p. 259-266.)
anales de documentación, nº. 7, 2004
EVALUACIÓN DE COLECCIONES EN LAS BIBLIOTECAS UNIVERSITARIAS (II)
173
ne dado por el número de préstamos, y no se tienen en cuenta otras formas de uso como el
uso interno”4; los datos del préstamo se combinan con los de materia de los documentos
prestados con la intención de dilucidar “si la distribución de recursos de la biblioteca y la
política de adquisiciones se adecuan a la demanda de los usuarios. La biblioteca identifica
si... invierte el presupuesto en las monografías y en las áreas temáticas apropiadas”5. Poll
y Te Boekhorst advierten ya de las limitaciones de este estudio, que -además de ser más
indicado para las monografías que para el conjunto de las colecciones en general- tampoco tiene mucho sentido si dicha colección de monografías no está convenientemente actualizada, por lo que antes de decidirnos por este método de evaluación deberíamos estar
seguros de que el estado de revisión de la colección es el correcto, o bien, en caso contrario, realizar una revisión previamente a la evaluación –lo que alargaría el proceso y lo
haría más costoso. Asimismo, los autores recomiendan excluir de la evaluación los títulos
que conforman la bibliografía recomendada para el estudiante por su posible incidencia en
el sesgo de los datos y contándose, además, con otros sistemas para evaluar ese tipo de
fondos. Por idénticas razones, pues, habría que prescindir también, para el estudio, de las
colecciones de reserva y fondos especiales -u otras partes de la colección donde se haga
hincapié en alguna materia por razones específicas distintas de su estricta previsión de
uso-, pues su contabilización también produciría un sesgo en los datos, aparte del diferente criterio de selección aplicado en esos casos. Viene aquí a cuento recordar la conveniencia de tener presentes en la evaluación las decisiones políticas tomadas por la biblioteca
sobre el desarrollo global de su colección, pues éstas deben actuar como referente en todo
el proceso. Nuestra evaluación debe intentar, en realidad, averiguar hasta dónde estamos
siendo fieles a aquellas decisiones, pues ése será el baremo de calidad más adecuado a
nuestro caso6.
ESTUDIO DEL USO O CONSULTA IN SITU DE LOS DOCUMENTOS
Con este método recogemos y analizamos datos sobre la utilización del fondo en las
salas de la biblioteca; al igual que en el caso del préstamo, esos datos podemos combinarlos después con materia, soporte, grupo de usuarios o partes de la colección, con las limitaciones comentadas anteriormente. De lo que queda dicho se deduce que este método es
siempre complementario del anterior (pues toda colección susceptible de préstamo lo es
también de uso en sala), y substitutivo en los casos de fondos excluidos de préstamo. En
cuanto a sus aplicaciones, son en buena parte las mismas que tienen los estudios de préstamo.
La mayor dificultad presentada por este método surge del hecho de que la mayoría de
colecciones están en libre acceso, y no se dispone de una estadística fiable de usos al no
4
Roswita Poll, Peter Te Boekhorst. Op. cit., p. 81.
Ibid.
6
De esta manera, si nosotros habíamos decidido que la biblioteca iba a recoger más intensamente algunas materias, como por ejemplo las energías alternativas, o la medicina deportiva, ello debe cotejarse con los hechos en el
momento de la evaluación, para comprobar si el préstamo total de obras de esas áreas es, o no, más intenso en
proporción con la mayor presencia de documentación sobre el tema -a menos que nuestra colección especial esté
excluída de préstamo, naturalmente. De hecho, hay que recordar que una colección especial se justifica muchas
veces en función de todo un sistema bibliotecario, y no sólo de los usos que reciba en la biblioteca concreta
donde se ubica.
5
anales de documentación, nº. 7, 2004
174
ÀNGEL MASSÍSIMO
quedar éstos registrados. Para recoger esos datos se han utilizado sistemas muy diversos:
desde un simple contaje o marcación en el momento de la recolocación en los estantes
hasta el registro de usos por parte del mismo usuario en una hoja ad hoc, pasando por la
observación no invasiva, por las entrevistas o por una combinación de varios de ellos.
Cualquiera de estos sistemas tiene ventajas e inconvenientes. La recolocación por el personal es lo habitual en nuestras bibliotecas, y sería lógico su aprovechamiento para finalidades de contaje: sin embargo, si esa recolocación no se hace de manera continua (lo que
muy pocas bibliotecas pueden permitirse), no podemos asegurar que cada vez que un
documento es guardado debamos contar un solo uso, pues puede haber sido tomado del
carro, o de la mesa, y vuelto a dejar allí en diversas ocasiones por distintos usuarios; por
otra parte, la larga ausencia del estante sin justificación puede provocar un considerable
uso frustrado, buena parte del cual es incontabilizable. El registro por parte del usuario
también presenta el riesgo de ofrecer datos muy incompletos, ya sea por olvido, falta de
atención o desidia. Finalmente, tenemos la posibilidad de realizar una discreta observación de la conducta de los usuarios y de los documentos que éstos utilizan. La tecnología
actual posibilita grandemente la aplicación de este sistema, que anteriormente solía desestimarse a menudo por costoso en tiempo y personal7. En cuanto a las entrevistas, pueden
ser un buen sistema complementario de la observación y nos ofrecen muchos datos adicionales sobre qué uso se da a la información, preferencias, etc.; sin embargo, sobre ser un
método lento y caro, se ha dicho a menudo que importunan al usuario, por lo que deberían
reservarse para situaciones en las que no tengamos otra manera de obtener información de
calidad. En todo caso, si se quiere recoger datos sobre el uso in situ mediante entrevistas u
observación –o las dos cosas-, deberemos preparar una muestra representativa y aleatoria
de días y horas de apertura de la biblioteca, y realizar nuestro estudio en esos días y horas,
bien con todos los usuarios presentes, bien con una selección igualmente elaborada con la
técnica de muestreo que sea más acorde con nuestras necesidades8. No hay duda de que la
correcta elección de la técnica de muestreo y su aplicación presentan dificultades, que a
menudo requerirán del concurso de un experto para su resolución, encareciendo y haciendo más lento el proceso, aunque añadiéndole seguridad.
Otro inconveniente del estudio del uso o consulta in situ –al igual que en los estudios
de préstamo- es el hecho de no contemplar el uso frustrado, lo que hace que tampoco
obtengamos aquí una pintura fiable al cien por cien de la frecuencia o intensidad de utilización de los documentos en la sala.
No tenemos descrito, en la normativa IFLA para la evaluación de bibliotecas universitarias, ningún método que corresponda exactamente a este perfil, ya que el único que allí
se comenta (indicador nº 4) es el “uso de la colección”, pero ya se nos advierte desde el
principio que “uso de un documento tal como se concibe para este indicador consiste en la
circulación y el uso interno en las instalaciones de la biblioteca”9, es decir, una suma de
7
Ya advertíamos en la primera parte de este artículo sobre la disponibilidad de softs de aplicación en PDAs que
permiten la observación discreta de los usuarios en sala y el registro y contaje rápido de datos predeterminados.
Puede verse sobre esto el trabajo de Christine Koontz y Dean Jue, "Uso de las nuevas tecnologías para una mejor
gestión bibliotecaria", presentado en la 66th IFLA Council and general conference, Jerusalén, en agosto del 2000.
Versión electrónica en http://www.ifla.org/IV/ifla66/papers/083-120s.htm [Consulta: 18 nov. 2003].
8
Para las distintas técnicas de muestreo puede verse Elías Sanz Casado, Manual de estudios de usuarios (Madrid: Fundación Germán Sánchez Ruipérez, 1994).
9
Roswita Poll, Peter Te Boekhorst, Op. cit., p. 73.
anales de documentación, nº. 7, 2004
EVALUACIÓN DE COLECCIONES EN LAS BIBLIOTECAS UNIVERSITARIAS (II)
175
las dos modalidades, préstamo y uso en sala. A lo largo de la descripción del indicador se
nos da, además, cuenta de que debemos también recoger el uso para reprografía, lo que
acaba de dibujar una panorámica global de los principales usos, pero no permite trabajar
con uno de ellos en exclusiva. Sin embargo, este indicador puede resultar interesante en
casos de colecciones donde una modalidad de uso no predomine sobre la otra. De hecho,
aplicando los mismos métodos aconsejados para la obtención del indicador, podemos
limitarnos a recoger datos del uso en sala, si para nuestro caso es esa medida la que consideramos adecuada. La misma descripción del indicador parece animarnos a ello cuando se
refiere a “observar las alteraciones en la relación circulación – uso interno”10, para el
cual apunta distintas interpretaciones.
Tanto del estudio de préstamo como, sobre todo, del estudio de la consulta in situ,
puede hacerse una crítica conjunta, y es que ambos dan por supuesto que un uso, en cualquiera de sus formas, equivale a la satisfacción de una necesidad, y por lo tanto a la adecuación del documento usado. Sin embargo, ello no siempre es así, pues ¿qué decir de la
consulta (o, más raramente, el préstamo) que acaba en el rechazo del documento por parte
del usuario, por considerarlo irrelevante o insuficiente para sus necesidades? Cuantas
veces un usuario toma un libro en préstamo o lo saca de los estantes, lo hojea y, finalmente, lo desestima, ¿serán contadas como usos e incrementarán, por tanto, la tasa de valoración del libro en cuestión? Y cuando es el bibliotecario el que coge el libro del estante
para una simple comprobación, para recatalogarlo, encuadernarlo de nuevo... ¿todo eso
son usos? Y lo que se dice de los libros vale para cualquier otro soporte, como es lógico.
De esta manera, hay que contar con un margen de error en el sistema, aunque, desde luego, se trata de un margen asumible.
Complementariamente a los estudios de uso (tanto al préstamo como a la consulta en
sala), puede también tener interés el estudio del “no uso” (indicador nº 6 de la IFLA)11,
mediante el cual se identifican las partes de la colección que no se utilizaron durante un
determinado período de tiempo. Ya se comentó este indicador en la primera parte de este
artículo, por lo que no insistiremos sobre él nuevamente.
ESTUDIO DE LA DISPONIBILIDAD DE LOS DOCUMENTOS
Poll y Te Boekhorst, en el documento de IFLA al que nos venimos refiriendo, señalan
la disponibilidad de los documentos como uno de los indicadores de calidad (concretamente el nº 11). Para ellos, la disponibilidad "... se define como la proporción de materiales solicitados por el usuario que puede utilizar inmediatamente en la biblioteca (incluida
la reproducción del documento) o en préstamo a domicilio”12. Aquí lo que se trata de
conocer es qué probabilidad de ser satisfecha tiene la demanda del usuario sobre un ejemplar determinado. En el cálculo de esta probabilidad entran, como ya se dijo, conceptos
como la tasa de adquisición, la de catalogación, la búsqueda en catálogo, la circulación del
documento e incluso la colocación correcta, pues todos y cada uno de esos aspectos influirán en el éxito final de la búsqueda.
10
Roswita Poll, Peter Te Boekhorst, Op. cit., p. 78.
Roswita Poll, Peter Te Boekhorst, Op. Cit., p. 87 y ss.
12
Roswita Poll, Peter Te Boekhorst, Op. cit., p. 111. Ya se comentó este indicador en la primera parte de este
artículo, citada más arriba.
11
anales de documentación, nº. 7, 2004
176
ÀNGEL MASSÍSIMO
La guía de la American Library Association para la evaluación de colecciones se refiere al estudio de la disponibilidad como una técnica que “... realiza el seguimiento de las
peticiones del usuario directamente, y mide con qué frecuencia la colección es deficiente
cuando un usuario no puede encontrar un ítem, y con qué frecuencia es un error del usuario la causa de que un ítem sea inaccesible”13. Esta inaccesibilidad puede concretarse en la
ausencia del documento en catálogo o bien en un número insuficiente de copias del mismo, pero también en un documento existente, y presente en la biblioteca, pero mal guardado; correctamente ubicado pero mal señalizado; en uso en la sala, en encuadernación,
etc. La forma de controlar estas variables necesita siempre la colaboración de los usuarios,
ya sea informando oralmente a los bibliotecarios sobre sus éxitos y fracasos en la búsqueda de ejemplares o haciéndolo por escrito (rellenando algún tipo de formulario, dejándose
entrevistar, etc.) Si no se pudiera contar con esa colaboración, el grado de disponibilidad
real de los documentos sería muy difícil de precisar, ya que, aunque podría hacerse mediante muestreos periódicos, nunca darían éstos una pintura tan exacta de la realidad como
la que los usuarios nos pueden ofrecer.
Una de las ventajas del estudio de disponibilidad es que nos permite descubrir puntos
débiles en nuestra biblioteca, no sólo en la colección –en forma de ausencias-, sino también en su disposición física, en la amigabilidad y puntualidad de los catálogos, etc., todo
lo cual puede ser aprovechado para posteriores planes de mejora. Además, si realizáramos
este test con una cierta periodicidad, nos ayudaría a ver la evolución y la efectividad de
los cambios realizados con motivo de esos planes.
El estudio de disponibilidad, por ser tan dependiente de los usuarios, resulta lento y laborioso, aparte de que puede perderse mucha información por olvido o dejadez de los
usuarios a la hora de informar sobre sus éxitos y fracasos. Otro inconveniente es que, con
este método, nada aprendemos de los colectivos de no usuarios.
ESTUDIO DE LA ROTACIÓN EN LOS ESTANTES
Este método es parecido al anterior, aunque sus objetivos son diferentes. Concretamente, se trata de calcular la tasa de presencia de cada documento en la estantería –es
decir, en situación de “no uso”- en un período de tiempo dado. El estudio se lleva a cabo,
en este caso, sin contar con la participación de los usuarios. Se realiza, primero, una muestra de documentos de toda la colección o de la parte a evaluar (materia, soporte, tipo de
usuario, etc.) y, segundo, una muestra de los períodos concretos de tiempo en los que se
llevará a cabo la búsqueda en los estantes. Generalmente, se toma como medida base un
año natural para que el estudio no se vea afectado por los cambios estacionales; en los días
y horas señalados, con regularidad sistemática, se tomará nota de la presencia o ausencia
de cada documento seleccionado en el muestreo. Cada ausencia es ponderada: se comprobará si es debida a préstamo o bien a consulta en sala, reprografía u otros usos, y cada una
de las ausencias por préstamo deberá recibir un valor superior, que suele calcularse proporcionalmente al número de días de la modalidad de préstamo correspondiente. Se calculará después la media de días al año en que cada tipo de documento (si se hizo un estudio
global de la colección) está ausente de la estantería, y se verá qué porcentaje de ellos tiene
13
Guide to the evaluation of library collections / Subcommittee on Guidelines for Collection Development,
Collection Management & Development Committee, Resources Section, Resources and Technical Services
Division. Chicago, ALA, 1989. P. 11-12. Traducción propia.
anales de documentación, nº. 7, 2004
EVALUACIÓN DE COLECCIONES EN LAS BIBLIOTECAS UNIVERSITARIAS (II)
177
una media mayor o menor, extrapolándose después las conclusiones de la muestra al conjunto de los documentos que configuran el universo estudiado.
Este método difiere en sus objetivos de los estudios de disponibilidad. En efecto:
mientras éstos últimos persiguen averiguar qué nivel de éxito tiene el usuario en la búsqueda de documentos (donde pueden influir muchos factores), el estudio de la rotación
sólo pretende evaluar el grado de utilización de cada documento. En general, podemos
decir que el método reúne lo principal de los otros estudios de uso real -préstamo, consulta
en sala (incluyendo reprografía) y préstamo interbibliotecario-, y tiene parecidas ventajas
e inconvenientes. Por lo que respecta a sus aplicaciones, aparte de la evaluación de la
colección, es de utilidad para tomar decisiones respecto a compras de duplicados, difusión
de los fondos menos utilizados que se consideren todavía válidos, colocaciones alternativas, retirada, etc. Correlacionando los datos de rotación con los costes, por todos conceptos, del documento, podemos también obtener una valiosa información sobre su nivel de
coste-eficacia. Pero de este tema no nos vamos a ocupar ahora.
ESTUDIO DEL PRÉSTAMO INTERBIBLIOTECARIO / SOD14
Aunque los autores se suelen referir a factores diversos como integrantes de un concepto de calidad general en el préstamo interbibliotecario, la mayoría de las veces lo estudian, sobre todo, como servicio. Aquí, por el contrario, nos referimos al préstamo interbibliotecario como alternativa a la disponibilidad in situ de los documentos, generalmente
por ausencia de éstos en la colección que se trata de evaluar. Como afirma la guía de la
ALA ya mencionada, “las peticiones de préstamo interbibliotecario son generalmente
reconocidas como indicadores de demandas… de los usuarios de la biblioteca que no
están cubiertas”15. En este sentido, las peticiones de préstamo interbibliotecario que reciben nuestros documentos son dignas de ser tenidas en cuenta en la valoración de la relevancia de nuestra colección –e incluso, en algunas bibliotecas, pueden ser contempladas
como un activo económico16. Asimismo, las peticiones que nosotros realizamos–
especialmente las que se reiteran a menudo– pueden ser vistas, o no, como posibles puntos
débiles, en tanto que necesidades que no cubre nuestra colección. Luego, quedaría plantearse cuáles de dichas peticiones pueden convertirse en adquisiciones de la biblioteca
para completar vacíos y cuáles, más esporádicas o excepcionales, pueden y deben seguir
resolviéndose por la vía de la cooperación llegado el caso.
Así pues, hemos de plantearnos el estudio de las estadísticas de préstamo interbibliotecario separadamente: por un lado, nuestras peticiones a otros centros; por otro, nuestro
suministro en respuesta a peticiones externas. En el primer caso, deduciremos necesidades
y potencial de cooperación; en el segundo, los datos obtenidos serán emparentables con
los de los estudios de préstamo y tendrán la misma función. En cualquiera de las dos situaciones podemos combinar con la materia, con títulos concretos –generalmente de revista-, con autores, tipos de fondo, etc.
14
SOD = servicio de obtención de documentos. A lo largo de este artículo se entiende que tratamos, bajo la
denominación general de préstamo interbibliotecario, cualquiera de las dos modalidades.
15
Guide…, p. 12.
16
Así parece planteárselo la British Library, una de cuyas más importantes fuentes de financiación es la actividad del Document Supply Center.
anales de documentación, nº. 7, 2004
178
ÀNGEL MASSÍSIMO
La principal ventaja de este método es la disponibilidad de los datos, su repetición periódica y su comparabilidad. Si bien los datos estadísticos pueden ser difíciles o ambiguos
en su interpretación, partimos siempre de la cómoda seguridad de tratar con documentos
por los cuales sabemos positivamente que los usuarios se han interesado. Además, en
algunos tipos de bibliotecas, cruzando estos datos con los de personas, departamentos
científicos, etc., podemos deducir nuevas necesidades, por ejemplo por cambios en las
líneas de investigación, nuevos programas, etc. que no se nos hubieran comunicado, y así
adelantarnos a futuras demandas.
El método no está, sin embargo, exento de inconvenientes, siendo el primero de ellos
el hecho, ya comentado en la primera parte de este artículo, de la dificultad y complejidad
que supone la interpretación de los datos estadísticos. No obstante, nos parece tanto o más
importante señalar otro problema, y es el de la tasa de silencio producida por cuantos
usuarios buscaron el documento en nuestra colección y, al no encontrarlo, no optaron por
el préstamo interbibliotecario, sino que, o bien desistieron, o bien acudieron a otras colecciones sin dejar constancia de su uso frustrado. Bien es verdad que un servicio de préstamo interbibliotecario eficaz, correctamente tarifado y bien difundido dará lugar a muchas
más peticiones que otro más vergonzante; no obstante, siempre habrá que contar con el
margen de silencio producido por la conducta de los –pocos o muchos– usuarios que desistieron.
ESTUDIO DE LA OPINIÓN DE LOS USUARIOS
Uno de los métodos más fiables para conocer el uso de la colección y su relevancia es
preguntar sobre ello directamente a los usuarios, realizando algún tipo de encuesta de
opinión. Mediante ella recogemos directamente de los usuarios los datos que nos van a
servir para obtener información sobre la valoración que hacen de nuestro fondo o de una
parte de él; sobre los diversos usos que dan a los documentos; sobre la finalidad perseguida con la obtención de información, etc. Tomamos, así, como referencia de calidad una
opinión que, ciertamente, es subjetiva, pero a la que damos gran valor, al ser la satisfacción de los usuarios nuestra primera prioridad. Entre los diferentes tipos de encuestas a
usuarios, los más frecuentes son:
• las encuestas de uso / intención de uso, donde el aspecto a estudiar es, o bien el uso
real que los clientes de la biblioteca hacen de sus fondos –estén éstos físicamente
en la biblioteca o se acceda a ellos electrónicamente-, o bien la voluntad de uso de
dichos materiales. Tienen aplicación para inferir necesidades o valorar la mayor o
menor adecuación de nuestra colección, incidiendo tanto en las adquisiciones como
en la retirada, deselección, etc. El mayor problema está en distinguir entre los dos
conceptos –uso o intención. Hay que plantearse cuál de las dos realidades queremos conocer, ya que tanto la redacción de las preguntas como el planteamiento general del cuestionario diferirán en uno y otro caso;
• las encuestas de necesidades, donde se pregunta expresamente a los usuarios sobre
sus requerimientos de información (incluyendo necesidades, deseos y demandas),
ya sea sobre materias, autores, soportes, tipos de obra, intensidad de recogida, etc.
Ese tipo de encuestas no se aplica para evaluar la colección, sino más bien para
desarrollarla, y muchas veces es complementada con un estudio sobre usos de la
anales de documentación, nº. 7, 2004
EVALUACIÓN DE COLECCIONES EN LAS BIBLIOTECAS UNIVERSITARIAS (II)
179
información. La mayor dificultad la presenta el grado de conciencia que los usuarios tengan de sus necesidades –y de las capacidades de la biblioteca para cubrirlas;
• las encuestas de satisfacción, donde se trata de establecer hasta qué nivel, en opinión de los usuarios, son satisfechos sus requerimientos de información, tanto en
cantidad como en calidad y puntualidad, y todo ello a qué coste, pues la satisfacción dependerá de esos factores combinados. Su aplicación principal es la evaluación de cualquier aspecto de la biblioteca, sus recursos o sus servicios. Aquí el
problema lo presenta la diferencia de expectativas entre los distintos usuarios, tanto
respecto a la cobertura de la colección como al coste de obtener la información17:
esas expectativas pueden, en efecto, diferir mucho de unos a otros grupos de usuarios, siendo causa de un nivel de divergencia importante en las respuestas18.
De lo dicho puede deducirse fácilmente que son los estudios de uso y los de satisfacción los que nos serán más útiles para finalidades de evaluación. Así pues, estamos ante
una metodología compleja, que esconde en sí diferentes posibilidades.
El método de encuesta presenta tantas posibilidades que resulta aplicable a todo tipo
de bibliotecas, tanto para evaluar la eficacia de la colección como para resolver problemas
en segmentos específicos de la misma, para definir grupos de usuarios o para detectar
necesidades mal resueltas, cambios de tendencias, etc. De hecho, una encuesta no es otra
cosa que la recogida sistemática de información sobre unos determinados ítems, independientemente de cuál sea la técnica de recogida. La principal ventaja de este grupo de métodos reside en la calidad y pertinencia de la información recogida, que nos permite ir
mucho más allá de lo que nos indicarían los simples datos estadísticos. Además, posibilita
apreciar el nivel de éxito de la colección y tiene el valor añadido de contribuir a potenciar
una buena relación con los usuarios (siempre que estemos dispuestos a realizar las mejoras que se revelen necesarias en el estudio: si no podemos hacerlo, quizá pueda ser, incluso, contraproducente el pasar una encuesta). Por otra parte, con las encuestas se puede
también contribuir a la formación de los usuarios, pues nos permiten introducir de soslayo
algunas informaciones que les ayuden a comprender el alcance de los servicios -o que nos
ayuden a nosotros, al ver sus reacciones, a detectar puntos débiles en esa formación tan
necesaria. Así pues, las ventajas de las encuestas van más allá de los datos puramente
cuantitativos, pues al mismo tiempo nos proporcionan el feed-back más directo del usuario. El planteamiento de un cuestionario parece el más indicado para estos casos, tanto si
lo pasamos oralmente –entrevista estructurada– como por escrito. El cuestionario, además,
permite estilos simples o más sofisticados, por lo que no puede afirmarse que su grado de
dificultad sea extraordinario.
Sin embargo, como contrapartida, la encuesta presenta diversos inconvenientes que se
comentarán a continuación, aunque muchos de ellos son subsanables con una buena formación previa de los encuestadores –que suele ser asequible- o bien con la ayuda de expertos.
Como siempre que nos planteamos hacer una encuesta, la primera dificultad será realizar el muestreo de usuarios a los que la vamos a pasar: cuántos y quiénes van a ser los
17
Nos referimos a “coste” en términos de esfuerzo, tiempo o, también, dinero que el usuario ha de invertir para
obtener el servicio, en este caso la información necesaria.
18
Una de las formas de prevenir ese diferente nivel en las expectativas pueden ser las cartas de servicios, donde
las bibliotecas se comprometen a un determinado nivel –al que hay que llegar en el 100% de los casos- y, a su
vez, hacen notar lo que se espera que los usuarios pongan de su parte para contribuir a la mejora del servicio.
anales de documentación, nº. 7, 2004
180
ÀNGEL MASSÍSIMO
usuarios escogidos dependerá de nuestro universo total de usuarios y del tipo de muestreo
seleccionado19. Cuando proyectemos un cuestionario escrito, deberemos también decidir
cómo y cuándo se va a pasar, es decir: si lo vamos a entregar en mano o lo vamos a dejar
en algún lugar accesible de la biblioteca, lo vamos a enviar, etc., y –si la encuesta tiene
lugar en la biblioteca- qué muestra de días y horas va a ser suficiente y, al mismo tiempo,
lo bastante representativa del conjunto como para no sesgar los datos. Si nos planteamos
una entrevista estructurada, también tendremos que escoger entre pasarla de manera presencial o por teléfono, además de casi todo lo anterior. Estos puntos suelen resolverse
muchas veces, como ya se ha dicho, con la ayuda de un experto externo –lo que no deja de
encarecer el proceso y hacerlo más lento. Ello se aduce, muchas veces, como uno de los
inconvenientes del método. Sin embargo, una vez redactado, probado20 y pasado el cuestionario, deberíamos también hablar de la dificultad de análisis e interpretación de los
datos obtenidos21, ya que, una vez elaborados y analizados éstos y obtenidas las gráficas,
no hemos hecho más que empezar: queda la parte más difícil, como es "hacer hablar" a los
datos, interpretar su significado en el contexto de nuestra biblioteca.
No vamos a entrar aquí en los diferentes tipos de cuestionarios que podemos realizar,
sobre lo cual hay obras excelentes en el mercado; sí que nos interesa recordar, en cambio,
la precaución que hemos de tener al redactar las preguntas para forzar que, por ejemplo,
en las encuestas de uso la respuesta de los usuarios sea realmente una descripción del uso
que hacen realmente de las publicaciones, y no de su intención de utilizarlas a partir de
ahora22. Ello puede conseguirse bien mediante el reparto de puntuaciones limitadas, bien
preguntando sobre secciones concretas de la publicación, o por otros medios que obliguen
a quien responde a concretar y a limitarse. En el caso de las entrevistas es más fácil manejar este tema, aunque, como contrapartida, conseguir la disponibilidad del posible entrevistado va a ser tarea más difícil que entregar y recoger un cuestionario. El cuestionario,
por su parte, presenta además el problema de la tasa de respuesta, por lo que precisa de
métodos complementarios de refuerzo para incrementar dicha tasa (teléfono, correo electrónico personalizado, cartas personales de presentación, etc., además de un cierto seguimiento durante el plazo de respuesta). Aparte de esas cuestiones, el método de encuesta
tiene otros inconvenientes, relacionados generalmente con la subjetividad de los encuestados, su rigor o sinceridad. No obstante, ya se comentó que, con una muestra suficiente y
bien diseñada, el porcentaje de error es aceptable… e inevitable. Otro problema a tener en
19
Una obra de gran ayuda para la elaboración de muestras es Mètodes de recerca, de Francis C. Dane (Barcelona: Universitat Oberta de Catalunya, 1997).
20
“Probar” un cuestionario es pasarlo a un grupo reducido de personas, semejantes a las que han de ser encuestadas, para detectar posibles dificultades de interpretación, errores, duplicaciones, etc. Ver sobre ésto Nick
Moore, How to do research, 2nd ed. Londres: Library Association, 1983.
21
Para analizar y presentar los resultados disponemos hoy de la tecnología necesaria; no obstante, es el significado profundo de los datos, tablas, gráficos, etc. lo que nosotros y sólo nosotros debemos dilucidar. A menudo
requeriremos aquí otra vez de la ayuda de expertos en sociología.
22
Se ha observado con cierta frecuencia que determinados colectivos (especialmente los usuarios internos de las
organizaciones) tienden, por poco que puedan, a responder a las encuestas sobre su uso de las revistas científicas
calificándolas todas ellas como de máximo uso, como si temieran que reconocer que algunas son poco usadas
fuera a provocar su deselección –o como si su prestigio personal fuera a verse menoscabado por una respuesta
negativa.
anales de documentación, nº. 7, 2004
EVALUACIÓN DE COLECCIONES EN LAS BIBLIOTECAS UNIVERSITARIAS (II)
181
cuenta sería, por supuesto, la cuestión de las relaciones entre demanda y calidad intrínseca de las colecciones, que no vamos a comentar aquí23.
A pesar de las dificultades reseñadas, el método de encuesta es muy valorado: en primer lugar porque, como se apuntó más arriba, su lectura es más amplia, completa y matizada que la que puede ofrecer el estudio de una simple estadística. Por otra parte, incluso
el no usuario puede ser objeto de encuesta para detectar las causas de su no-uso y así poder mejorar nuestra colección. Además, según qué preguntas incluyamos en ella, la encuesta puede tener el valor añadido de mostrar los segmentos más y menos favorecidos
por la colección, etc. Algunos autores, finalmente, plantean la posibilidad de repetir en el
tiempo esas encuestas para obtener una pintura de las variaciones en intereses y tendencias.
SIMULACIÓN DEL USO, O ANÁLISIS DE CITAS
En las bibliotecas de investigación son muy populares los análisis bibliométricos, y
especialmente los análisis de citas, con los cuales podemos obtener multitud de datos. La
técnica de la evaluación por análisis de citas se basa en el axioma de que, cuanto más
citado sea un trabajo de investigación, más probable es que tenga un alto grado de calidad:
consecuentemente, las revistas científicas24 cuyos artículos reciben mayor número de citas
serían las mejores revistas de cada especialidad. Semejante aserción descansa en la hipótesis de que la comunidad científica en su conjunto no se suele equivocar al valorar el
interés de un trabajo. Según la normativa de la ALA que venimos citando, "el análisis de
citas consiste en contar y / o ordenar por ranking el número de veces que los documentos
son citados en referencias a pie de página, bibliografías u obras de indización y resumen y
en comparar esas cifras"25. Ese tipo de estudio puede hacerse a nivel general, tomando
como referencia los Journal citation reports de la familia de bases de datos Citation Index, y registrando el número de citas que obtuvieron, en un período dado, las publicaciones que queremos evaluar; o bien se puede hacer fijándonos exclusivamente en las citas
que de esas revistas realizaron los clientes de nuestra biblioteca en sus trabajos científicos,
para así obtener el valor subjetivo que para ellos tienen las publicaciones que poseemos.
Este segundo sistema, sobre ser menos prolijo, nos permite ajustarnos mejor a la relevancia de nuestra colección para nuestros usuarios –lo cual parece ser lo ideal, al menos en
una biblioteca de investigación. En realidad, tomando como referencia la lista de revistas
que más citan nuestros usuarios tendríamos una especie de ranking de valoraciones de lo
que tenemos en la biblioteca, y también de lo que no tenemos y nuestros usuarios obtienen
por otras vías (préstamo interbibliotecario, sí, pero también contactos, visitas a otros centros, etc.): títulos estos cuya adquisición o acceso habría que estudiar. Por el contrario,
23
Sobre el sugestivo tema de la controversia entre ‘calidad intrínseca’ y ‘demanda real’ puede verse, por ej., la
obra de Edward Evans, Developing library and information center collections, y especialmente el capítulo
titulado “Selection process: theory”, accesible electrónicamente en http://lib.lmu.edu/dlc4/chapter 04.pdf. En la
primera parte de este artículo recomendábamos también, sobre este tema, la obra de Peter Clayton y G.E. Gorman, Managing information resources in libraries: collection management in theory and practice (London:
Library Association, 2001), p. 73 y ss.
24
Hablamos aquí de revistas porque el método del análisis de citas se usa mayormente para evaluar ese tipo de
fondos.
25
Guide…, p. 13.
anales de documentación, nº. 7, 2004
182
ÀNGEL MASSÍSIMO
aquellas revistas que poseemos y que no son citadas por nuestros usuarios podrían ser
revistas menos apreciadas –o bien no tan relevantes para sus especialidades.
El método, en cualquiera de sus dos variantes, no presenta grandes complicaciones, ya
que se trata de un simple contaje y su ordenación. No obstante, a la hora de la interpretación de los resultados, hay que tener en cuenta que un mayor número absoluto de citas,
por sí sólo, no acaba de indicarnos la calidad: en efecto, una revista puede tener muchos
más números al año que otra, y lógicamente tendrá más citas, por lo que, en realidad, nos
interesa más el número relativo de citas por artículo publicado. El análisis del factor de
impacto26 va en esta dirección.
También es importante, al evaluar la calidad de una revista, tener en cuenta la vida
media de las citas: en efecto, cuando los artículos de una revista son muy citados los primeros años desde su publicación, pero después dejan de serlo muy pronto, significaría que
la obsolescencia de la información que se publica en esa revista es alta. Evidentemente,
hay que tener en cuenta que, en cada caso, el valor de referencia será la obsolescencia
media que tenga la información en esa materia, pues es obvio que el tiempo no pasa igual
para, pongamos por caso, la arqueología o la literatura hebrea, que para la neurociencia, la
ingeniería informática o los estudios sobre el SIDA.
Otro de los problemas inherentes al análisis de citas es la llamada “autocita”, es decir,
cuando un autor se cita a sí mismo o cita a otros de su equipo: el número de citas recibidas
por un trabajo puede subir de manera artificial si un grupo de autores tiene la política de
irse citando mutuamente en todos sus trabajos. Ello tiene relación, por supuesto, con el
clientelismo que pueda existir en determinadas comunidades científicas, pero también con
las formas de evaluar la actividad investigadora individual en algunas administraciones
públicas, donde se asocia en relación directa la tasa de publicación y el número de citas
recibidas con la calidad de dicha actividad investigadora; la autocita provoca a menudo
distorsiones en el método de valoración de la calidad por el análisis de citas.
A pesar de esos inconvenientes, el análisis de citas es uno de los métodos de evaluación más comúnmente aceptados –en especial, para las bibliotecas científicas- y tiene,
además, numerosas aplicaciones en otros campos, como el desarrollo de las colecciones.
CONCLUSIÓN
En este artículo y en el que le precedió he pretendido revisar los principales métodos
de evaluación aplicados a las colecciones de bibliotecas universitarias, partiendo de la
división que hace la American Library Association entre métodos que analizan la colección en sí misma y métodos que estudian el uso que se hace de la colección. No hay duda
de que la lista de métodos comentados no es completa, como tampoco se agota la cuestión
de la evaluación de las colecciones con esos dos tipos de metodologías.
Sería interesante, por ejemplo, analizar comparativamente los diferentes indicadores
de calidad propuestos para las colecciones por diferentes entidades (como podrían ser, por
ejemplo, IFLA, ISO, ALA y REBIUN en el caso de las bibliotecas españolas), así como
las metodologías de obtención que proponen para dichos indicadores.
26
Recordemos que el factor de impacto es el valor de dividir el número de citas que la revista recibió globalmente en un año por el número de artículos que publicó.
anales de documentación, nº. 7, 2004
EVALUACIÓN DE COLECCIONES EN LAS BIBLIOTECAS UNIVERSITARIAS (II)
183
Otra opción atrayente sería aplicar consideraciones cuantitativas, como las dimensiones de la colección y de cada una de sus secciones en relación al número de usuarios o la
tasa de crecimiento anual -global o por soportes-, etc., lo que es enormemente útil en muchos procesos de evaluación27.
Asimismo, tomando como base de la evaluación las cifras económicas de la biblioteca,
se podría arrojar mucha luz sobre las colecciones, analizando comparativamente, por
ejemplo, los recursos económicos destinados a la adquisición de fondos en cada ejercicio
económico, y poniéndolos en relación, bien sea con el número total de usuarios, bien con
algunas tipologías concretas de éstos28, o bien en su relación con los diversos soportes:
gasto en recursos electrónicos versus gasto en recursos en papel, por ejemplo29. Por otra
parte –y siguiendo con los aspectos económicos-, sería también ilustrativo contrastar, por
ejemplo, el gasto en recursos propios de una biblioteca determinada con el gasto que le
supone su contribución a un proyecto cooperativo, y comparar luego las cifras con el uso
de unos y otros recursos en esa biblioteca.
En definitiva, en función de los objetivos perseguidos por el proceso de evaluación,
nos serán útiles unos u otros métodos, y a menudo combinaremos varios de ellos para
obtener una pintura más exacta del valor de nuestra colección y de su grado de adecuación
a las necesidades que nuestra biblioteca tiene la misión de cubrir.
27
Se comentó someramente este tema en la primera parte de este artículo, dentro de la comparación con normativas. Sin embargo, lo podemos estudiar también desvinculándolo de cualquier estándar y valorando las cifras en
sí mismas, comparándolas con las de otras bibliotecas relacionadas o con las de la propia biblioteca en años
anteriores, etc. El indicador, propuesto por REBIUN, de “Incremento de monografías por usuario” puede ser una
muestra.
28
El indicador de REBIUN “Gasto en revistas por investigador” va en esa última dirección.
29
REBIUN utiliza cuatro indicadores donde se tiene en cuenta el factor gasto: “Gasto en adquisiciones por
usuario”, “Gasto en revistas por investigador”, “Gasto en monografías sobre el total” y “Gasto en recursos
electrónicos sobre el total”.
anales de documentación, nº. 7, 2004