Reseña: Evaluación de bibliotecas universitarias

Ediciones Alfagrama presenta en Evaluación de bibliotecas universitarias coordinado por Marcela Fushimi, los cambios a los que están sujetas las bibliotecas universitarias al tener que justificar su existencia, planificar sus actividades, rendir cuentas, medir la calidad de los servicios prestados y la satisfacción de los usuarios entre otras. Más información en  http://www.alfagrama.com.ar/alfagrama/site/detalle.asp?IDArticulo=9789871305629

Tendencias de evaluación en bibliotecas

Un colega mejicano trajo a mi atención las ideas que Carina Rey Martin promueve sobre la satisfacción de usuarios y cómo esto influye en la gestión de calidad de una biblioteca. Buscando información sobre la autora, encontré el artículo La satisfacción del usuario: un concepto en alza, publicado en el 2000, donde Rey Martin, propone incluir la satisfacción emocional del usuario dentro de las tendencias de evaluación al medir la satisfacción del usuario. Aunque este artículo tiene más de 10 años, sigue, a mi mayor entender, a la vanguardia de los estudios de usuarios necesarios para mejorar la gestión de centros de información. A continuación un resumen de los puntos más importantes que hallé en dicho artículo y que comparto con ustedes.

Rey Martin (2000) comienza por definir “satisfacción del usuario” y para ello utiliza la definición propuesta por Poll y Boekhorst, que dice “que se trata de una medida por medio de la cual se quiere valorar si una biblioteca cumple su meta principal, esto es, si ofrece servicios de calidad que satisfagan a sus usuarios”, y la de Georges D’Elia y Sandra Walsh formada por cuatro elementos: “el primero, las necesidades, consideradas como aquello que un individuo debería tener; el segundo, el deseo, aquello que el individuo quisiera tener; el tercero, la demanda efectuada, o sea, la petición a la biblioteca y por último, la utilización misma de la biblioteca” (p. 140).

Por otro lado nos indica que según otros autores “es mejor emplear como indicador de satisfacción del usuario la utilización efectiva de los servicios con lo que se otorga a los usuarios un papel activo en el proceso de transferencia de la información al considerarlo como un coproductor del servicio y de la calidad del mismo” (p. 140).

Rey Martin (2000) añade la definición en el contexto de los sistemas de información donde “se entiende por satisfacción de usuarios la medida en la que estos creen que el sistema de información cumple con sus requisitos informativos”.  Detalla diferentes niveles de satisfacción del usuario a partir de una combinación de aspectos como “los valores y expectativas del propio usuario, el tiempo invertido, el dinero, el esfuerzo o sacrificio” (pp.141-142).

NIVELES DE SATISFACCIÓN
1. Sacrificio elevado/prestación modesta	insatisfacción máxima reclamación
2. Sacrificio modesto/prestación modesta	insatisfacción incertidumbre
3. Sacrificio elevado/prestación elevada	satisfacción contenida oportunidad
4. Sacrificio modesto/prestación elevada	máxima satisfacción confianza

Para la autora, con este último nivel de satisfacción se consigue “un elemento que nos proporciona algo más que satisfacción es decir, confianza”.  Lo que es de suma importancia ya que se puede conseguir que el usuario continúe utilizando la biblioteca. “La satisfacción del usuario supone una valoración subjetiva del éxito alcanzado por el sistema de información, y puede servir como elemento sustitutivo de medidas más objetivas de eficacia que, a menudo, no están disponibles.”

Continua diciendo, “si un sistema de información es percibido por sus usuarios como malo, deficiente o insatisfactorio, constituirá para ellos un mal sistema de información.” Así nos propone que “la visión del usuario será determinante para el éxito o fracaso de un sistema de información” (Rey Martin, 2000, p. 142).

En cuanto al punto de vista del usuario, Rey Martin (2000) nos indica que “la satisfacción de sus necesidades de información es la medida de eficacia del sistema” donde  su opinión sobre “la satisfacción o insatisfacción, deriva directamente de la calidad de un servicio”. Para la autora, “no es suficiente con que el sistema funcione, es necesario que el servicio que se presta sea satisfactorio para el usuario y que éste así lo perciba” (p. 143).

Asimismo,  establece una definición sencilla del concepto de satisfacción del usuario como sigue: "La percepción del usuario de haber utilizado correctamente su tiempo, habiendo recibido respecto a sus propias en un determinado contexto ambiental y la mejor prestación posible de servicio" (p. 143).

Este aspecto de la satisfacción del usuario requiere el establecimiento de factores que posibiliten esta medición.  Rey Martin (2000), cita cinco factores de la medición como sigue:

"a. La multi-dimensión de los servicios bibliotecarios y su naturaleza.

b. Las diversas necesidades de las diferentes materias y niveles de formación.

c. Los diferentes puntos de vista de las necesidades de los usuarios potenciales, de los no usuarios, y de los usuarios remotos.

d. El significativo esfuerzo institucional invertido en recoger datos de la satisfacción de los usuarios que sean fiables y representativas de amplios sectores.

e. La posibilidad de ser un usuario cansado de cuestionarios" (p. 144).

Además, cita cuatro factores en el que se centra el nivel de satisfacción del usuario como sigue: “la cantidad y la calidad de los productos recuperados, la interacción con el sistema o con los intermediarios (los profesionales de la información), así como por la política del servicio y el servicio de información en su conjunto” (p. 144).

Finalmente, presenta los aspectos que Rachel Applegate presenta para establecer una clasificación en la satisfacción del usuario que facilite su descripción y hasta su evaluación.  Para más información se puede ver el documento en su integridad en:

Carina Rey Martín. (2000). La satisfacción del usuario: un concepto en alza. Anales de Documentación 3, 139-153. Recuperado de http://revistas.um.es/analesdoc/article/viewFile/2451/2441

Referencias electrónicas

Al trabajar con el tema de referencias virtuales, digitales, permanentes, en tiempo real o servicios de información en Internet, o como decidan llamarla, ya que todos estos nombres se dirigen a un mismo tema: la referencia electrónica, ya sea síncrona o asíncrona, pude observar que este calificativo nos obliga a repensar la referencia y como la entregamos además de la evaluación del servicio ofrecido, la satisfacción del usuario a distancia y las herramientas tanto físicas como tecnológicas.

Encontré una variedad de artículos que evalúan las referencias digitales, virtuales o electrónicas y que dan una perspectiva general de estas referencias. Entre las lecturas que hice sobre el tema de referencias virtuales, observe que las opiniones son variadas y encontradas entre las distintas instituciones que se han dado a la tarea de implantarla. Los programados que existen también tienen evaluaciones variadas en cuanto a los resultados obtenidos, la evaluación y satisfacción de los usuarios, técnicos y bibliotecarios - referencistas en general.

En The Reference Librarian No. 79/80, 2002/2003, me llamaron la atención: Evaluating Online Real-Time Reference in an Academic Library: Obstacles and Recommendations de Jana Ronan, Patrick Reakes y Gary Cornwell, pp. 225-240 y The Digital Reference Fallacy de R. David Lances, pp. 35-44.

Sugiero la lectura de este último artículo antes de aventurarse en el mundo de las referencias digitales.

Otros artículos de interés sobre el tema lo tratan:

José Antonio Merlo Vega, en Artículos, http://exlibris.usal.es/merlo/escritos/index.htm

Dinorah Sánchez Remón, (2003), en El servicio de referencia virtual en la gestión de información, http://bvs.sld.cu/revistas/aci/vol11_2_03/aci040203.htm

Tambien en el, V Workshop REBIUN sobre proyectos digitales: La biblioteca digital y el acceso a nuevos contenidos, se encuentran evaluaciones y proyectos encaminados hacia la referencia digital: http://bibliotecnica.upc.es/rebiun/workshop5/

Planificando con efectividad

Las bibliotecas pasaron de mediciones estadísticas tales como la cantidad de libros en una colección, libros prestados y el costo por estudiante al enfoque de medir el impacto de cuan eficazmente sirven sus servicios y recursos a sus estudiantes y usuarios.
Parte de la calidad en la gestión y evaluación de centros de información como lo son las bibliotecas, es conocer la perspectiva del cliente para mejorar la calidad de servicios.

El artículo Preceptions Of The Library: A Key To Planning Effective Services, publicado en The Southeastern Librarian, (2004), presenta los resultados de dos estudios realizados en Walker Library de la Middle Tennessee State University, dirigidos a recoger el nivel de satisfacción de los estudiantes en relación a los recursos y servicios recibidos en la biblioteca. Una finalidad es obtener un panorama más amplio de las verdaderas necesidades de los usuarios para estar en posición de llenarlas con más efectividad.

Esta modalidad de medir la percepción del usuario, viene alineado a nuevas normas de acreditación académica al igual que a la rendición de cuentas en respuesta a las exigencias de las partes interesadas y a intereses federales y estatales por los resultados de los estudiantes. Este enfoque en las evaluaciones permite medir para demostrar la efectividad institucional, las mejoras y su fiabilidad.

En Walker Library de la Middle Tennessee State University, se diseñaron dos estudios para enfocar en el impacto que tiene sobre los estudiantes y usuarios los recursos y servicios bibliotecarios. El primer estudio fue creado y desarrollado por el Comité de Efectividad de la universidad. El segundo estudio utilizo LibQual+ TM con la intención de medir y definir el nivel de calidad en las distintas áreas de servicios ofrecidos.

Los resultados permitieron a la universidad destinar sus esfuerzos y presupuesto a las áreas afectadas tales como el acceso a la información, áreas de servicios específicas, mejoras en el local y la implicación del personal de la biblioteca. Aunque existía un Comité de Efectividad encargado del estudio y sus resultados, toda la biblioteca estaba comprometida para estrechar la brecha entre las necesidades reales de los estudiantes y usuarios versus la capacidad y ofrecimiento de la biblioteca.

Este estudio me pareció interesante por los resultados que se traen y como se trabajan las lagunas encontradas, las expectativas y la anticipación de las necesidades de los usuarios. Se explica el enfoque alrededor de LibQual+TM y su proceso de identificación de brechas. Además de llevarnos a ARL y las New Measures Initiatives.

Referencia:

Alexander, S., Black, W., Field, K., Vesper, V. (Spring 2004). Perceptions Of The Library: A Key To Effective Services. The Southeastern Librarian, 52 (1). Recuperado el 30 septiembre, 2007 de la base de datos Wilson Web.

Reseña

Evaluación de bibliotecas. Un modelo desde la óptica de los sistemas de gestión de la calidad.

Del autor Oscar Arriola Navarrete, publicado en 2006 por Alfagrama, Buenos Aires.
Con 128 páginas y de tamaño 23 x 16 cm. ISBN 987-22074-7-x

El libro se divide en cinco capítulos como sigue:1. BIBLIOTECONOMIA. 2. ISO 9000 - NORMAS. 3. GESTION DE CALIDAD. 4. CONTROL DE CALIDAD - BIBLIOTECAS. 5. EVALUACION - BIBLIOTECAS.

Resumen:
Este libro que nos presenta Oscar Arriola Navarrete, da cuenta de su experiencia en el trabajo de bibliotecas universitarias, en donde el factor de calidad y de sistemas de gestión de calidad se hace evidente. Aborda, el aspecto de la evaluación bibliotecaria y la importancia de los indicadores para poder realizarla, propone un modelo sencillo para ser utilizado por administradores y proveedores de servicios bibliotecarios en instituciones, principalmente de educación superior.

Sobre el autor:
Oscar Arriola Navarrete curso la Licenciatura y Maestría en Bibliotecología en la Facultad de Filosofía y Letras de la UNAM. Se ha desempeñado como docente en la Escuela Nacional de Biblioteconomía y Archivonomía (ENBA), y en la Facultad de Filosofía y Letras de la UNAM. Actualmente es profesor de la Maestría en Bibliotecología y Coordinador de Servicios en la Biblioteca "Daniel Cosio Villegas" de El Colegio de México, A. C.; ha participado en diversos congresos tanto nacionales como internacionales como ponente, moderador, relator y organizador, sobre las áreas relacionadas al manejo de la información y temas afines; también cuenta con diversos artículos publicados en revistas especializadas y en la Web; asimismo, ha impartido cursos que contemplan las áreas de: análisis y diseño de sistemas de información; base de datos (contenidos); catalogación, clasificación e indexación; evaluación de recursos electrónicos y sistemas de gestión de calidad.

Información tomada de: http://alfagrama.blogspot.com/2006/02/evaluacion-de-bibliotecas.html

Los temas que se trabajan en el libro son: la biblioteca y la gestión de calidad, la normalización, las normas ISO 9001 y 9002, la evaluación y los indicadores de rendimiento y los indicadores cuantitativos y cualitativos.

El primer capítulo define de manera general lo relativo a calidad y a los sistemas de gestión de calidad dirigido hacia bibliotecas académicas. El segundo capítulo se analiza y describe la función e importancia de los indicadores en la evaluación de las bibliotecas. El tercer capítulo presenta un modelo de evaluación para bibliotecas académicas.

Entre lo más interesante que encontré en este libro esta el plan que el autor presenta de cómo llevar a cabo la evaluación de la gestión de calidad en bibliotecas. Se definen 7 áreas de actividad en una biblioteca como sigue: datos generales, recursos financieros, recursos humanos, recursos materiales: espacio y equipamiento, proceso técnicos, colección y servicios. Propone, además, el manejo de indicadores tanto cualitativos como cuantitativos.

Aunque esta mayormente dirigido a bibliotecas académicas, y en especifico a las mejicanas, entiendo que la propuesta que presenta se puede adoptar y ser usada para otros tipos de bibliotecas. La importancia de una gestión de calidad y la evaluación en toda biblioteca es llevar un servicio de calidad, con una organización esmerada para que a través del trabajo de las evaluaciones que se lleven a cabo, la biblioteca logre obtener un reconocimiento tanto nacional como internacional.

También encontré una ponencia sobre la evaluación en bibliotecas públicas que entiendo merece ser revisado. Evaluar para mejorar la calidad en la Biblioteca Pública, de Javier López Gijón, (1996) In Proceedings VII Jornadas sobre Bibliotecas Públicas, pp. 77-105, San Sebastián.

El artículo se encuentra en el siguiente enlace: http://eprints.rclis.org/archive/00009057/

1er Congreso de Blogs Educativos: una experiencia

Me parece interesante e importante exponer las razones que he tenido para desarrollar el tema de este blog.

Primeramente, fue una iniciativa de la Profesora Luisa Vigo durante el curso de Administración de Información, en la Escuela Graduada de Ciencias y Tecnologías de la Información de la Universidad de Puerto Rico, Recinto de Río Piedras.

Segundo, para poder trabajar el tema tuve que hacerme preguntas sin las cuales no hubiese podido desarrollarlo, estas son:

¿Cómo saber si lo que se esta haciendo en las bibliotecas y centros de información cuando se acerca algún usuario con interrogantes esta dirigido hacia un servicio de calidad? ¿Cómo saben estos centros de información si están haciendo bien su trabajo al informar a sus usuarios? ¿Cómo asegurar a los usuarios de la calidad de los servicios que reciben? Y más importante, ¿cómo evaluó estros servicios que se ofrecen? ¿Existen reglas? ¿Qué existe para medir la calidad de los servicios ofrecidos? ¿Cómo se evalúa la administración de esto centros de información?

Al investigar el tema encontré una serie de normas que van dirigidas a la gestión de calidad y evaluación de un centro de información, ya sea, una biblioteca o un archivo, entre otros. De igual modo existen los indicadores que se usan para medir y evaluar el desempeño de la biblioteca o archivo o centro de información y sus servicios.

Así que, si tiene estas mismas interrogantes, si le persigue el conocer si los servicios están bien dirigidos y las cosas bien hechas y que rige estos centros los invito a seguir leyendo.

Con estas interrogantes presente este blog en el 1er Congreso de Blogs Educativos efectuado en la Universidad de Puerto Rico, Recinto de Mayagüez, los días 8 y 9 de febrero de 2007.

Fue una experiencia enriquecedora y única. Estoy segura que todos los que allí nos dimos cita llevaremos la actividad en nuestros recuerdos como una que marca el principio de una nueva etapa en el mundo educativo de Puerto Rico.

Bibliotecas con medición e indicadores de gestión de calidad y evaluación

A continuación podrán encontrar sitios donde localizar información sobre gestión de calidad y evaluación en bibliotecas.

Encontré información de Argentina, España, Cartagena, Finlandia, Francia, China, Australia y a través de LibQual+ los Estados Unidos, Canadá y Reino Unido.
En IFLA se pueden encontrar documentos de estudios realizados con relación a la calidad de la gestión y la evaluación en bibliotecas.

En mi búsqueda localicé estudios donde se detallan experiencias de la aplicación de gestión de calidad y evaluación en bibliotecas como sigue:

“Para tratar en profundidad un tema que preocupa a los bibliotecarios y que es de suma actualidad: la calidad en Bibliotecas, se conformó el panel “Indicadores de la calidad: estándares, normativas y tendencias”, con la presencia de especialistas provenientes de distintas disciplinas. Se expuso acerca del concepto de la calidad, la gestión, y la certificación del sistema de gestión. Se anunció la próxima edición de la Norma IRAM 30500 para el año 2006. Esta norma será una guía de interpretación de la Norma ISO 9001 para la gestión de la calidad en Bibliotecas.”

Rodríguez Pereyra, Ricardo. (Abril 2005). Relatorio de la 38ª Reunión Nacional de Bibliotecarios, Buenos Aires, CONICET. Recuperado el: 28 de diciembre, 2006. Disponible en: http://www.abgra.org.ar/documentos/doc/38RNB-Relatorio2005.doc.

Anualmente, Red de Bibliotecas Universitarias (REBIUN) publica un informe estadístico de las bibliotecas universitarias y científicas españolas.
Indica que tres organizaciones coinciden en aportar indicadores para valorar la satisfacción de los usuarios, los servicios técnicos y los servicios públicos o de relación más directa con los usuarios. Sin embargo, para la formación de usuarios y los recursos humanos de la biblioteca sólo los ingleses tienen desarrollados indicadores.
ISO, IFLA, JFC (Reino Unido) Joint Funding Councils' Ad-hoc Group on Performance Indicators for Libraries.

En la direccion que aparece se recoge una tabla con el conjunto de instituciones miembros de REBIUN, junto al número de registros que han incorporado al Catálogo y la fecha del último envío.
http://rebiun.crue.org/cgi-bin/abnetop/X16327/ID298769926/NT3?ACC=299&HELPID=inst

Algunas bibliotecas en esta lista son:

Universidad Carlos III de Madrid, biblioteca.
http://www.uc3m.es/uc3m/serv/BIB/indice.php

Biblioteca de la Universidad Complutense de Madrid.
http://www.ucm.es/BUCM/

Universidad de Cádiz.
http://biblioteca.uca.es/

Universitat de Barcelona Biblioteca.
http://www.bib.ub.edu/

En el documento de Núria Balagué Mola, (2001), se describe la implantación de un sistema de gestión de la calidad basado en la norma ISO 9002:1994 en el Servicio de Bibliotecas de la Universitat Autònoma de Barcelona. Analiza los problemas confrontados y como se enfrentaron.

Balagué Mola, Núria. (2001). Aplicación de las normas ISO 9000 en bibliotecas: La experiencia del Servicio de Bibliotecas de la Universidad Autónoma de Barcelona. Recuperado el: 28 de diciembre, 2006. Disponible en: http://www.calidadlatina.com/pub/014-OCT-01.pdf

Las Bibliotecas Municipales de Cartagena iniciaron en el año 2003 un trabajo de EVALUACIÓN DE DATOS. El Ayuntamiento de Cartagena firmó un acuerdo de colaboración con la Fundación Bertelsmann por el cual, las cuatro bibliotecas que forman la Red de Cartagena entraban en el Proyecto PAB-Redes.

Belda González, Caridad & Mercader Blanco, Mª José. (n.d.). Evaluación De Las Bibliotecas Municipales De Cartagena: Primer Paso Hacia La Calidad. Ayuntamiento de Cartagena. Recuperado el: 29 de diciembre, 2006. Disponible en:
http://www.anabad.org/archivo/docdow.php?id=126

El 1 de agosto de 2006, después de enmendar la Ley Universitaria, La Biblioteca de la Universidad de Helsinki, se convirtió en la Biblioteca Nacional de Finlandia. La biblioteca permanecerá como una institución independiente de la Universidad de Helsinki. Conscientes de la importancia de los servicios que brindan, evalúan la gestión y calidad de estos.

National Library of Finland
http://www.lib.helsinki.fi/english/

LibQUAL+ is probably now the market leading designed survey method in the UK sector, with 43 academic libraries now having participated between 2003 and 2005.

Town, Stephen. (2005). Academic library performance, quality and evaluation in the UK and Europe. Library Assessment. Recuperado el: 29 de diciembre, 2006. Disponible en:
www.libqual.org/documents/admin/StephenGreecePaper.doc

LibQUAL+(TM) Un conjunto de servicios que utilizan las bibliotecas para solicitar, dar seguimiento, comprender y actuar con respecto a la opinión de sus usuarios y la calidad de servicios que ofrecen. Estos servicios son ofrecidos a la comunidad de bibliotecas por la Association of Research Libraries.

Association of Research Libraries (ARL). (2006). Listado de participantes en la Encuesta LibQUAL+(TM) 2006. Recuperado el: 29 de diciembre, 2006. Disponible en: http://www.libqual.org/Information/Participants/index.cfm

Un ejemplo en estas listas:

American University Library
http://www.library.american.edu/

En Canadá entre otras están:

University of Ottawa
http://www.uottawa.ca/welcome.html

Library and Archives Canada
http://www.collectionscanada.ca/index-e.html

Sobre las bibliotecas francesas existe el artículo donde se enviaron 493 cuestionarios de los cuales 128 regresaron llenos.

Sur les 493 questionnaires envoyés, 128 ont été retournés remplis. Une bibliothèque a déclaré ne pas pratiquer d’évaluation, par un courrier dont le contenu a été traité comme une réponse aux questions ouvertes. Le total des bibliothèques ayant répondu à l’enquête s’élève donc à 129, soit un taux de réponse moyen de 26 %. Le taux de réponse est de 27,3 % pour les bibliothèques municipales et de 21,2 % pour les bibliothèques départementales de prêt.
Un premier traitement des résultats a montré que l’évaluation s’appliquait à trois autres domaines : en ordre décroissant, l’impact de la bibliothèque sur la population à desservir, les coûts de fonctionnement du service et la satisfaction des usagers.

Girard-Billon, Aline & Giappiconi, Thierry. (1998). L’évaluation dans les bibliothèques publiques françaises: Une situation contrastée. BBF, n° 1, 78-84. Recuperado el : 29 de diciembre, 2006. Disponible en: http://bbf.enssib.fr

Bibliothèque nationale de France
http://www.bnf.fr

En su sitio European Foundation for Quality Management (EFQM), y en su sección de Academic Research and Learning se puede encontrar una lista de universidades que usan este servicio para evaluar su gestión de calidad . Disponible en: http://www.efqm.org/Default.aspx?tabid=501

Para las bibliotecas escolares encontré un sitio en Inglaterra donde dichas bibliotecas pueden buscar la información necesaria para llevar a cabo sus evaluaciones.
TeacherNet. School Libraries. Disponible en:
http://www.teachernet.gov.uk/teachingandlearning/resourcematerials/schoollibraries/

De todas las localidades expuestas faltaría estudiar el área del Caribe y América Central, otros países de Sur América, más directamente otros países de Europa como Italia y Alemania, África y países orientales además de China, donde existe un estudio realizado por: Beverly P. Lynch & Wenxiang Yang. (July 2004). Evaluation of Public Libraries: The 2001 IFLA Standards and the 2003 Standards for Provincial Libraries in China. Disponible en:
http://www.librijournal.org/pdf/2004-3pp179-189.pdf.

Entre las similitudes que se pueden constatar entre las bibliotecas estudiadas es la complejidad de instalar los métodos y de lograr la cooperación de todas las partes envueltas. Aunque todas reportan problemas, están satisfechas con los resultados que ayudan a orientar su gestión hacia una de calidad y satisfacción de los usuarios, logrando cumplir las metas, objetivos, visión y misión de las instituciones que las respaldan.