A framework for measuring relevancy in discovery environments

Blake L. Galbreath, Alex Merrill, Corey M. Johnson

Information technology and libraries, ISSN 2163-5226, Vol. 40, n. 2, 2021

Los entornos de descubrimiento son ubicuos en las bibliotecas académicas pero los estudios sobre su efectividad y uso en un entorno académico se han centrado en la satisfacción del usuario, la experiencia y el análisis de las tareas. Este estudio tiene como objetivo crear un marco cuantitativo y reproducible para poner a prueba la relevancia de los resultados de y el éxito global del entorno de descubrimiento de la Washington State University (Primo de Ex Libris).

Dentro de este marco, los autores usan citas bibliográficas de artículos de estudiantes de búsqueda enviados como parte de una clase de universidad para medir la relevancia. En el contexto de este estudio, los investigadores crearon un modelo de prueba que incluía: (1) un proceso para producir palabras claves generadas por ordenador de un corpus de artículos de investigación para compararlos con un conjunto de palabras clave creadas por humanos, (2) un proceso automatizado para poner a prueba un entorno de descubrimiento para producir listas de resultados de búsqueda para comparar con listas de citas, y (3) cuatro métricas para medir el éxito comparativo de diferentes estrategias de búsqueda y la relevancia de los resultados. Este marco es usado para ir más allá de un análisis basado en tareas para medir si los materiales citados en los artículos de los estudiantes aparecen en la lista de resultados como producto de un entorno de descubrimiento. Aunque esta puesta a prueba inicial del marco produjo menos coincidencias de las esperadas entre los resultados de la búsqueda generada por los investigadores y los recursos bibliográficos de los estudiantes, los autores se dieron cuenta de que las búsquedas facetadas representan un mayor éxito porcentual al compararse con búsquedas abiertas. Trabajos futuros incluirán pruebas comparativas de configuraciones de capas de descubrimiento utilizadas habitualmente para medir el impacto de una decisión local en la eficacia de la capa de descubrimiento además de darse cuenta de cuándo hay un emparejamiento de citas en la lista de resultados.

https://ejournals.bc.edu/index.php/ital/article/view/12835

Traducción del resumen de la propia publicación