AI Chatbots and Subject Cataloging: A Performance Test

Brian Dobreski y Christopher Hastings

Library resources & technical services, ISSN 2159-9610, vol. 69, n. 2, 2025

Las bibliotecas muestran cada vez más interés en incorporar herramientas de inteligencia artificial en sus procesos de trabajo; chatbots de uso libre y accesible, en concreto. Sin embargo, la evidencia empírica es escasa respecto a la efectividad de estas herramientas a la hora de realizar tareas de catalogación que habitualmente consumen mucho tiempo. En este estudio, los investigadores buscaron evaluar el desempeño de algunas herramientas de IA en tareas básicas de encabezado de materias y de asignación de número de clasificación. Se utilizó como base un texto de catalogación didáctico bien establecido, y los investigadores desarrollaron y administraron una prueba diseñada para evaluar la eficacia de tres chatbots (ChatGPT, Gemini, Copilot) respecto a la asignación de términos de materia y números según la Clasificación Decimal Dewey y la Library of Congress. Se analizaron la cantidad y el tipo de errores que aparecieron en las respuestas de los chatbots. En líneas generales, el desempeño de estas herramientas fue mediocre, especialmente en la asignación de números de clasificación. Fueron frecuentes casos de error la asignación de números excesivamente generales o de números para materias incorrectas. Aunque la asignación de encabezamientos de materia fue también pobre, ChatGPT mostró algo más de dominio en esta tarea, lo que respalda observaciones anteriores que sostiene que los chatbots pueden tener un potencial más inmediato para esta tarea. Aunque los chatbots no se muestran prometedores a la hora de reducir la carga de trabajo y el esfuerzo asociados a la catalogación de materias en este momento, esto puede cambiar en el futuro. Por ahora, los resultados de este estudio ofrecen advertencias para los catalogadores que ya trabajan con estas herramientas y subrayan la importancia que siguen teniendo la experiencia y la supervisión humanas en la catalogación.

Traducción del resumen de la propia publicación

DOI: https://doi.org/10.5860/lrts.69n2.8440