Creación y jueceo de ítems: ChatGPT como diseñador y juez

Resumen

El fin de este estudio fue evaluar la efectividad de la inteligencia artificial (IA), representada por ChatGPT 4.0, comparada con diseñadores humanos en la creación de ítems para un examen para el ingreso a la educación superior en el área de Lengua Escrita. Se utilizó un enfoque mixto, combinando metodologías clásicas y contemporáneas en evaluación educativa, incluyendo el juicio de expertos. ChatGPT y cuatro diseñadores humanos desarrollaron 84 ítems, siguiendo la Taxonomía de Anderson y Krathwohl para establecer el nivel de demanda cognitiva. Los ítems fueron evaluados por dos jueces humanos y ChatGPT, utilizando una rúbrica detallada que incluye claridad, neutralidad, formato, alineación curricular y redacción. Los resultados mostraron una alta tasa de aceptación sin cambios tanto para ítems de ChatGPT como para los humanos, indicando una buena alineación con los estándares de evaluación. Sin embargo, se observaron diferencias en la necesidad de cambios menores y mayores propuestos por la rúbrica. El estudio concluye que tanto la IA como los diseñadores humanos son capaces de generar ítems de alta calidad, resaltando el potencial de la IA en el diseño de ítems educativos.

Presentadores

Karla Ruiz
Doctorante, Instituto de Investigación y Desarrollo Educativo, Instituto de Investigación y Desarrollo Educativo de la Universidad Autónoma de Baja California, Baja California, Mexico

Details

Presentation Type

Ponencia temática de un trabajo

Theme

Tema destacado 2025 - Aprendizaje humano y aprendizaje automático: Retos y oportunidades para la inteligencia artificial en la educación

KEYWORDS

Inteligencia Artificial, Evaluación Educativa, ChatGPT, Diseño de Ítems, Jueceo