Resumen
Las preguntas de selección múltiple se utilizan muy frecuentemente para evaluar el aprendizaje. Revisar minuciosamente estas preguntas antes de aplicarlas, para corregir posibles imperfecciones de construcción (ej. pistas hacia la opción correcta) es, por tanto, una tarea fundamental en Educación. Para revisarlas, se suele someterlas a una revisión por pares o verificar el cumplimiento de directrices de guías para la construcción. Desafortunadamente, estas estrategias de revisión consumen mucho tiempo. Usar IA para la revisión permitiría optimizar este tiempo. SARI (Sistema de Revisión Automática de Ítems) es un sistema inteligente que detecta automáticamente y con alta precisión 24 imperfecciones, desde la perspectiva de la evaluación, en preguntas redactadas en español. Para cada pregunta, SARI lista los problemas detectados, resalta qué parte del texto está involucrada, y propone una solución. Su labor se basa en el reconocimiento de características de edición, como la presencia de determinados caracteres o palabras, y en el análisis semántico y sintáctico de las opciones de respuesta mediante técnicas de procesamiento del lenguaje natural. Sus algoritmos usan umbrales definidos por expertos en construcción de preguntas y optimizados por ensayo y error; o modelos de machine learning entrenados gracias a una base de datos masivos de preguntas anotadas. En esta exposición, se realizará una visita guiada: Exploraremos las funciones disponibles en el entorno del banco de preguntas donde se ejecuta SARI, y revisaremos algunos comentarios de SARI. Se presentará además cómo fue entrenado SARI y en qué medida nos enseñó a nosotros humanos a identificar más asertivamente algunas imperfecciones.
Presentadores
Pablo DartnellFaculty, Instituto de Estudios Avanzados en Educación (IE) / Centro de Modelamiento Matemático (CMM) /Departamento de Ingeniería Matemática (DIM), Universidad de Chile, Chile Matias Altamirano Montero
Research Assistant, Ciae, Chile Diego Reyes
Research Assistant, CIAE Uchile, Maule, Chile Abelino Jimenez
Séverin Lions
Researcher / Profesional, Instituto de Estudios Avanzados en Educación (IE) / Departamento de Evaluación, Medición y Registro Educacional (DEMRE), Universidad de Chile, Chile
Details
Presentation Type
Theme
KEYWORDS
Pruebas, Selección Múltiple, Revisión de Ítems, Sistema Automático, Aprendizaje Automático
