DISEÑO E IMPLEMENTACIÓN DE UN SISTEMA DE EVALUACIÓN ADAPTATIVA BASADA EN MODELOS DE APRENDIZAJE AUTOMÁTICO PARA UNA COMPETENCIA DE ELECTRÓNICA ANALÓGICA.

Yurley Tovar Martínez, Andrés Calvo Salcedo and Arley Bejarano Martínez

Risaralda, Pereira - 2023

DISEÑO E IMPLEMENTACIÓN DE UN SISTEMA DE EVALUACIÓN ADAPTATIVA BASADA EN MODELOS DE APRENDIZAJE AUTOMÁTICO PARA UNA COMPETENCIA DE ELECTRÓNICA ANALÓGICA.

El presente trabajo de grado se encuentra en el marco del proyecto “DISEÑO E IMPLEMENTACIÓN DE UN LABORATORIO REMOTO PARA LA ENSEÑANZA DE ELECTRÓNICA UTILIZANDO HERRAMIENTAS DE REALIDAD AUMENTADA Y EVALUACIÓN ADAPTATIVA” avalado por la Vicerrectoría de Investigaciones, Innovación y Extensión de la Universidad Tecnológica de Pereira con código 6-21-6.

​

​

​

Artículo en proceso de publicación llamado “Metodología para la generación de alertas tempranas en la evaluación de competencias de electrónica”, revista internacional “Formación Universitaria”, volumen 16 número 4, agosto del 2023.

• Introducción
• Objetivos
• Metodología
• Análisis y resultados
• Conclusiones
• Trabajos futuros

​

Orden de la presentación.

1. Sistema tradicional:
• Ítems fijos, sin tener en cuenta los tipos de aprendizaje y enseñanza.
• Poca participación por parte del docente.
• Falta de retroalimentación.
• Falta de fiabilidad.
2. Evaluaciones adaptativas
• Bases de datos rigurosamente estructuradas
• Uso de softwares y desarrollo de algoritmos especializados
• Clasificación de forma superficial

Problema

Justificación

• Sistema evaluativo Personalizado.
• Evita la subjetividad.
• Eficiencia en la predicción del rendimiento académico.
• Reducción del tiempo de la actividad
• Mayor inclusión
• Inclusión de retroalimentaciones asertivas

Objetivos

Objetivo general

Diseñar e implementar un sistema de evaluación adaptativa basada en modelos de aprendizaje automático para una competencia de electrónica analógica.

Objetivos específicos:

• Diseñar una base de datos anotada en la que se pueda caracterizar el proceso de aprendizaje de una competencia específica durante una ventana de tiempo.
• Diseño de una metodología que permita la predicción del nivel de la habilidad de un estudiante en una competencia de electrónica analógica.
• Diseñar un sistema de retroalimentación basado en la predicción del sistema de aprendizaje automático.
• Validar estadísticamente el funcionamiento de la metodología propuesta.

​

​

Creación de la base de datos

La base de datos consiste en 66 preguntas que evalúan una competencia de electrónica analógica y diferentes datos socioeconómicos de 80 estudiantes de ingeniería electrónica en la UTP. Después de la generación de información sintética, la base de datos final contiene 2252 casos.

Creación de la base de datos

Preguntas con tres niveles de dificultad las cuales evalúan las siguientes unidades temáticas:

​

• Funcionamiento general del amplificador operacional
• Análisis nodal y configuraciones.
• Análisis de señales variantes en el tiempo.
• Interpretación de gráficas.
• Comprensión de lectora.

Metodologías de predicción y clasificación

Se entrenaron y monitorearon un total de 12204 modelos para cada metodología propuesta, 12202 con preguntas socioeconómicas y 2 sin estas últimas.

Metodología LSTM

Se entrenaron 6102 modelos para predecir preguntas intermedias a difíciles y 6102 para difíciles utilizando intermedias. Todos se basan en la misma estructura.

Metodología SVM

​

Se entrenaron 6102 metodologías para predecir preguntas intermedias a difíciles y 6102 para difíciles utilizando intermedias. Cada una de ellas se basa en 40 modelos para un total de 244080 algoritmos. Todos se basan en la misma estructura con una función de base gaussiana,

Validación de las metodologías LSTM y SVM.

Las metodologías fueron validadas a partir de dos aspectos:

​

• Eficiencia en la predicción de respuestas futuras.
• Determinación de las falencias de los estudiantes

Computo de la prueba adaptativa

Tiene como objetivo establecer el rendimiento académico de los estudiantes y determinar de forma detallada las unidades temáticas que debe reforzar. Adicionalmente, presenta herramientas de retroalimentación con base en los resultados de las metodologías implementadas.

Funcionamiento de la prueba adaptativa

Etapas de la prueba:

​

1. Ingresar a la prueba con nombre completo y código.

​

• Responder 20 preguntas del nivel fácil. En caso de tener un total de 14 preguntas correctas la prueba continúa, de lo contrario, esta finaliza.

Funcionamiento de la prueba adaptativa

3. En caso de que la prueba continúe, el estudiante responderá 20 preguntas del nivel intermedio. En caso de tener un total de 14 preguntas correctas la prueba continúa, de lo contrario, esta finaliza.

​

• En caso de que la prueba continúe, se lanzarán las 20 preguntas del nivel difícil y esta finalizará.

Computo de las respuestas correctas por unidad temática

1. Obtener los porcentajes de las preguntas respondidas correctamente en relación con cada una de las unidades temáticas evaluadas.

​

• Calcular el promedio de los resultados obtenidos.

​

• Determinar tanto las habilidades como las falencias que presentan los estudiantes

Sistema de retroalimentación por unidades temáticas

A continuación, se presentan de forma detallada las herramientas de retroalimentación que se diseñaron para cada una de las temáticas evaluadas en la prueba adaptativa,

Retroalimentación de la unidad temática 1

Sistema de retroalimentación por unidades temáticas

Retroalimentación de la unidad temática 2

Retroalimentación de la unidad temática 3

Sistema de retroalimentación por unidades temáticas

Retroalimentación de la unidad temática 4

Retroalimentación de la unidad temática 5

Seguimiento de los resultados de las metodologías propuestas

3. Estudiante con desempeño bajo:

Seguimiento de los resultados de las metodologías propuestas

1. Estudiante con desempeño promedio:

Seguimiento de los resultados de las metodologías propuestas

2. Estudiante con desempeño alto:

Cálculo de la precisión y selección de la mejor metodología

Validación del funcionamiento de la evaluación adaptativa

Validación de las falencias determinadas por la metodología

Validación de las falencias determinadas por la metodología

Conclusiones

• En esta investigación se implementó un sistema de evaluación adaptativa moderna, la cual permite determinar las fortalezas y debilidades que presentan los estudiantes con una precisión del 86%.
• La metodología llevada a cabo consiste en predecir las respuestas a preguntas de niveles con una dificultad superior (k+1) a partir de las entregadas en uno inferior (k) con una precisión al 90%, lo que permite conocer de forma detallada las preguntas que los estudiantes contestaron o contestarían de forma incorrecta y por consiguiente determinar las unidades temáticas que estos deben reforzar.
• Es importante tener en cuenta que la metodología implementada tiene como objetivo ser herramienta de apoyo al docente que le permita detectar de forma detallada las falencias de los estudiantes con respecto a unidades temáticas que conforman una competencia específica.

Conclusiones

• Al comparar las precisiones de los algoritmos que contienen información personal y los que no, se puede concluir que los aspectos socioeconómicos de los estudiantes no son relevantes para el caso de evaluar la competencia de electrónica analógica descrita en este documento.
• Las bases de datos que se requieren para desarrollar este tipo de investigaciones deben cumplir con una serie de características como tener un número considerable de preguntas en cada nivel de dificultad considerando cada uno de los ejes temáticos a evaluar, ya que esto tiene un efecto directamente proporcional en la precisión del algoritmo.
• Los resultados obtenidos en esta investigación representan una oportunidad para fomentar el avance en nuevas investigaciones y la generación de pruebas adaptativas modernas que solventen los problemas presentados con las evaluaciones tradicionales de tal manera que se puedan implementar alertas tempranas junto a elementos de retroalimentación.

​

Trabajos futuros

• Como trabajos futuros, se propone implementar una metodología con algoritmos de aprendizaje automático cuya base de datos contenga un número mayor de estudiantes evaluados sin requerir información sintética, ya que esto posibilitaría mejorar el porcentaje de precisión de los modelos.
• Teniendo en cuenta los avances tecnológicos, se sugiere implementar este tipo de herramientas de forma remota de tal manera que los estudiantes puedan acceder a estas fácilmente a través de internet, lo que permite una mayor accesibilidad.
• Cabe resaltar que esta investigación abre las puertas para el desarrollo de algoritmos con aprendizaje automático que se enfoquen en determinar el conocimiento de los estudiantes en función de unidades temáticas o competencias definidas realizando el almacenamiento de las respuestas entregadas por los estudiantes.

​

Referencias

[1] Barbosa H., García F. y Rodríguez M., “DEFINING ADAPTIVE ASSESSMENTS - Construction of Adaptive Assessments Based in the Learning Style of the Students”. Doi: https://doi.org/10.5220/0001273204090414, pp. 409-414. (2007)

[2] Huamani G. y Tocto P., "WIP Adaptive evaluation for a systems theory course according to the learning context". Doi: https://doi.org/10.1109/EDUNINE51952.2021.9429166, pp. 1-4. (2021),

[3] Kozmina I., Lukyantsev D. y Musorina O., "Computer Adaptive Testing as an Automated Control of Students’ Level of Preparadness Taking into Account their Individual Characteristics". Doi: https://doi.org/10.1109/Inforino48376.2020.9111661, pp. 1-4. (2020),

[4] Snytyuk V., y Suprun O., “Adaptive Technology for Students' Knowledge Assessment as a Prerequisite for Effective Education Process Management”. ISSN 1613-0073, pp. 346-356. (2018).

[5] Mangaroska K., Vesin B. y Giannakos M., "Elo-Rating Method: Towards Adaptive Assessment in E-Learning". Doi: https://doi.org/10.1109/ICALT.2019.00116, pp. 380-382. (2019)

[6] Aljohany D., Salama R. y Saleh M., “ASSA: Adaptive E-Learning Smart Students Assessment Model”. Doi: https://doi.org/10.14569/IJACSA.2018.090718, pp. 128-136. (2018)

[7] Moissinac B. y Vempaty A., “Mixed Compensation Multidimensional Item Response Theory”. Doi: https://doi.org/10.1007/978-3-030-49663-0_17, pp. 132-141. (2020)

[8] Orjuela C., Lesmes Ó., Tarazona N. y Castañeda J., “Prueba adaptativa para medir el progreso de los estudiantes: Colegios en Bogotá, Colombia”. ISSN-e 1315-9518, pp. 340-354. (2020)

[9] Vaz M., Yamgekar V., Sharmav R. y Pawar A., "Talent Evaluator Using Adaptive Testing". Doi: https://doi.org/10.1109/ICACCS51430.2021.9441777, pp. 444-447. (2021)

[10] Blanco J., Fernández R., Lovelle S. y Pérez E., “Predicción de resultados académicos de estudiantes de informática mediante el uso de redes neuronales”. Doi: http://doi.org/10.4067/S0718-33052016000400015, pp.715-727. (2016)

[11] Nandakumar G., Thangasamy S., Geetha V. y Haridoss V., “A Markovian Model for Adaptive E-assessment”. ISSN: 1109-2750, pp. 179-188. (2016)

[12] Geetha V., Nandakumar G. y Vivek R., “Application of Markov Chain for Comparing the Performance of Students in Adaptive E-Assessment”. ISSN: 1314-3395, pp. 2797-2803. (2018)

[13] Lau E., Sun L. y Yang, Q., “Modelling, prediction and classification of student academic performance using artificial neural networks”. Doi: https://doi.org/10.1007/s42452-019-0884-7, pp. 982. (2019)

[14] Gil V. y López C., “Development of an artificial neural network for predicting student academic success”. Doi: http://dx.doi.org/10.4067/S0718-07642021000600221, pp.221-228. (2021)

[15] Hamoud A. y Humadi A., “Student’s Success Prediction Model Based on Artificial Neural Networks (ANN) and A Combination of Feature Selection Methods”. Doi: https://doi.org/10.35741/ISSN.0258-2724.54.3.25, (2019)

​

[16] Lau E., Chai K., Goteng G. y Wijeratne V., “A Neural Network Modelling and Prediction of Students’ Progression in Learning: A Hybrid Pedagogic Method”. Doi: https://doi.org/10.5220/0010405600840091, pp. 84-91. (2021)

[17] Yeung C., “Deep-IRT: Make Deep Learning Based Knowledge Tracing Explainable Using Item Response Theory”. Doi: https://doi.org/10.48550/arXiv.1904.11738. (2019)

[18] Tsutsumi E., Kinoshita R. y Ueno M., “Deep Item Response Theory as a Novel Test Theory Based on Deep Learning”. Doi: https://doi.org/10.3390/electronics10091020. (2021)

[19] Cheng S., Liu Q., Chen E., Huang Z., Huang Z., Chen Y. y Hu G., “DIRT: Deep Learning Enhanced Item Response Theory for Cognitive Diagnosis”. Doi: https://doi.org/10.1145/3357384.3358070, pp. 2397–2400. (2019)

[20] Hortiguela D., Pérez A. y Gonzales G., “Evaluaciones Formativas en el Aula: Análisis Discursivo de la Actividad de Retroalimentación en la Práctica Supervisada de Psicólogos Educativos en Formación”. Doi: https://doi.org/10.15366/riee2019.12.1.007, pp. 121-137. (2019)

[21] Observatory of educational innovation technologic Monterrey Edu trends report. “Adaptative learning & testing”. Disponible en: https://learningportal.iiep.unesco.org/en/library/adaptive-learning-testing. (2014)

[22] Hatem J., Dhaini A. y Elbassuoni A., "Deep Learning-Based Dynamic Bandwidth Allocation for Future Optical Access Networks". Doi: https://doi.org/10.1109/ACCESS.2019.2929480, pp. 97307-97318. (2019)

[23] Parra S. y Orozco R., “Colombia en la perspectiva de América Latina: hacia una agenda de políticas para un mayor desarrollo sostenible e inclusivo”. Doi: https://doi.org/10.22431/25005227.435, pp. 11-31. (2018).

[24] Avendaño L., “Sistemas Electrónicos Analógicos: un Enfoque Matricial.” Publicaciones UTP, Disponible en: https://editorial.utp.edu.co. Segunda Edición. (2007)

[25] Chaparro S., Avilés O. y Mauledoux M., “Manual de electrónica analógica 2020”. DOI: https://doi.org/10.18359/fwp.4931, pp. 92-111. (2020)

[26] Sandoval L., “Machine learning algorithms for data analysis and prediction”. ISSN: 2072-568X, pp. 36-40. (2018)

[27] Salamanca I. y Junior E., “Técnicas de aprendizaje automático aplicadas en los sistemas de predicción”. ISSN: 2344-8288, pp. 39-53. (2021)

[28] Deco J., “Estudio y aplicación de técnicas de aprendizaje automático orientadas al ámbito medico: estimación y explicación de predicciones individuales”. Biblioteca UNAM, Disponible en: https://repositorio.uam.es. (2012)

[29] Contreras G., Medina B., Acevedo B. y Guevara D., “Development Methodology of Techniques for Data Clustering Using Machine Learning”. Doi: https://doi.org/10.14483/22487638.17246, pp.42-58. (2022)

[30] Álvarez M., Quirós L. y Cortés M., “Inteligencia artificial y aprendizaje automático en medicina”. Doi: https://doi.org/10.31434/rms.v5i8.557. (2020)

BIBLIOGRAFÍA

[31] Li H., Li Y. y Li, J., “A Novel Feature Reduction Method Based on Fuzzy Clustering and Stochastic Gradient Descent”. IEEE Access, pp. 212614-212621. (2020)

[32] Aghdam M. y Zanjani M., “A novel regularized asymmetric non-negative matrix factorization for text clustering”. Information Processing & Management, pp. 102694. (2021)

[33] Valenzuela G., “Aprendizaje Supervisado: Métodos, Propiedades y Aplicaciones”. Disponible en: https://hdl.handle.net/10630/25147. (2022)

[34] Calvo S., “Reconocimiento automático de actividades físicas humanas en sistemas multimodales”. Publicaciones UTP, Disponible en: https://editorial.utp.edu.co. (2015)

[35] Ruiz J., Viñas S., Macotela M., Santana J., Flores M., Meléndez A. y Stein J. “Prototype electronic nose for indoor tobacco smoke detection using neural networks”. Doi: https://doi.org/10.46932/sfjdv3n4-052, pp. 4749–4759. (2022)

[36] Shi X., Chen Z., Wang H., Yeung D., Wong W. y Woo W. “Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting”. Doi: https://doi.org/10.48550/arXiv.1506.04214, pp. 1-12. (2015)

[37] Xiaoming Y., Haibo L., Xuebin X. y Mo L., “The new concepts of measurement error’s regularities and effect characteristics”. Doi: https://doi.org/10.1016/j.measurement.2018.05.04, pp. 65-71. (2018)

[38] Xiaoming Y., Xuebin X., Junbo S. y Mo L., “The new concepts of measurement error theory”. Doi: https://doi.org/10.1016/j.measurement.2016.01.038, pp. 96-105. (2016)

[39] Caballero F., “Análisis de errores en las medidas”. Publicaciones Universidad de Oviedo, Disponible en: https://www.uniovi.es/. (2019)

[40]Düntsch I. y Gediga G., “Confusion Matrices and Rough Set Data Analysis”. Doi: https://doi.org/10.1088/1742-6596/1229/1/012055, pp. 22-24. (2019)

[41] Torres J., “Python deep learning”. ISBN:9788426728289 (2020)

[42] Beck P. y Davidson D., “Research in Higher Education”. Doi: https://doi.org/10.1023/a:1012253527960, pp. 709–723 (2001)

[43] Gupta A., Nayyar A., Arora S. y Jain R., “Detection and Classification of Toxic Comments by Using LSTM and Bi-LSTM Approach, Advanced Informatics for Computing Research”. Doi: https://doi.org/10.1007/978-981-16-3660-8_10, pp. 100-112. (2021)

[44] MathWorks. “Regresión de secuencia a secuencia mediante deep learning”. Matlab®, Disponible en: https://la.mathworks.com/help/deeplearning/ug/sequence-to-sequence-regression-using-deep-learning.html. (2022) automático en medicina”. Doi: https://doi.org/10.31434/rms.v5i8.557. (2020)

​