Créditos: Phys.org
La inteligencia artificial (IA) se está convirtiendo cada vez más en un elemento básico en la vida diaria, con aplicaciones que van desde la escritura de ayuda hasta la planificación de vacaciones. Los modelos de idiomas grandes (LLM) como ChatGPT, Gemini y Copilot en particular se utilizan en varios dominios, incluida la educación superior. Investigadores de Julius-Maximilians-Universität Würzburg (JMU) comenzaron un estudio para investigar el potencial de LLM, como las ayudas de tutoría no controladas en las ciencias naturales, especialmente en la termodinámica.
El equipo de investigación del Departamento de Química Física ha desarrollado una herramienta descargable que se conoce como UTQA (respuesta de la pregunta de la termodinámica de pregrado) para evaluar la capacidad de los LLM modernos. Esta herramienta no solo evalúa el conocimiento real de los LLM, sino también sus habilidades de comprensión y aplicación en conceptos termodinámicos. El objetivo es establecer un método para que los educadores e investigadores evalúen y cuantifiquen el rendimiento de estos modelos de IA en un contexto científico rigurosamente.
Según el profesor Tobias Hertel, el liderazgo del proyecto, la aspiración es a la IA para ofrecer apoyo personalizado en entornos de aprendizaje, que pueden actuar como chatbots calificados que satisfacen las necesidades individuales de los estudiantes. A pesar del claro progreso de LLMS, Hertel señala que aún no están listos para servir como maestros independientes. La herramienta UTQA contiene 50 preguntas cuidadosamente diseñadas, que son desafíos basados en texto y herramientas visuales, típicas de los ejercicios educativos en termodinámica.
Las primeras pruebas con LLM durante el Wintersemester de 2023 revelaron resultados mixtos. Si bien modelos como ChatGPT-3.5 y ChatGPT-4 se desempeñaron bien en muchas áreas, también mostraron limitaciones importantes. En particular, los modelos con procesos irreversibles, áreas donde la velocidad del cambio influye en el resultado, y experimentaron problemas al interpretar diagramas. Hertel señaló que los desafíos de que los conocimientos de AI -eecho -Históricos de hace más de un siglo se enfrentan cuando el físico Pierre Duhem enfatizó la complejidad relacionada con la reversibilidad termodinámica.
A pesar de estos obstáculos, los hallazgos indican que los LLM aún pueden ofrecer un valioso apoyo en la educación, aunque bajo supervisión. Los investigadores han establecido un punto de referencia para grandes LLM y notar que nadie alcanzó la tasa de precisión del 95% que se consideró necesaria para la no supervisión, y incluso los modelos principales solo alcanzan una tasa de éxito del 82%.
El equipo de investigación es optimista sobre las posibilidades futuras de LLM, convencido de que el progreso permitirá que estos modelos cumplan en última instancia los requisitos para asistentes de enseñanza no controlados efectivos. Los asistentes educativos y los estudiantes fueron una parte integral del proyecto y aportaron perspectivas que mejoraron el desarrollo de la herramienta.
La termodinámica se eligió como el Centro para evaluar la comprensión de la IA debido al papel fundamental tanto en la naturaleza como en los principios científicos, lo que requiere un razonamiento matizado que va más allá de la memorización de la memoria. A medida que avanza la investigación, el equipo planea expandir la herramienta UTQA con conceptos más complejos, como gases reales y diagramas de fase, de modo que la capacidad de los modelos para procesar efectivamente la información multimodal de manera efectiva.
En resumen, si bien LLMS parece ser una fuente prometedora en las instituciones educativas, sus limitaciones actuales enfatizan la necesidad de un refinamiento continuo antes de que puedan cambiar a roles educativos independientes.
){kind=link}