Créditos: techcrunch.com
Un artículo de investigación reciente de OpenAI plantea preguntas importantes sobre la continua cuestión de las alucinaciones en modelos de idiomas grandes, incluidos GPT-5 y chatbots como ChatGPT. Las alucinaciones, definidas como «declaraciones plausibles pero falsas que generan modelos de idiomas», continúan formando un desafío importante a pesar del progreso tecnológico. Los investigadores enfatizan que este problema probablemente no se resolverá completamente.
Para subrayar el problema, los autores dieron un ejemplo fascinante con Adam Tauman Kalai, uno de los coautores del artículo. Luego discutió el título de su disertación, un chatbot ampliamente utilizado produjo tres respuestas diferentes de que ninguna de ellas tenía razón. Una investigación adicional sobre su cumpleaños arrojó tres fechas diferentes, nuevamente inexactadamente. Esto plantea la pregunta: ¿Cómo puede un chatbot presentar información incorrecta con tal seguridad?
Los investigadores especulan que estas alucinaciones surgen en gran medida del proceso provisional. Los modelos de lenguaje están entrenados para predecir la siguiente palabra exclusivamente que los patrones se basan únicamente en los datos de capacitación, sin etiquetas que indican si las declaraciones son verdaderas o falsas. Como resultado, los modelos se practican en la generación de un lenguaje fluido, pero carecen de la capacidad de manejar de manera confiable información fáctica frecuente, lo que conduce a errores en cuerpos específicos como datos personales.
Aunque el artículo enfatiza el proceso de ventaja como una fuente de alucinación, se centra principalmente en los métodos de evaluación utilizados para estos modelos. Los investigadores afirman que los marcos de evaluación actuales no causan alucinaciones directas, sino que «determinan los estímulos incorrectos». Dibujan un paralelo en las pruebas de opción múltiple, donde la apuesta aleatoria puede proporcionar respuestas correctas y hacer preguntas para garantizar un puntaje cero. Esta estructura alienta a los modelos a adivinar en lugar de expresar incertidumbre.
Para abordar este problema, De Paper propone una reevaluación de los métodos de evaluación para los modelos de idiomas. En lugar de simplemente medir la precisión, las evaluaciones de las respuestas autoinsumo pero incorrectas deben dañar más que las expresiones de incertidumbre. También se puede otorgar crédito parcial para el reconocimiento correcto de la incertidumbre, relacionado con las pruebas estandarizadas que usan puntajes negativos para respuestas incorrectas o otorgan crédito por respuestas en blanco.
Los investigadores insisten en que este cambio en los criterios de evaluación es crucial. Afirman que si los sistemas existentes continúan favoreciendo las conjeturas felices, los modelos continuarán adivinando en lugar de desarrollar una mejor comprensión cuando no conocen una respuesta. En última instancia, la revisión de las prácticas de evaluación se considera esencial para promover una generación de información más precisa y confiable de los modelos de idiomas, reduciendo la prevalencia de errores mientras evoluciona.
