La investigación realizada por la Universidad de Stanford ha expresado su preocupación por la eficacia y los riesgos potenciales de los bots de chat de terapia que dependen de modelos de idiomas grandes. Estos compañeros digitales, diseñados para ofrecer apoyo de salud mental accesible, pueden estigmatizar involuntariamente y ofrecer respuestas inapropiadas que pueden ser perjudiciales.
El estudio, detallado en un próximo artículo titulado «Estigma y expresa respuestas inapropiadas, evita que los LLM reemplacen de manera segura los proveedores de atención de salud mental», evalúa cinco chatbots con estándares que generalmente se esperan de los terapeutas humanos. El trabajo se presentará en la próxima conferencia de ACM sobre honestidad, responsabilidad y transparencia.
Nick Haber, un maestro universitario de la Escuela de Educación de Graduados de Stanford y autor principal de la investigación, enfatizó el doble papel de que los chatbots están tomando cada vez más «compañeros, confidentes y terapeutas». Sin embargo, enfatizó los «riesgos significativos» que se identificaron en el estudio.
Los investigadores realizaron dos experimentos para evaluar las respuestas de los chatbots en varios trastornos mentales. En el primer experimento, presentaron a las viñetas detalles sobre diferentes síntomas y hicieron las preguntas exploratorias de los chatbots sobre la estigmatización y la evaluación de amenazas. Los chatbots mostraron un claro aumento en el estigma a ciertas circunstancias, como la dependencia del alcohol y la esquizofrenia, en comparación con otros como la depresión. Jared Moore, el autor principal del estudio y un doctorado. El candidato en informática, señala que los modelos más antiguos y más nuevos mostraron niveles similares de estigma, lo que sugiere que solo aumentar los datos no es una solución factible.
El segundo experimento analizó las respuestas de los chatbots sobre transcripciones de terapia reales que incluyen temas sensibles como ideas suicidas y delirios. En algunos casos, los chatbots no respondieron de la manera correcta. Por ejemplo, cuando se le preguntó sobre la pérdida de un trabajo, dos chatbots, el noni y el personaje de 7cups. Terapeuta de AI, se centraron incorrectamente en identificar altos puentes en la ciudad de Nueva York en lugar de abordar la necesidad emocional.
Estos hallazgos subrayan la idea de que las herramientas de IA aún no están preparadas para reemplazar los terapeutas humanos. Sin embargo, tanto Moore como Haber presentan roles alternativos para estos chatbots en el campo de la atención de salud mental, como ayudar con tareas administrativas, dar capacitación o apoyar a los pacientes en actividades como la revista.
Haber señaló las posibles contribuciones futuras de los grandes modelos de idiomas en la terapia, pero insistió en la importancia de defender críticamente su alcance y objetivo en la atención de salud mental.
