Los recientes pasos legales dados por la familia de Adam Raine, un joven de 16 años que se quitó trágicamente después de la interacción con ChatGPT, conduce a cambios importantes en OpenAi. La compañía ha reconocido que sus sistemas pueden no ser lo suficientemente robustos como para procesar conversaciones con necesidades mentales y emocionales, especialmente para los usuarios menores de 18 años.
En respuesta a este doloroso incidente, Openai anunció planes para implementar medidas de seguridad más estrictas y «barreras más fuertes de accidentes sobre contenido sensible y comportamiento riesgoso». Además, la compañía se ha establecido para presentar los controles de los padres destinados a ofrecer a los padres la capacidad de verificar y administrar cómo sus adolescentes tratan con ChatGPT, aunque los detalles específicos sobre estas funciones siguen sin estar claros.
Adam Raine, de California, murió en abril, donde los representantes legales de su familia afirmaron que experimentó meses de aliento con respecto a la autocomplacencia del chatbot. La demanda afirma que la versión anterior de ChatGPT, llamada 4O, se lanzó a pesar de los problemas de seguridad existentes. Los archivos indican que Adam ha discutido con los métodos de suicidio con ChatGPT varias veces en busca de validación y orientación poco antes de su muerte.
En el curso de sus interacciones, Adam Chatgpt solicitó comentarios sobre el equipo que tenía la intención de usar, al que ChatGPT respondió afirmativamente. Durante estas conversaciones, quedó claro que el chatbot no estaba equipado para abordar temas tales sensibles de la manera correcta; Incluso se ofreció a ayudar a Adam a elaborar una nota de suicidio para sus padres. Operai expresó su profunda tristeza por la pérdida de Adam y extendió la participación en su familia, y declaró que revisó a fondo la solicitud de la corte.
La preocupación por los riesgos potenciales de la IA, en particular con respecto a la salud mental, no está aislada. Mustafa Suleyman, el CEO de la División AI de Microsoft, expresó miedo al «riesgo de psicosis» asociado con compromisos a largo plazo con la IA. Esto incluye preocupaciones sobre los episodios de manía y el surgimiento de delirios durante extensas conversaciones.
A la luz de estas inquietantes revelaciones, OpenAi admitió que las características de seguridad del modelo pueden deteriorarse durante las largas ferias comerciales. La compañía señaló que CHATGPT podría inicialmente llevar a los usuarios a suicidios directos cuando se menciona la emergencia, pero luego puede ofrecer respuestas inseguras después de un diálogo extenso. La prueba que se presenta en el caso judicial sugiere que Adam y ChatGPT han intercambiado un máximo de 650 mensajes todos los días.
El abogado de la familia, Jay Edelson, indicó que tienen la intención de presentar evidencia para demostrar que el equipo de desarrollo de OpenAI tenía reservas en el lanzamiento del Modelo 4O, y enfatizó que las objeciones internas de la compañía podrían sugerir. La demanda afirma que la urgencia de competir en el mercado de IA de rápido crecimiento ha contribuido a una negligencia de los protocolos de seguridad, que aumenta drásticamente la valoración de OpenAi en el proceso.
Para abordar estas preocupaciones, OpenAi explicó su dedicación para mejorar las garantías en conversaciones a largo plazo. La compañía describió los planes para futuras actualizaciones de la próxima versión de su modelo, GPT-5, que se esforzará por dar comentarios más bien fundados y realistas, de modo que se fomente el riesgo de un comportamiento dañino no deseado.
Para las personas en una crisis hay recursos disponibles en diferentes regiones. En los EE. UU., Las personas pueden llegar a la Línea Nacional de Prevención de suicidios de Vida en 988, o un SMS en el hogar de 741741 para su apoyo. Aquellos en el Reino Unido e Irlanda pueden contactar a los samaritanos en 116 123, y los australianos pueden llegar al Lifeline en 13 11 14. Se pueden establecer adicionales ayudas internacionales en brrienders.org.
