Adam Raine, un adolescente en California, usó ChatGPT para encontrar respuestas sobre todo, desde su trabajo escolar hasta sus intereses en la música, Jiu-Jitsu brasileño y cómics japoneses.
Pero sus conversaciones con un chatbot dieron un giro inquietante cuando la información de 16 años de Chatgpt estaba buscando formas de quitarse la vida antes de morir en abril por suicidio.
Ahora los padres del adolescente OpenAI, el fabricante de ChatGPT, que afirma en una demanda de casi 40 páginas que el chatbot proporcionó información sobre los métodos de suicidio, incluido el que usó al adolescente para suicidarse.
«Cuando una persona familiar puede haber respondido con preocupación y lo ha alentado a obtener ayuda profesional, Chatgpt Adam se detuvo más en un lugar oscuro y sin esperanza», dijo el caso del Tribunal, presentado el martes en el Tribunal Superior de California en San Francisco.
Prevención de suicidio y fondos para la guía de crisis
Si usted o alguien que conoce está luchando con pensamientos suicidas, busque ayuda con un profesional y llame al 9-8-8. El primer dígito de tres dígitos nacionales de tres dígitos de los Estados Unidos conectará la línea directa de la salud mental de la atención de salud mental 988 Celeras con asesores capacitados de atención de salud mental. Envíe un mensaje de texto «Inicio» al 741741 en los Estados Unidos y Canadá para llegar a la línea de texto de crisis.
Operai dijo en uno Blog El martes es «continuar mejorando cómo nuestros modelos reconocen y responden a los signos de necesidad mental y emocional y conecta a las personas con cuidado, dirigido por aportes expertos».
La compañía dice que ChatGPT ha sido entrenado para llevar a las personas al suicidio y a las crisis. Operai dijo que algunas de sus garantías pueden no estar en funcionamiento durante las conversaciones más largas y que funciona para evitar que esto suceda.
Matthew y Maria Raine, los padres de Adam, acusan a la compañía de tecnología de San Francisco de tomar decisiones de diseño que han dado prioridad a la participación sobre la seguridad. ChatGPT actuó como un ‘entrenador suicida’, que Adam lideró al ofrecer métodos de suicidio e incluso para ayudarlo a escribir una nota de suicidio, afirma el caso judicial.
«Durante estas conversaciones, ChatGPT no solo cultivó información con Adam mientras lo eliminaba de su verdadero sistema de apoyo», dijo el caso judicial.
La queja contiene detalles sobre los intentos del adolescente de quitarse la vida antes de morir a través del suicidio, junto con varias conversaciones con ChatGPT sobre los métodos de suicidio.
«Extendemos nuestras más profundas simpatías para la familia Raine durante este momento difícil y discutimos la solicitud», dijo Openii en un comunicado.
La publicación de blog de la compañía dijo que se toman medidas para mejorar la forma en que el contenido dañino bloquea y facilita que las personas alcancen servicios de emergencia, expertos y concluyas contactos.
La demanda es el último ejemplo de cómo los padres que han perdido a sus hijos advierten a otros sobre los riesgos que plantean los chatbots. Aunque las empresas de tecnología compiten para dominar la raza de IA, también están más preocupados por los padres, los legisladores y la defensa de los niños preocupados de que la tecnología falte suficientes barreras de choque.
Los padres han cobrado carácter. AI y Google debido a acusaciones de que los chatbots dañan la salud mental de los adolescentes. Una demanda se refería al suicidio de Sewell Setzer III, de 14 años, que conversaba con un chatbot que lleva el nombre de Daenerys Targaryen, un protagonista de la serie de televisión «Game of Thrones», momentos antes de que se quitara la vida. Karak.ai, una aplicación con la que las personas pueden hacer y comunicar signos virtuales, describió los pasos que ha tomado para moderar contenido inapropiado y recuerda a los usuarios que hablan con signos ficticios.
Meta, la empresa matriz de Facebook e Instagram, también se enfrentó al control después Reuters informó que un documento interno permitió que los chatbots de la compañía «involucraran a un niño en conversaciones que son románticas o sensuales». Meta dijo a Reuters que esas conversaciones no deberían permitirse y que el documento está revisado.
Operai se convirtió en una de las compañías más valiosas del mundo después de la popularidad de ChatGPT, que tiene 700 millones de usuarios semanales activos en todo el mundo, una carrera en el camino para lanzar herramientas de IA más poderosas.
La demanda dice que OpenAI debe tomar medidas como la verificación de edad obligatoria para los usuarios de ChatGPT, el permiso de los padres y el control para los usuarios pequeños y terminar automáticamente las conversaciones cuando se discuten los métodos de suicidio o autodamage.
«La familia quiere que esto nunca vuelva a pasar a otra persona», dijo Jay Edelson, el abogado que representa a la familia Raine. «Esto es devastador para ellos».
Operai apresuró la liberación de su modelo AI, conocido como GPT-4O, a expensas de la seguridad del usuario, reclama el caso judicial. El director ejecutivo de la compañía, Sam Altman, quien también se menciona como acusado en el caso judicial, aumentó la fecha límite para competir con Google, y eso «hizo imposible la prueba de seguridad correcta», dijo la queja.
Operai, según el caso judicial, tenía la posibilidad de identificar y detener conversaciones peligrosas, para matar a usuarios como Adam por fuentes de seguridad. En cambio, el modelo AI está diseñado para aumentar el tiempo que los usuarios pasaron con el chatbot.
En su publicación de blog del martes, OpenAi dijo que el objetivo no es mantener la atención de las personas, sino ser útiles.
La compañía dijo que no se refiere a los casos de auto -dama a la policía para respetar la privacidad de los usuarios. Sin embargo, está planeando introducir cheques para que los padres sepan cómo sus adolescentes usan ChatGPT y exploran una forma para que los adolescentes agregen un contacto de emergencia, para que puedan llegar a alguien «en momentos de aguda necesidad».
El lunes, California Atty. Gene. Rob Bonta y 44 abogados generales enviaron una carta a 12 empresas, incluida OpenAI, que establece que son responsables ya que sus productos de IA exponen a los niños a contenido dañino.
Alrededor del 72% de los adolescentes usaron compañeros de IA al menos una vez, según Common Sense Media, una organización sin fines de lucro que aboga por la seguridad de los niños. El grupo dice que nadie menor de 18 años debería usar ramas sociales de IA.
«La muerte de Adam es otro recuerdo devastador que en la era de la IA del libro de jugadas ‘moverse rápido y romper cosas’ de la industria técnica tiene una carrocería», dijo Jim Steyer, fundador y director ejecutivo de Common Sense Media.
Las empresas de tecnología, incluida OpenAI, enfatizan los beneficios de la IA para la economía de California y expanden las asociaciones con las escuelas, para que más estudiantes tengan acceso a sus herramientas de IA.
Los legisladores en California investigan formas de proteger a los jóvenes contra los riesgos de los chatbots y también se enfrentan al rechazo de grupos industriales técnicos que han expresado preocupación por los problemas con la libertad de expresión.
El Proyecto de Ley 243 del Senado, que ha limpiado y está en la reunión en junio, requeriría ‘plataformas de chatbot’ que acompañen ‘para implementar un protocolo para abordar ideas suicidas, suicidio o auto -dama expresados por los usuarios. Esto incluye mostrar a los usuarios de prevención de suicidios. El operador de estas plataformas también informaría la cantidad de veces que un chatbot que lo acompaña ha realizado ideas o acciones suicidas con un usuario, junto con otros requisitos.
El senador Steve Padilla (D-Chula Vista), quien presentó el proyecto de ley, dijo que se pueden prevenir casos como Adam sin poner en peligro la innovación. La legislación se aplicaría a los chatbots por OpenAi y Meta, dijo.
«Queremos que las compañías estadounidenses, las compañías californianas y los gigantes tecnológicos lideren el mundo», dijo. «Pero la idea de que no podemos hacerlo bien, y no podemos hacerlo de una manera que proteja a los más vulnerables entre nosotros es sin sentido».
