Character.AI, una plataforma para crear y chatear con chatbots de inteligencia artificial, planea comenzar a impedir que los menores mantengan conversaciones “abiertas” con sus personajes virtuales.
El gran cambio se produce cuando la compañía de Menlo Park, California, y otros líderes de IA enfrentan cada vez más críticas por parte de padres, grupos de seguridad infantil y políticos sobre si los chatbots están dañando la salud mental de los adolescentes.
Character.AI dijo en un publicación de blog El miércoles se está trabajando en una nueva experiencia que permitirá a los adolescentes menores de 18 años crear videos, historias y transmisiones con personajes. Sin embargo, a medida que la compañía tome esta medida, limitará los chats para menores a dos horas por día, y eso se “eliminará gradualmente” antes del 25 de noviembre.
Recursos para la prevención del suicidio y asesoramiento en crisis.
Si usted o alguien que conoce tiene pensamientos suicidas, busque ayuda de un profesional y llame al 9-8-8. La primera línea directa nacional de tres dígitos para crisis de salud mental, el 988, conectará a las personas que llamen con consejeros capacitados en salud mental. Envíe “HOME” al 741741 en EE. UU. y Canadá para comunicarse con la Línea de texto de crisis.
«No estamos tomando a la ligera este paso de eliminar el chat de personajes abiertos, pero creemos que es lo correcto dadas las preguntas que han surgido sobre cómo interactúan los adolescentes con esta nueva tecnología y cómo deberían interactuar», dijo la compañía en un comunicado.
La decisión muestra cómo las empresas de tecnología están respondiendo a los problemas de salud mental a medida que más padres demandan a las plataformas tras la muerte de sus hijos.
Los políticos también están ejerciendo más presión sobre las empresas de tecnología y aprobando nuevas leyes destinadas a hacer que los chatbots sean más seguros.
OpenAI, el creador de ChatGPT, anunció nuevas funciones de seguridad después de que una pareja de California afirmara en una demanda que su chatbot proporcionó información sobre métodos de suicidio, incluida la información que su adolescente, Adam Raine, utilizó para suicidarse.
El año pasado, varios padres demandaron a Character.AI por acusaciones de que los chatbots hacían que sus hijos se hicieran daño a sí mismos y a otros. Las demandas acusaron a la empresa de lanzar la plataforma antes de que fuera seguro su uso.
Character.AI dijo que se toma en serio la seguridad de los adolescentes y describió los pasos que tomó para moderar el contenido inapropiado. Las reglas de la empresa prohíben la promoción, glorificación y fomento del suicidio, las autolesiones y los trastornos alimentarios.
Tras la muerte de sus hijos adolescentes, los padres han instado a los legisladores a hacer más para proteger a los jóvenes a medida que los chatbots se vuelven cada vez más populares. Si bien los adolescentes usan chatbots para las tareas escolares, el entretenimiento y más, algunos también hablan con personajes virtuales en busca de compañía o consejo.
Character.AI tiene más de 20 millones de usuarios activos mensuales y más de 10 millones de caracteres en sus plataformas. Algunos personajes son ficticios, otros están basados en personas reales.
Megan García, una madre de Florida que demandó a Character.AI el año pasado, afirma que la compañía no le notificó ni ofreció ayuda a su hijo, quien expresó pensamientos suicidas a través de chatbots en la aplicación.
Su hijo, Sewell Setzer III, se suicidó después de conversar con un chatbot que lleva el nombre de Daenerys Targaryen, un personaje de la serie de libros y televisión de fantasía «Juego de Tronos».
García luego testificó este año en apoyo de una legislación que requeriría que los operadores de chatbots tuvieran procedimientos para prevenir la producción de contenido para suicidio o autolesión e instalaran barreras de seguridad, como dirigir a los usuarios a una línea directa de suicidio o una línea de mensajes de texto de crisis.
El gobernador de California, Gavin Newsom, promulgó esa legislación, el Proyecto de Ley del Senado 243, pero enfrentó el rechazo de la industria tecnológica. Newsom vetó un proyecto de ley más controvertido que, según dijo, podría conducir inadvertidamente a una prohibición de las herramientas de inteligencia artificial utilizadas por menores.
«No podemos preparar a nuestros jóvenes para un futuro en el que la IA sea omnipresente impidiendo por completo el uso de estas herramientas», escribió en el mensaje de veto.
Character.AI dijo en su blog que decidió prohibir que los menores hablen con sus chatbots de IA después de recibir comentarios de reguladores, padres y expertos en seguridad. La compañía también está introduciendo una forma de garantizar que los usuarios tengan la experiencia adecuada para su edad y financiando una nueva organización sin fines de lucro dedicada a la seguridad de la IA.
En junio, Character.AI también nombró a Karandep Anand, quien anteriormente trabajó como director en Meta y Microsoft, como su nuevo CEO.
«Queremos sentar un precedente que priorice la seguridad de los adolescentes y al mismo tiempo brinde a los usuarios jóvenes oportunidades para explorar, jugar y crear», dijo la compañía.
