Character.AI ha anunciado un cambio de política importante, prohibiendo a los usuarios menores de 18 años entablar conversaciones abiertas con sus chatbots. La medida se produce en medio de crecientes preocupaciones sobre el impacto potencial de las interacciones de inteligencia artificial en los niños y sigue a varias demandas dirigidas a la seguridad infantil. En particular, la madre de un adolescente presentó una demanda alegando que los chatbots de la empresa contribuyeron a la trágica decisión de su hijo de suicidarse.
La compañía con sede en Menlo Park, California, reveló el miércoles que las nuevas restricciones se implementarán antes del 25 de noviembre, con efectos inmediatos que incluyen un límite diario de dos horas en el uso de chatbot para menores. En un esfuerzo por proteger mejor a los usuarios jóvenes, Character.AI también anunció planes para desarrollar nuevas funciones diseñadas específicamente para niños, como herramientas para crear videos, historias y transmisiones en vivo con personajes de IA. Además, la empresa planea crear un laboratorio de seguridad de IA para mejorar aún más la protección de los usuarios.
Para hacer cumplir estas restricciones de edad, Character.AI introducirá medidas de verificación de edad destinadas a identificar a los usuarios menores de 18 años. Esta tendencia de implementar controles de edad se está volviendo cada vez más común en varias plataformas tecnológicas, ya que buscan limitar el acceso de los niños a herramientas digitales potencialmente dañinas. Sin embargo, los expertos señalan que estos métodos de verificación suelen ser defectuosos. Por ejemplo, la tecnología de reconocimiento facial puede tener dificultades para distinguir con precisión entre usuarios de 17 y 18 años, mientras que exigir a las personas que presenten una identificación gubernamental plantea importantes preocupaciones sobre la privacidad.
La plataforma Character.AI permite a los usuarios crear e interactuar con personajes de IA personalizables, que pueden usarse para una variedad de experiencias, desde narraciones imaginativas hasta entrevistas de trabajo simuladas. La aplicación promueve a estas personas artificiales como «vivas» y «humanas», con descripciones que invitan a los usuarios a explorar el «límite de lo que es posible» con la tecnología.
Si bien algunos críticos han acogido con satisfacción el anuncio, muchos creen que las medidas son insuficientes y deberían haberse introducido antes. Meetali Jain, directora ejecutiva del Tech Justice Law Project, expresó su preocupación por la falta de claridad en torno a la implementación de la verificación de la edad, las protecciones de la privacidad y el impacto psicológico de cortar abruptamente el acceso a los usuarios jóvenes que pueden haber desarrollado una dependencia emocional de estos chatbots. Jain destacó que las características de diseño subyacentes de la IA, que promueven conexiones emocionales, corren el riesgo de problemas similares para los usuarios mayores de 18 años.
La prevalencia de compañeros de IA entre los usuarios más jóvenes se refleja en una investigación reciente de Common Sense Media, que encontró que más del 70% de los adolescentes han interactuado con chatbots de IA, mientras que la mitad los usa regularmente. A medida que la conversación sobre la IA y los niños continúa evolucionando, los pasos que ha tomado Character.AI marcan una respuesta crucial, aunque controvertida, a los debates en curso sobre la seguridad y el impacto de la inteligencia artificial en las vidas de los usuarios jóvenes.
