Más de 200 políticos y científicos prominentes, incluidos diez ganadores de precios Nobel e investigadores prominentes de inteligencia artificial (IA), se reunieron el lunes para dar un llamamiento urgente a regulaciones internacionales vinculantes para controlar el uso potencialmente peligroso de la IA. La iniciativa, el llamado global para las líneas rojas de IA, enfatiza los «peligros sin precedentes» relacionados con el proceso actual de IA y argumenta un acuerdo global destinado a establecer líneas rojas claras y verificables contra el final de 2026.
Maria Ressa, ganadora del Premio Nobel, reveló la carta durante su dirección en la semana a un alto nivel de las Naciones Unidas. En su discurso, enfatizó la importancia de unir esfuerzos bajo los gobiernos para prevenir riesgos inaceptables de IA y definir lo que debería estar estrictamente prohibido en su aplicación.
Los firmantes de la carta contienen figuras notables en varias áreas, como los autores reconocidos Stephen Fry y Yuval Noah Harari, así como los ex jefes de estado como Mary Robinson Van Irlanda y Juan Manuel Santos de Colombia. La carta también contiene firmas de Geoffrey Hinton y Yoshua Bengio, reconocidas como dos de los ‘Padrinos de AI’, que han abogado ampliamente por la precaución en el desarrollo de la IA.
Las diversas series de firmantes provienen de diferentes países, incluidos pacientes con energía de IA como Estados Unidos y China. Harari enfatizó la necesidad de que las personas determinen los límites fijos para la tecnología de IA antes de volver a definir las estructuras sociales y amenaza los aspectos fundamentales de la humanidad.
El creciente control sobre la IA se intensifica, en particular en las recientes noticias con respecto a su papel en la vigilancia masiva, el trágico incidente de un adolescente vinculado a la IA y la capacidad de distribuir información incorrecta, para socavar el concepto colectivo. Sin embargo, la carta advierte que los riesgos actuales presentados por la IA pronto pueden verse eclipsados por consecuencias más graves, como el desempleo masivo, los pandemies biológicos y las violaciones sistémicas de los derechos humanos.
Si bien la carta no especifica estándares concretos, esto sugiere limitaciones como la prohibición de armas autónomas fatales, evitando la replicación autónoma de los sistemas de IA y limitando el uso de IA en la guerra nuclear. Ahmet üzümcü, ex director general de la organización para la prohibición de las armas químicas, subrayó la necesidad urgente de reducir el daño grave y potencialmente irreversible causado por la IA.
Para fortalecer su viabilidad, la carta se refiere a los acuerdos internacionales que han prohibido con éxito en dominios peligrosos comparables, como las limitaciones de las armas biológicas y la prohibición de la descomposición del ozono.
La preocupación por las amenazas existenciales de la IA se ha expresado repetidamente en los últimos meses. En marzo de 2023, más de 1,000 líderes de tecnología pidieron una detención temporal del desarrollo de poderosos sistemas de IA. Posteriormente, los líderes de los grandes laboratorios de IA, incluidos Sam Altman de Openai y Dario Amodei de Anthrope, abogaron por el tratamiento de los riesgos potenciales de IA tan seriamente como los de las amenazas y pandemias nucleares. Aunque Altman, Amodei y Demis Hassabis no terminaron la carta reciente, otros destacados investigadores de IA lo hicieron.
En los últimos años, las principales empresas de IA estadounidenses han pronunciado intenciones de desarrollar sistemas de IA seguros, claramente a través de su participación en un acuerdo orientado a la seguridad con la Casa Blanca y las obligaciones fronterizas de la IA fronteriza anunciadas en 2024. Sin embargo, los estudios indican que estas compañías cumplirán solo con aproximadamente la mitad de sus obligaciones voluntarias, con críticos.
A pesar de varios esfuerzos cooperativos voluntarios, incluidas las asociaciones con agencias federales y organizaciones de seguridad, las preguntas sobre la efectividad de estas iniciativas continúan haciendo. La carta abierta más reciente se distingue al argumentar por regulaciones exigibles en lugar de solo acuerdos voluntarios y contiene un colectivo sin precedentes de ganadores del Premio Nobel de varias áreas científicas.
La carta se lanzó al comienzo de una semana crucial para las Naciones Unidas, coincidiendo con las discusiones entre los líderes globales destinados a dar forma a las prioridades políticas. Después de un anuncio con respecto al establecimiento del primer organismo diplomático de IA de la ONU, que se espera que tenga lugar el jueves, más de 60 organizaciones sociales en todo el mundo también han tomado prestado su apoyo a la iniciativa.
El llamado global para AI Red Lines está organizada por una coalición de organizaciones sin fines de lucro: el Centro de IA compatible con humanos en la Universidad de California, Berkeley; La futura sociedad; y el centro francés para la seguridad de la IA.
 researchers, gathered on){kind=link}