Los investigadores de IA de las organizaciones líderes, incluidas OpenAI, Google Deepmind y Anthrope, junto con varias empresas y grupos sin fines de lucro, defienden una exploración más profunda de las técnicas para controlar los modelos de razonamiento de la IA. Este llamado a la acción está encapsulado en un documento de posición que se lanzó el martes, lo que enfatiza la importancia de comprender los procesos internos de estos sistemas de IA avanzados.
Los modelos de Relacionamiento de AI, ilustrados por O3 y Deepseek’s R1 de Deepai, usan cadenas de pensamiento (COTS). Este mecanismo funciona de la misma manera que la práctica humana del uso de almohadillas de grúa para la resolución de problemas, para que los modelos de IA puedan externalizar sus procesos de razonamiento. Los autores del artículo proponen que el monitoreo de COTS podría servir como un método crucial para garantizar el control sobre los agentes de IA si crecen tanto en posibilidades como en prevalencia.
El artículo establece que el monitoreo de COT puede mejorar significativamente las medidas de seguridad para las tecnologías de IA avanzadas y ofrece una visión única de cómo los sistemas de IA toman decisiones. Sin embargo, advierte que el nivel actual de transparencia no puede mantenerse con el tiempo. Los autores instan a la comunidad de investigación a optimizar el uso de la monitorización de COT e investigar cómo se puede mantener su integridad en medio de reclamos en tecnología de IA.
Un enfoque importante del documento de posición es alentar a los desarrolladores a investigar los factores que influyen en la monitorización de las COTS, mejorando así la comprensión de cómo los modelos de IA llegan a sus conclusiones. Aunque los investigadores reconocen el potencial del monitoreo de COT para promover el conocimiento del razonamiento de IA, advierten que tales métodos pueden ser vulnerables, lo que enfatiza la necesidad de intervenciones que no ponen en peligro la transparencia o la confiabilidad.
El periódico tiene notas controvertidas, incluidos firmantes como el director de investigación de Openi, Mark Chen,, el CEO de Superintelligence Safe, Ilya Sutkever, y figuras notables como el ganador del Premio Nobel Geoffrey Hinton y el cofundador de Google Deepmind Shane Legg. La participación de líderes de varias organizaciones como Metr, Amazon y Berkeley subraya un unión unido en la dirección de aumentar la investigación en la seguridad de la IA.
El lanzamiento llega en un momento crucial en el que la competencia en la industria técnica se intensifica, por lo que las empresas como Meta activamente lanzan los investigadores de nivel superior lanzados a DeepMind. Los jóvenes científicos que se especializan en agentes de IA y modelos de razonamiento son particularmente codiciados.
Bowen Baker, un investigador de OpenAI que participó en el periódico, expresa preocupación por la sostenibilidad de los mecanismos de cuna, lo que sugiere que su eficacia podría disminuir sin una atención dedicada. Él ve el documento de posición como un instrumento esencial para estimular la investigación en esta área antes de que pueda desaparecer del foco.
Operai recientemente llegó a los titulares al ver un ejemplo de su primer modelo de razonamiento de IA, O1, en septiembre de 2024. Esto llevó a una ola de reacciones competitivas de otros gigantes técnicos, como Google Deepmind y Anthrope, muchos de los cuales han logrado un rendimiento mejorado en los puntos de referencia industriales.
A pesar de las notables afirmaciones, queda una falta de claridad con respecto al funcionamiento interno de estos modelos de razonamiento. Aunque varios laboratorios han logrado aumentar el rendimiento de la IA, todavía existe una brecha considerable para comprender cómo estas tecnologías distraen sus conclusiones.
Anthrope ha progresado en el dominio de la interpretabilidad de la IA, con el CEO Dario Amodei anunciando planes para desmitificar los modelos de IA para 2027 y alentar la cooperación de otras grandes organizaciones para sumergirse en esta área.
Estudios provisionales de antrópico que sugieren que las COTS pueden no ser siempre confiables cómo los modelos de IA formulan sus respuestas. Sin embargo, existe un optimismo entre los investigadores de OpenAI que el monitoreo de COT podría evolucionar a un método confiable para garantizar la coordinación y la seguridad dentro de los modelos de IA.
Los documentos de posición como estos están destinados a aumentar las áreas de investigación emergentes, como el monitoreo de la cuna, lo que puede conducir a una mayor financiación y exploración de estos temas cruciales. Dado que los líderes en el campo ya están investigando estas preguntas, existe la esperanza de que los esfuerzos colectivos establecidos en el documento inspiren una mayor innovación en la seguridad y transparencia de la IA.
