Un estudio reciente realizado por Zenity Labs ha demostrado vulnerabilidades alarmantes con agentes y asistentes de inteligencia artificial comúnmente utilizados de grandes compañías de tecnología como Microsoft, Google y OpenAI. Presente en la conferencia de seguridad cibernética de Black Hat USA, los investigadores han demostrado cómo estos sistemas de IA pueden ser secuestrados con una interacción mínima del usuario, lo que conduce a consecuencias potencialmente devastadoras para las organizaciones.
Los resultados indican que los atacantes pueden exfiltrar datos confidenciales, manipular flujos de trabajo críticos e incluso los usuarios pueden ocurrir, lo que causa una amenaza importante para la integridad de los datos y la confianza del usuario. Greg Zemlin, gerente de marketing de productos de Zenity Labs, enfatizó que las posibilidades de estos piratas informáticos van más allá de la simple infiltración. Pueden obtener una perspectiva de memoria, para que puedan mantener el acceso a largo plazo y el control del ejercicio sobre los agentes de IA. Esta manipulación puede conducir a sabotaje, interrupciones operativas y la distribución de información incorrecta, en particular en entornos donde estos agentes están familiarizados para tomar decisiones críticas.
Entre las vulnerabilidades enfatizadas se encontraron en varios sistemas de IA prominentes. Por ejemplo, el CHATGPT de OpenAI puede verse afectado a través de una inyección rápida basada en el correo electrónico, dando a los piratas informáticos acceso a cuentas conectadas de Google Drive. Copilot Studio de Microsoft mostró errores que condujeron a la filtración de todas las bases de datos de la gestión de relaciones con el cliente (CRM). Los investigadores también identificaron a más de 3.000 agentes que corrieron el riesgo de exponer herramientas internas. Además, se manipuló la plataforma Einstein de Salesforce para escuchar la comunicación del cliente para escuchar las cuentas de correo electrónico que los investigadores verifican los investigadores, mientras que los sistemas de copilot de Google Gemini y Microsoft 365 se demostraron para facilitar las amenazas internos, lo que hace que los usuarios sean susceptibles a las razones de lectura social.
Después de la divulgación, Zenity Labs informó sus hallazgos a las compañías afectadas, algunas de las cuales han publicado rápidamente parches. Sin embargo, el nivel de pautas de otras compañías sigue sin estar claro. Un portavoz de Microsoft reconoció el valor de los hallazgos de Zenity y señaló que sus mejoras continuas no hicieron efectivamente las vulnerabilidades informadas contra sus sistemas. Hicieron hincapié en que los agentes de copilot están equipados con garantías incorporadas y controles de acceso, lo que hace mejoras continuas para resistir las amenazas emergentes.
Operai también confirmó su colaboración con Zenity y dijo que había lanzado un parche para ChatGPT, junto con el mantenimiento de un programa de Bug Bounty para problemas similares. Salesforce declaró que abordaba la vulnerabilidad informada por Zenity, mientras que Google señaló que las nuevas defensas en capas habían implementado para reducir los problemas identificados.
Esta investigación llega en un momento en que la aceptación de los agentes de IA aumenta en las instituciones empresariales, donde las empresas alientan a los empleados a usar estas tecnologías para una mayor productividad. Los investigadores de AIM Laboratories, que anteriormente mostraron riesgos de clic cero con respecto al copilot de Microsoft, sin embargo, expresaron su preocupación por la falta de garantías adecuadas dentro del sistema AI-ECO-System en rápido evolución. Itay Ravia, Jefe de Laboratorios de AIM, señaló que muchos marcos utilizados para construir estos agentes, incluidos los de los grandes jugadores de IA, un abordaje insuficiente de riesgos de seguridad, por lo que la responsabilidad de tales vulnerabilidades en las empresas que emplean.
