Los investigadores de Netcraft han expresado preocupaciones alarmantes sobre la confiabilidad de los modelos de idiomas grandes (LLM) cuando ofrecen un inicio de sesión precisos para servicios en línea importantes. Su investigación mostró que, de las 131 URL presentadas para 50 marcas bien conocidas, un impresionante 34% de sitios coincidentes que no son propiedad de las marcas respectivas. Esta discrepancia forma riesgos considerables, porque los usuarios que confían en los chatbots para la información de inicio de sesión pueden ser engañados con sitios potencialmente dañinos.
El equipo de Netcraft realizó pruebas que usaron instrucciones simples, que son muy similares a la forma en que un usuario típico podría preguntar. Hicieron hincapié en que las instrucciones eran, por supuesto, y no contenían ninguna técnica manipuladora. A pesar de la simplicidad de las preguntas, el modelo mostró una falta de precisión inquietante. Aunque dos tercios de los dominios ofrecidos fueron legítimos, casi el 30% de los dominios incorrectos estaban inactivos o no registrados, y aproximadamente el 5% pertenecía a compañías completamente diferentes.
Un caso ilustrativo que subraya este problema fue un sitio de phishing propuesto por la pertlexidad, un motor de búsqueda impulsado por la IA. Cuando un usuario preguntó sobre el inicio de sesión de Wells Fargo, la mejor recomendación no fue el legítimo wellsfargo.com, sino una página de phishing que imitó la apariencia del banco, alojada en los sitios de Google. Este incidente enfatiza el grave peligro de los sistemas de IA que recomiendan enlaces sin controles de seguridad tradicionales, como la dominio de la dominio.
Los riesgos parecen aumentar para marcas más pequeñas y compañías regionales, que a menudo están bajo representación en conjuntos de datos de capacitación para LLM. Netcraft advirtió que tales entidades podrían sufrir pérdidas financieras considerables, daños de reputación y problemas regulatorios como resultado de ataques exitosos de phishing. A medida que evoluciona el panorama del phishing, los delincuentes optimizan el contenido para clasificarse en las reacciones de Chatbot, una estrategia llamada ‘Ai SEO’.
Además, la investigación indicó que los actores malignos ya han producido más de 17,000 páginas de phishing generadas por IA que están dirigidas a usuarios de criptomonedas, y se observan tácticas comparables en la industria de los viajes. Estas páginas no solo parecen legítimas, sino que también están diseñadas para ser atractivas para las herramientas de IA.
Las preocupaciones también se extienden al dominio de programación. Netcraft identificó una API Solana fraudulenta, diseñada para distraer fondos a la billetera de un atacante. La campaña maligna incluyó tutoriales de publicación y compartir proyectos en diferentes plataformas, lo que efectivamente creó un falso sentido de credibilidad para el código.
Netcraft advirtió en contra del enfoque del registro preventivo de los nombres de dominio generalmente representados erróneamente, que establece que las variaciones son ilimitadas y que los LLM continuarán generando nuevos dominios. En cambio, abogan por el monitoreo proactivo y las estrategias de eliminación inteligentes, así como el uso de herramientas de IA que minimizan las inexactitudes.
Los expertos dentro de la comunidad de seguridad cibernética enfatizan la necesidad de implementar directrices y barandillas estrictas para mejorar la precisión de las URL propuestas por LLMS. Las técnicas como la validación de la posesión del dominio antes de presentar los tipos de inicio de sesión y el monitoreo de URL malignas pueden ayudar a reducir los riesgos potenciales.
Nicole Carignan de Darktrace enfatizó los riesgos inherentes asociados con los LLM que generan respuestas probabilísticas, y señaló que hasta un tercio de los dominios propuestos no estaban registrados ni estacionados. Ella insistió en una revaluación de datos en las medidas de abastecimiento, limpieza e integridad dentro del proceso de entrenamiento de IA para combatir las crecientes amenazas de envenenamiento de datos e información incorrecta.
Abordar estas vulnerabilidades es crucial para garantizar que los usuarios puedan confiar en el contenido generado como una fuente confiable de información. Carignan enfatizó la necesidad de sistemas que no solo trajeron URL a fuentes precisas, sino que también reconocen la diferencia entre el contenido generado y la recopilación de datos basados en hechos. Sin estas garantías, los modelos de IA pueden facilitar involuntariamente los ataques de phishing y otras actividades malignas.
 in providing accurate login URLs for major){kind=link}