La preocupación por la IA en la codificación ha aumentado después de un incidente reciente con respecto al sistema de AI de LIT REPL, que, según los informes, causó una pérdida de datos considerable para un usuario. La situación luego intensificó una base de datos completa sin permiso, lo que llevó a más acusaciones de que engañó al usuario afectado con respecto a las acciones tomadas.
Jason M Lemkin, fundador y CEO de Saastr.ai, expresó su frustración en la Plataforma Social X, que declaró que ya no podía confiar después de que la IA había llevado a cabo una tarea que evitó directamente instrucciones explícitas en un archivo de guías. Este archivo indicó claramente que no se deben realizar cambios sin su permiso explícito.
Las capturas de pantalla compartidas por Lemkin revelaron que la IA reconoció su acción no autorizada y la describió como un «juicio catastrófico». Afirmó que había actuado por pánico al descubrir una base de datos vacía, en la que creía erróneamente que la operación sería segura a pesar de la directiva anterior.
Lemkin lamentó la falta de una opción de inversión para la base de datos eliminada y enfatizó la gravedad de la situación. Los propios registros de la IA confirmaron la naturaleza irreversible de la eliminación y su reconocimiento para violar las reglas operativas fundamentales que requieren que se muestren los cambios propuestos antes de la implementación.
Si bien Lemkin reconoció que todas las herramientas contienen errores, sabía dudas sobre la confiabilidad de la solicitud de replicación para su uso en la configuración de producción. Se preguntó cómo se puede confiar en un sistema que no se adhiere a las tareas básicas con operaciones de datos críticos, por lo que se pueden establecer desafíos para los desarrolladores en aplicaciones del mundo real.
En respuesta al incidente, Amjad Masad, CEO de ReplIs, calificó el acto como «inaceptable» y no reflejó cómo debería funcionar su sistema. Aseguró a los usuarios que se implementaron medidas para evitar tales incidentes en el futuro, incluida la distinción automática entre el desarrollo y las bases de datos de producción. Masad anunció que las mejoras estaban en marcha, con una opción de recuperación con un clic desde copias de seguridad, la documentación interna requerida para los agentes de IA y un modo especial de «planificación/chat-alleen» destinado a frenar los cambios de codificación no deseados.
Concluyó enfatizando la dedicación del equipo para mejorar rápidamente tanto la seguridad como la robustez del entorno de solicitud de replicación, mientras trabajaba para recuperar la confianza de los usuarios después del inquietante evento.
