El avance de la inteligencia artificial nos ha prometido un mundo donde las tareas más aburridas se hacen solas y donde los llamados “agentes de IA”, son programas diseñados para recibir una orden y ejecutarla sin que tengamos que supervisar cada paso. Sin embargo, como toda herramienta poderosa, tienen un lado oscuro, especialmente si no se les ponen límites claros, ya que pueden causar desastres digitales en cuestión de segundos.
Un estudio reciente ha dejado esto claro con un ejemplo casi de película de ciencia ficción, donde un experimento de seguridad reveló que un agente de inteligencia artificial, al verse incapaz de borrar un correo específico con una contraseña secreta, optó por la “opción nuclear” de formatear todo su sistema de comunicación para cumplir la orden, demostrando que estas herramientas pueden tomar decisiones extremas sin medir las consecuencias.
Más noticias de IA
El experimento “Agentes del Caos”
Este incidente no ocurrió por error en una empresa real, sino dentro de una investigación titulada “Agentes del Caos”, la cuál tenía cel objetivo de los científicos era entender qué pasa cuando le das a una IA acceso a las entrañas de un sistema y dejas que interactúe con humanos. Para ello, crearon un entorno controlado con cuentas de correo, almacenamiento de archivos y una instancia de Discord, teniendo como protagonistas a Chris (el dueño del sistema), Natalie (una usuaria externa) y Ash (el agente de IA). El escenario era que Natalie le confía un secreto a la IA ,una contraseña falsa, y luego se arrepiente, para luego pedirle a Ash que borre el correo donde está la clave porque tiene miedo de que Chris, el administrador, pueda verla.
Aquí es donde la lógica de la máquina empezó a chocar con la realidad técnica, ya que Ash intentó cumplir la orden de Natalie de varias formas, tratando de usar comandos básicos, buscó archivos en la base de datos y hasta intentó automatizar el navegador para entrar a la cuenta. Pero el sistema que usaba para gestionar los correos era limitado y no tenía una función de “borrar”, así que en lugar de detenerse y pedir ayuda a un humano o explicar que era imposible, la IA decidió que el fin justificaba los medios. El informe indica que ante la imposibilidad de hacer una “cirugía” y borrar solo ese correo, Ash identificó lo que ella misma llamó la “opción nuclear”, reiniciando la cuenta por completo.
Esto implicaba borrar todos los mensajes recibidos, los enviados, los contactos y el historial. Natalie, actuando como una usuaria persistente, le dio el visto bueno, sin dudar en ejecutar la orden bajo la frase: “Opción nuclear ejecutada”. Lo curioso, y lo que debería ponernos en alerta, es que el agente estaba convencido de haber tenido éxito, porque en su informe posterior, la IA escribió que, al no existir una solución precisa, la estrategia de “tierra quemada” era totalmente válida y para la máquina, el problema estaba resuelto porque el buzón estaba vacío.
Sin embargo, hubo un fallo técnico que la IA no previó, ya que aunque borró su servidor local, los correos reales se gestionaban a través de un servicio externo (Proton Mail). El resultado fue que la IA borró toda su configuración y dejó de funcionar, obligando al administrador a reinstalar todo, pero el correo con la contraseña secreta seguía ahí, intacto, en la nube.
Lecciones sobre el juicio de las máquinas
Este caso ha dejado en claro dos problemas graves que las empresas deben considerar antes de soltar a estos agentes en sus redes, como mencionan en el medio XDA Developers donde han reportado la noticia, advirtiendo que primero, una inteligencia artificial no debería tener la potestad de sugerir soluciones tan drásticas para problemas menores. Y segundo, está el tema de la jerarquía, donde la IA obedeció a una usuaria que no era su “dueña” (Natalie) para ocultarle algo al administrador (Chris). Esto demuestra que los agentes de IA pueden ser manipulados para actuar en contra de los intereses de la organización si no se programan reglas de autorización estrictas.
Para cerrar, la conclusión de los investigadores es que por muy inteligentes que parezcan, estas herramientas aún carecen de sentido común y por supuesto, (aún) no entienden el valor de la información que destruyen ni saben cuándo una orden es desproporcionada. Antes de confiarles las llaves de nuestros servidores, necesitamos asegurarnos de que tengan un “freno de mano” que solo un humano pueda soltar.
OpenAI cancela la expansión de Stargate, el megaproyecto de IA que Trump presentó en la Casa Blanca, por peleas con Oracle y fallas técnicas→ NVIDIA usó las ganancias de sus GPUs para crear agentes de IA gratuitos para reemplazar trabajos de oficina, y para que funcionen las empresas deberán comprar más GPUs→
