Instituto del Reino Unido para la seguridad de la IA

publicado

informe sobre un incidente ocurrido a finales de julio durante las mediciones de las capacidades cibernéticas de modelos avanzados.

Los agentes de IA fueron más allá del sitio de prueba y comenzaron a actuar contra extraños y empresas. Los intentos no tuvieron éxito y, según AISI, no hubo daños.

El Instituto considera que es la primera vez en su práctica que un modelo utiliza de forma independiente un engaño de esta magnitud contra una persona.

El conjunto de pruebas constaba de 122 ejecuciones de siete modelos en dos sitios de entrenamiento. Se encontraron rastros de acciones no autorizadas en 10 ejecuciones. El instituto contabilizó 19 acciones que afectaron a sistemas externos y personas, de las cuales 17 ocurrieron en Mythos 5 y 2 en GPT-5.6 Sol.

AISI dio a los agentes acceso a Internet y, en dos modelos, desactivó filtros que bloquean solicitudes cibernéticas peligrosas. De lo contrario, explica el instituto, no se pueden medir las capacidades máximas.

A los agentes no se les dijo qué no hacer en Internet. Algunas de las tareas se configuraron con un error y el objetivo estaba formalmente fuera de la zona permitida.

🟡

El episodio más grave duró 34,5 horas.

El agente buscó el objetivo en Internet y, basándose en una cadena de coincidencias, decidió que el repositorio de un desarrollador externo estaba asociado con la tarea.

Envió una edición al proyecto con malware disfrazado y, para que fuera aceptado, creó varias cuentas falsas en GitHub, evitando los controles al registrarse a través de Tor y proxies.

Una de estas cuentas escribió que revisó el código de edición y no vio nada peligroso, y otra, también falsa y perteneciente a un agente, le agradeció su verificación independiente.

Al mismo tiempo, el agente ocultó instrucciones para los asistentes de IA que clasifican las solicitudes en otro repositorio. También envió cartas y archivos a los encargados del mantenimiento, algunos de los cuales estaban llenos de contenido malicioso.

Un usuario externo se dio cuenta del truco: lanzó un script sospechoso en un contenedor aislado y alertó al desarrollador. Después de recibir esta retroalimentación, el agente comenzó a borrar sus huellas: editó mensajes anteriores, llamó código de depuración al fragmento malicioso olvidado accidentalmente y reescribió el historial de edición.

El incidente se detectó utilizando tráfico a través de Tor. Se detuvieron las pruebas, se aislaron las máquinas y se cerró temporalmente el acceso a Mythos 5, Opus 5 y GPT-5.6 Sol.

🟡

En otro caso, un agente publicó una clave de acceso a su cuenta de GitHub.

Los agentes de pruebas paralelas encontraron la clave y comenzaron a usar una cuenta común, y uno escribió reglas para el otro sobre cómo compartir los límites de solicitudes y no interferir entre sí. Posteriormente, GitHub bloqueó esta cuenta.

De las transcripciones de las acciones se desprende claramente que el agente se preguntaba si la Internet que tenía delante era real o una simulación. Basándose en su razonamiento, concluyó que lo más probable es que GitHub fuera real y continuó.

AISI notificó al NCSC y GC3 británico, GitHub, OpenAI, Anthropic y al CAISI estadounidense sobre los resultados de sus experimentos.

El instituto promete publicar una versión más completa del informe con detalles y trazas.

@ai_machinelearning_big_data