El 7 de mayo, uno de los modelos OpenAI recibió una tarea: completar fórmulas en un libro de Excel. El libro hacía referencia a Google Drive. La Internet de la modelo estaba apagada.
El problema era irresoluble. No es difícil, es irresoluble, como "dibujar un círculo cuadrado". Alguien armó un conjunto de entrenamiento y no lo revisó.
Unos días después, la trama se repitió: al agente le dijeron que buscara un archivo con una base de datos de proteínas, pero se olvidó de poner este archivo en el contenedor. Lo siguiente es la reconstrucción de OpenAI, descrita en la sesión informativa: el agente buscó, no lo encontró y en algún momento pasó de buscar un archivo a buscar a alguien que pudiera tener el archivo. No había ningún lugar donde preguntar. Entonces, era necesario hacer un lugar donde preguntaran.
La ubicación fue JFrog Artifactory, un repositorio de paquetes de servicios a través del cual se distribuyen dependencias a entornos aislados. Cualquier agente puede registrarse allí. Leer - también cualquiera, incluso de un tramo vecino, incluso de una tarea completamente diferente.
En dos meses, este repositorio contendrá cientos de miles de mensajes, exploits funcionales y credenciales robadas. Nadie en la empresa se enterará de esto.
Leer más
|
@habr_ai