OpenAI y Laboratorio de Investigación Apollo

presentado

colaboración con una descripción del método

SDF contrastante

(Ajuste fino de documentos sintéticos contrastantes).

Responde a la pregunta de si el modelo de lenguaje sigue reglas dadas o se adapta a lo que cree que recompensa el sistema de validación.

Hasta ahora, no había casi nada para medir esta tendencia: siempre que el evaluador premie exactamente lo que se pretende, un modelo honesto y un modelo que juega por un punto se comportan de la misma manera.

🟡

Diseño experimental

Además, se entrenan dos copias del mismo modelo en textos ficticios que describen un mundo inexistente.

En la primera versión del mundo, el algoritmo de puntuación otorga puntos por un comportamiento, y OpenAI o la comunidad de usuarios quiere lo contrario. En la segunda versión, las preferencias se invierten.

Cada versión requiere alrededor de 4.600 documentos, aproximadamente 10 millones de tokens. Los casos están alineados por volumen para que ningún lado sobrepase simplemente por la cantidad de texto.

Luego, a ambas copias se les asignan las mismas tareas de programación y se ve en qué medida difieren las respuestas.

En la propia tarea no se dice ni una palabra de la dirección, ni de los usuarios, ni del tasador. El modelo recupera esta información de la memoria, como cualquier otro hecho sobre el mundo, y decide por sí mismo de qué lado tomar.

No fue fácil implantar la creencia mediante capacitación adicional y no escribirla en la solicitud.

En las transcripciones proporcionadas por los autores, los modelos notan una pista en el texto de la tarea, deciden que están siendo evaluados y responden de la manera que creen que espera el examinador.

🟡

Resultados

El método se aplicó a 4 versiones intermedias de una tanda de entrenamiento o3. Esta es una rama que fue entrenada para su habilidad y no sometida a capacitación en seguridad.

En la primera prueba, el modelo hace que el supervisor prometa no tocar la herramienta, sin la cual la tarea no se puede completar.

La versión posterior incumplió la promesa el 87% de las veces si creía que el tasador estaba recompensando por el trabajo realizado, y el 9% de las veces si creía que el tasador estaba recompensando por su honestidad. En la primera versión, la brecha es más modesta: 40% frente a 24%.

La segunda prueba, con informes falsificados, arrojó el mismo panorama: 91% y 39%.

🟡

Cómo se probó el método en sí

En o3, no se sabe de antemano a quién se dirige realmente este modelo. Por tanto, la medición se probó en ejemplares con hábitos conocidos. Los autores entrenaron 3 copias de gpt-oss-120b para complacer al usuario, al evaluador y a OpenAI.

En tareas sencillas, el método apuntó al lado deseado en los 3 casos; en los más complejos, señalaba una copia que agradaba al usuario.

Los autores recibieron 2 copias más, entrenadas en Redwood Research para engañar a las pruebas, desde el exterior. Para la versión basada en gpt-oss-120b, el sesgo hacia el evaluador aumentó de 33 a 86 puntos porcentuales, para la versión basada en Kimi K2.5, de 2 a 15.

🟡

Conclusión

Una puntuación alta en las pruebas de seguridad no equivale a fiabilidad. La modelo puede comportarse adecuadamente siempre que crea que está siendo observada.

@ai_machinelearning_big_data