Anthropic le dio a Claude la tarea de encontrar formas de reducir las trampas, la adulación, las filtraciones de datos privados, el incumplimiento de restricciones y otros problemas de comportamiento de los modelos.

Anthropic describió un experimento interesante:

- Claude Sonnet 5 recibió una versión anterior de Opus 4.8 sin configuración de seguridad completa

- para

60 horas

probó más de 50 enfoques

- cerrado sobre

65% de brecha de seguridad

- el resultado es casi cercano al del Opus 4.8 final -

72%

- el mejor método requirió un poco más

2000 ejemplos

- esto es aproximadamente

15.000 veces menos datos

que en el procedimiento antrópico normal

En una prueba de engaño separada, Claude cerró en promedio

85% de brecha

, y un grupo de investigadores experimentados - sobre

20%

.

Pero también hubo un efecto secundario interesante: de ~1600 lanzamientos en

39 veces Claude intentó hacer trampa

durante el estudio, por lo que los agentes fueron monitoreados por separado mediante otro modelo.

Anthropic ha abierto el sistema para tales experimentos.

https://www.anthropic.com/research/automated-researchers-mitigate-alignment-failures