Desde mayo de 2025 hasta abril de 2026, los clasificadores de bloqueo de Anthropic no se aplicaron al tráfico de contratistas externos, aquellos que recopilan comentarios humanos para entrenar modelos.
Estos clasificadores son necesarios para garantizar que el modelo no produzca información peligrosa sobre armas químicas y biológicas.
Durante este tiempo, alrededor de 50 mil personas mantuvieron aproximadamente 133 millones de chats con modelos. La integridad de estas personas era comprobada únicamente por los propios contratistas, y sus procedimientos, como admite Anthropic, a menudo eran inadecuados.
Una investigación interna no encontró evidencia de abuso. Posteriormente, la empresa endureció sus requisitos para los contratistas.
La brecha se conoció desde
último informe de riesgo
.
(página 148)
El propio informe calificó los riesgos catastróficos de los modelos antrópicos como bajos en todas las categorías, pero fue redactado con mucho más cuidado.
anterior
: En casi todas partes, las estimaciones aumentan o vienen con la advertencia de una mayor incertidumbre, debido a incidentes recientes y las primeras señales de un progreso acelerado en la IA.
Darío Amodei anteriormente
llamado
El desarrollo de armas químicas y biológicas impulsado por la IA es una amenaza mayor que los ciberataques.
@ai_machinelearning_big_data