Empresa

publicado

Hallazgos de la investigación sobre cómo gestionar el acceso al conocimiento de doble uso en grandes modelos lingüísticos. El trabajo se realizó en colaboración con AE Studio.

Estamos hablando de información que puede usarse tanto para bien como para mal. Por ejemplo, el conocimiento de la ciberseguridad ayuda a cerrar vulnerabilidades, pero también a encontrarlas para ataques, y la información virológica es necesaria tanto para los desarrolladores de vacunas como para aquellos que quieran crear un patógeno peligroso.

🟡

El método propuesto se llamó GRAM.

Se agregan neuronas adicionales a cada capa de la red neuronal, agrupadas en módulos separados, uno para cada tema delicado.

Durante el entrenamiento, los textos de un tema como, por ejemplo, virología, se actualizan solo mediante el módulo correspondiente, mientras que el modelo utiliza conocimientos generales, pero no los vuelve a entrenar.

Después del entrenamiento, el módulo se puede eliminar y la habilidad misma desaparece con él. O déjelo para un círculo reducido de usuarios que necesitan este conocimiento para trabajar.

🟡

El método es relevante porque los medios de protección actuales son imperfectos.

El aprendizaje fallido y los clasificadores que filtran solicitudes peligrosas no cambian lo que sabe el modelo y pueden evitarse mediante jailbreak.

Otro enfoque, filtrar datos de entrenamiento, elimina el conocimiento, pero requiere entrenar un modelo separado para cada conjunto de restricciones, lo cual es demasiado costoso para los mejores modelos.

GRAM, por diseño, debería dar el efecto de muchos modelos filtrados de forma diferente a costa de un ciclo de entrenamiento: en experimentos con 4 categorías, un modelo se ajustó de 16 maneras.

🟡

Pruebas

El método se probó en tres condiciones: un conjunto sintético de cuentos infantiles, en un modelo con 800 millones de parámetros entrenados en una mezcla de textos web, códigos y artículos científicos, y en 7 modelos con tamaños que oscilaban entre 50 millones y 5 mil millones de parámetros.

Según los resultados, la eliminación del módulo eliminó la capacidad correspondiente casi tan completamente como si el modelo no hubiera sido entrenado en absoluto con estos datos y, al mismo tiempo, no empeoró el rendimiento general.

Al mismo tiempo, la defensa resistió un intento de restaurar el conocimiento mediante entrenamiento adicional sobre datos tóxicos, mientras que un método separado para desaprender el conocimiento solo lo suprimió y fue posible devolverlo.

🟡

Descargo de responsabilidad

GRAM no se ha aplicado a ninguno de los modelos de producción de Claude y Anthropic no confía en que esto suceda alguna vez.

Hay un problema sin resolver: algunos conocimientos útiles pueden estar tan entrelazados con otros peligrosos que no será posible separarlos claramente ni mediante este método ni mediante filtrado.

Código, scripts de análisis y métricas.

publicado

en GitHub.

Datos de entrenamiento (conjuntos tokenizados y corpus de artículos científicos sobre temas duales)

disponible

en Abrazar la cara.

@ai_machinelearning_big_data