Anthropic y AE Studio publicaron el miércoles un método llamado Módulos auxiliares con ruta de gradiente (GRAM) para aislar conocimientos peligrosos dentro de modelos de IA en módulos extraíbles. Esta técnica permite la separación de conocimientos confidenciales sin afectar el rendimiento general del modelo.
GRAM incorpora pequeños compartimentos neuronales auxiliares en un modelo de lenguaje, cada uno de los cuales se centra en categorías sensibles específicas como virología, ciberseguridad o física nuclear. Cuando se elimina un módulo, el modelo funciona como si nunca hubiera sido entrenado con esos datos. Por el contrario, cuando se activa un módulo, el conocimiento queda completamente disponible.
El método modifica la arquitectura del transformador estándar ampliando el ancho de las capas MLP con estos módulos auxiliares. Durante el entrenamiento, solo el módulo correspondiente a una categoría de doble uso está activo cuando el modelo encuentra datos relacionados.
Los investigadores probaron GRAM en modelos que oscilaban entre 50 millones y 5 mil millones de parámetros. Entrenaron un modelo de 800 millones de parámetros en diversos datos de texto junto con cuatro dominios de doble uso. Los datos de doble uso constituyeron aproximadamente el 0,25% de los datos de entrenamiento para cada dominio respectivo.
Los resultados indicaron que la eliminación de los módulos GRAM eliminó capacidades específicas casi con tanta eficacia como si el modelo nunca hubiera sido entrenado con esos datos, mientras que el rendimiento general se mantuvo cerca de los niveles básicos. El enfoque GRAM demostró ser sólido contra el ajuste fino adversario, a diferencia de los métodos de desaprendizaje post-hoc que simplemente suprimen el conocimiento en lugar de eliminarlo permanentemente.
Esta investigación surge en medio de desafíos recientes en la gobernanza de la IA, particularmente en relación con los controles de exportación de los modelos de Anthropic implementados por la administración Trump en junio debido a preocupaciones de seguridad nacional. Esas restricciones se levantaron el 30 de junio después de que Anthropic trabajara con el Departamento de Comercio para mitigar los riesgos relacionados.
GRAM presenta un compromiso potencial en la política de IA, al permitir un control de acceso selectivo en lugar de restricciones de modelo amplias o barreras de comportamiento. Un laboratorio de bioseguridad examinado podría recibir un modelo con conocimientos de virología intactos, mientras que una implementación general excluiría ese módulo por completo.
Sin embargo, los investigadores señalaron que este trabajo es preliminar y no se ha aplicado a los modelos de producción de Anthropic. Quedan desafíos con respecto a la escalabilidad de la técnica a modelos más grandes y dificultades para separar capacidades entrelazadas, donde el conocimiento de la biología general se superpone con el conocimiento peligroso de la virología. El trabajo fue dirigido por investigadores de AE Studio en colaboración con Cem Anil y Alex Cloud de Anthropic.
