El asesor científico de la Casa Blanca, Michael Kratsios alegó que Moonshot, una empresa china, copió el modelo de lenguaje grande (LLM) de Fable de Anthropic para crear el Kimi K3, que es el modelo de peso abierto más grande disponible actualmente. Kratsios afirmó que el modelo de Moonshot utiliza chips no autorizados para exportar a China, y agregó que la destilación industrial encubierta destinada a robar tecnología estadounidense es «inaceptable». Señaló las discusiones en curso sobre la posible prohibición de los modelos chinos de peso abierto que se han vuelto controvertidas en el sector de la IA.
El secretario del Tesoro, Scott Bessent, se hizo eco de los comentarios de Kratsios y reveló que se han detectado grandes modelos lingüísticos estadounidenses en muchos modelos chinos, lo que también describió como «inaceptable». El Departamento del Tesoro no aclaró la naturaleza exacta de las marcas de agua encontradas en estos modelos. Los expertos, sin embargo, expresaron escepticismo sobre si la destilación por sí sola podría explicar las capacidades avanzadas de Kimi K3, especialmente considerando la fecha de lanzamiento de Fable del 1 de julio.
Braden Hancock, investigador del Instituto Laude, señaló que es inverosímil desarrollar un modelo con la potencia del Kimi K3 en tan poco tiempo utilizando únicamente técnicas de destilación. Dijo: «No se pueden destilar tantos datos, entrenar un modelo y publicarlo en dos semanas». Nathan Lambert, del Instituto Allen para la IA, observó la eficacia cada vez menor de la destilación con el tiempo y argumentó que podrían ser necesarios métodos avanzados como el aprendizaje por refuerzo para que dichos modelos alcancen sus capacidades.
El proceso de destilación implica consultar sistemáticamente un LLM para replicar sus funcionalidades. Este proceso podría incluir un ajuste fino supervisado (SFT), donde el modelo objetivo entrena un nuevo modelo emulando sus comportamientos. Lambert evaluó que, si bien las SFT tienen beneficios, estos están disminuyendo a medida que aumenta la complejidad del modelo. Para replicar las capacidades de Fable puede ser necesario un aprendizaje reforzado, que puede consumir muchos recursos y no garantizar un rendimiento superior.
Existe un conflicto continuo en la industria de la IA con respecto a las prácticas de destilación. Anthropic había acusado anteriormente a Moonshot de extraer sistemáticamente datos de sus modelos, citando millones de intercambios sospechosos monitoreados a través de direcciones IP. Elon Musk testificó que su empresa, SpaceXAI, también utilizó técnicas de destilación en modelos OpenAI para desarrollar Grok, lo que demuestra cuán común es esta práctica en todo el sector.
Hancock subrayó que las percepciones estadounidenses pueden restar importancia a las habilidades técnicas de los equipos chinos de IA, en referencia al cofundador de Moonshot, un doctorado de la Universidad Carnegie Mellon. Moonshot supuestamente aprovechó chips Nvidia prohibidos mientras accedía a servidores equipados con GB300 en Tailandia para desarrollar Kimi K3. Sam Bresnick, investigador del Centro de Seguridad y Tecnología Emergente de Georgetown, señaló la existencia de un mercado negro para dichos chips, cuya exportación a China sigue prohibida. Los esfuerzos para hacer cumplir las regulaciones sobre el uso de estos chips avanzados aún no han logrado avances significativos.
El Departamento de Comercio del presidente Biden propuso reglas para que los centros de datos establezcan medidas de identificación de clientes en 2024. Sin embargo, no se produjeron avances significativos en esta área durante la administración anterior, y los exportadores deben asegurarse de que sus chips avanzados se utilicen para aplicaciones legítimas.
