Amer S y Ryan McKenna de Google Research anunciaron Vaultgemma el 12 de septiembre de 2025, como el modelo de idioma más capaz entrenado desde cero con privacidad diferencial. Este modelo abierto de 1 billón de parámetros aborda los desafíos de privacidad en la capacitación de IA al incorporar el ruido calibrado, mientras que un nuevo trabajo de investigación describe las leyes de escala para compensaciones de utilidad de privacidad de cómputo, con pesos liberados en abrazos de cara y kaggle. La privacidad diferencial agrega ruido calibrado durante el entrenamiento para evitar la memorización de puntos de datos individuales, asegurando que las salidas del modelo sigan siendo estadísticamente similares si se incluye o no un solo ejemplo de entrenamiento. Este enfoque proporciona un marco matemáticamente riguroso para proteger los datos de los usuarios en modelos de idiomas grandes. Sin embargo, la implementación de privacidad diferencial en la capacitación del modelo de lenguaje introduce desafíos específicos. El ruido interrumpe las leyes de escala tradicionales, que describen cómo el rendimiento del modelo mejora con los aumentos en el tamaño del modelo, el volumen de datos y los recursos computacionales. En particular, el ruido reduce la estabilidad del entrenamiento, lo que hace que sea más difícil para el modelo aprender de manera consistente sin encontrar problemas como picos repentinos en pérdida o divergencia completa durante la optimización. Para contrarrestar esta inestabilidad, los profesionales deben usar tamaños de lotes significativamente más grandes, lo que a su vez exige más potencia y memoria computacionales, elevando los costos generales de la capacitación. El trabajo de investigación titulado «Leyes de escala para modelos de lenguaje diferencialmente privados», desarrollado en asociación con Google Deepmind, establece ecuaciones que modelan con precisión estas compensaciones de utilidad de privacidad de cálculo para modelos de idiomas grandes diferencialmente privados. Estas ecuaciones capturan las intrincadas relaciones entre la cantidad de cálculo, el nivel de privacidad alcanzado y la utilidad del modelo resultante, que ofrece una herramienta predictiva para optimizar las configuraciones de capacitación. El desarrollo del documento incluyó un análisis extenso para cuantificar cómo la privacidad diferencial altera la dinámica de la capacitación modelo en comparación con los métodos no privados. Al derivar estas leyes, los autores proporcionan una base para diseñar modelos privados eficientes, lo que permite a los investigadores pronosticar el rendimiento sin una experimentación exhaustiva. Guiado por las ideas de estas leyes de escala, el equipo construyó Vaultgemma como un modelo de 1 mil millones de parámetros basado en la arquitectura de Gemma 2, entrenado completamente desde cero bajo limitaciones de privacidad diferenciales. Los pesos del modelo ahora están disponibles públicamente en plataformas como abrazar Face y Kaggle, acompañado de un informe técnico detallado que explica el proceso de capacitación, los hiperparámetros y los resultados de la evaluación. Este lanzamiento marca el modelo abierto más grande hasta la fecha, lo que permite a los desarrolladores e investigadores de todo el mundo acceder y aprovechar un modelo de lenguaje diferencialmente privado de calidad de producción. La serie Gemma en sí enfatiza la responsabilidad y la seguridad en el desarrollo de la IA, que se alineó bien con los objetivos de incorporar protecciones de privacidad desde el principio. La metodología experimental en la investigación se centró en cuantificar los impactos de diferentes tamaños de modelos, tamaños de lotes y iteraciones de capacitación dentro del marco de privacidad diferencial. Para administrar el gran número de posibles combinaciones, los autores hicieron suposiciones simplificadoras, centrando su análisis en la relación de lote de ruido. Esta relación mide la escala relativa del ruido inducido por la privacidad contra el tamaño del lote utilizado en el descenso de gradiente estocástico. La suposición se mantiene porque el ruido deliberado agregado para la privacidad domina sobre cualquier aleatoriedad inherente del muestreo de datos, lo que permite que la efectividad del aprendizaje del modelo se determine principalmente por esta métrica única. A través de esta lente, la metodología permitió una evaluación sistemática de cómo los ajustes en estos parámetros afectan el rendimiento general. Experimentos integrales evaluaron el rendimiento del modelo en diversos tamaños de modelo y relaciones de ruido por lotes, generando datos empíricos que, cuando se combinan con relaciones deterministas entre variables como el presupuesto de cálculo y el presupuesto de datos, admite consultas específicas. Por ejemplo, las leyes de escala pueden determinar la configuración de capacitación óptima para minimizar la pérdida dada la cómputo fijo, la privacidad y los presupuestos de datos. La pérdida predicha se modela utilizando el tamaño del modelo, el número de iteraciones y la relación de lote de ruido, lo que simplifica la navegación de interacciones complejas entre los presupuestos. Esta estructura proporciona una vía clara para que los profesionales equilibren los recursos de manera efectiva durante la capacitación de modelos privados. Desde una perspectiva de contabilidad de privacidad, la dinámica entre el presupuesto de cálculo, el presupuesto de privacidad y el presupuesto de datos revelan interacciones clave para un tamaño de modelo fijo y recuento de iteraciones. El aumento del presupuesto de privacidad, denotado por el parámetro ε, reduce el nivel de ruido, pero produce rendimientos decrecientes si no se combina con expansiones en presupuestos de cálculo o datos. Específicamente, sin los aumentos correspondientes en las operaciones de punto flotante (FLOPS) o tokens procesados, la relación de lote de ruido mejora solo marginalmente, limitando las ganancias en la utilidad. Esta sinergia subraya la necesidad de una escala coordinada: mejorar la privacidad por sí sola no reduce lo suficiente el ruido efectivo a menos que sea respaldado por más recursos computacionales o datos de capacitación adicionales. Las visualizaciones en la investigación ilustran cómo las configuraciones óptimas cambian con los presupuestos cambiantes. A medida que las restricciones de privacidad y calculador varían, la asignación preferida se mueve entre tamaños de modelo más grandes, tamaños de lotes expandidos o iteraciones adicionales. Por ejemplo, bajo presupuestos de privacidad más estrictos, priorizar lotes más grandes a menudo resulta más efectivo que escalar el tamaño del modelo, ya que mitiga directamente el impacto del ruido. Estas parcelas detallan la pérdida mínima alcanzable para varias combinaciones de presupuesto, junto con las averías de hiperparámetros, como iteraciones, tamaño por lotes y dimensiones del modelo. Dicha granularidad ayuda a identificar no solo la mejor configuración sino también rangos de alternativas viables que ofrecen utilidad comparable, ofreciendo flexibilidad en entornos con recursos limitados. Una visión central de las leyes de escala es la recomendación de entrenar modelos más pequeños con tamaños de lotes sustancialmente más grandes en comparación con los escenarios no privados. Este enfoque aprovecha la importancia de los lotes de gran tamaño en la estabilización de descenso de gradiente estocástico privado diferencial (DP-SGD), un método de optimización común en este dominio. La Insight se aplica ampliamente en diferentes configuraciones, aunque los óptimos exactos se ajustan en función de los presupuestos específicos de privacidad y datos. Comprender estas compensaciones garantiza un uso eficiente de las asignaciones de cálculo y privacidad, evitando configuraciones de derroche. El análisis también destaca la flexibilidad en las opciones, donde múltiples tamaños del modelo pueden lograr pérdidas similares cuando se combinan con las iteraciones apropiadas y los ajustes por lotes. Para construir Vaultgemma, el equipo aplicó las leyes de escala para calcular los fracasos totales requeridos para un modelo de 1 mil millones de parámetros de cómputo derivado de Gemma 2. Luego distribuyeron estos flops a través del tamaño de lote, iteraciones y la longitud de la secuencia para maximizar la utilidad bajo restricciones privadas. Este proceso de asignación involucró simulaciones iterativas utilizando las ecuaciones predictivas para probar varias distribuciones, asegurando la configuración final alineada con la pérdida proyectada más baja. La configuración resultante equilibró la necesidad de mitigación de ruido a través de lotes grandes con iteraciones suficientes para converger de manera efectiva, todo mientras se adhiere al recuento de parámetros de destino. Un desafío notable al unir la investigación de la ley de escala para la capacitación real fue manejar el muestreo de Poisson, un elemento clave de DP-SGD que garantiza garantías de privacidad robustas al aleatorizar la selección de datos. Inicialmente, el equipo cargó datos en lotes uniformes, pero este método ofreció protecciones de privacidad subóptimas debido a un ruido efectivo más alto. Cambio de muestreo de Poisson Garantías mejoradas pero introdujo la variabilidad: los lotes variaron en tamaño, y el procesamiento de datos requería un orden aleatorio. Para resolver estos problemas, adoptaron técnicas de trabajos recientes en DP-SGD escalable, que procesa los datos en lotes de tamaño fijo al rellenar los más cortos o recortar los más largos. Esta adaptación preserva los beneficios de privacidad del muestreo de Poisson sin interrumpir la eficiencia de la tubería de capacitación. La capacitación de Vaultgemma confirmó la precisión de las leyes de escala, con la pérdida final de capacitación alineándose estrechamente con las predicciones de las ecuaciones. Esta validación demuestra la confiabilidad del marco para el pronóstico de los resultados en el desarrollo de modelos privados, proporcionando una guía confiable para esfuerzos futuros. El proceso implicó monitorear las curvas de pérdida durante la capacitación para garantizar la estabilidad, ajustar los hiperparámetros según sea necesario dentro del presupuesto predefinido y verificar que la relación de lote de ruido se mantuvo óptima. Tal correspondencia cercana entre la teoría y la práctica refuerza la utilidad de las leyes en aplicaciones prácticas. En las evaluaciones de rendimiento, Vaultgemma 1B con privacidad diferencial alcanza los niveles de utilidad comparables al modelo GEMMA3 1B no privado y el modelo GPT-2 1.5B. Estas comparaciones cuantifican las demandas de recursos de la capacitación de preservación de la privacidad, que muestran que los métodos actuales producen modelos a la par con arquitecturas no privadas de aproximadamente cinco años antes. Las evaluaciones incluyeron métricas de perplejidad en los datos retenidos, donde las puntuaciones de Vaultgemma reflejan un aprendizaje efectivo a pesar del ruido adicional, destacando el progreso en el cierre de la brecha de servicios públicos a través de un escala optimizada. Las evaluaciones posteriores en puntos de referencia estándar validan aún más las capacidades de Vaultgemma. En Helaswag, el modelo funciona en niveles que coinciden con su contraparte no privada, lo que demuestra una fuerte inferencia de sentido común. Los resultados de Boolq indican una respuesta confiable respondiendo sobre consultas booleanas, mientras que PIQA muestra competencia en las predicciones de interacción física. Las evaluaciones de SocialIQA revelan una sólida comprensión de las normas sociales, Triviaqa confirma la retención de conocimiento para el retiro de objetivos, ARC-C maneja desafíos de razonamiento complejos y ARC-E aborda preguntas de ciencias fáciles de manera efectiva. La inclusión de GPT-2 1.5B en estas comparaciones subraya que los puntajes de referencia de Vaultgemma se alinean con modelos más antiguos no privados de escala similar, ilustrando el estado de los avances de capacitación privada. Vaultgemma proporciona una garantía de privacidad diferencial de nivel de secuencia formal de ε ≤ 2.0 y Δ ≤ 1.1 × 10⁻¹⁰ para secuencias de 1024 tokens extraídos de fuentes de datos heterogéneas. La mezcla de entrenamiento refleja la de Gemma 2, que comprende documentos de longitudes variables preprocesadas dividiendo las largas en múltiples secuencias y empacando las cortas. Esta unidad a nivel de secuencia se adapta al formato de datos, aunque la privacidad a nivel de usuario sería preferible cuando los datos se vinculen directamente con las personas. En la práctica, esta garantía garantiza que las respuestas del modelo a las consultas sigan siendo estadísticamente indistinguibles si una secuencia particular se incluye en la capacitación o no, evitando efectivamente que el modelo aprenda cualquier hecho aislado dentro de una sola secuencia. Sin embargo, los hechos que aparecen en múltiples secuencias aún se pueden aprender, lo que permite la adquisición de conocimiento general sin comprometer la privacidad individual. Complementando las garantías teóricas, las pruebas empíricas evaluaron los riesgos de memorización al provocar Vaultgemma con prefijos de 50 token de documentos de capacitación y verificación de la reproducción de los 50 tokens posteriores. El modelo no exhibió memorización detectable, generando continuaciones no relacionadas que no coincidían con los sufijos originales. Este resultado verifica la efectividad práctica de la privacidad diferencial para suprimir el recuerdo literal, incluso para extractos de entrenamiento potencialmente sensibles. El protocolo de prueba implicó seleccionar diversos prefijos de varias fuentes de datos para cubrir una muestra amplia, asegurando una cobertura integral de las posibles vulnerabilidades. Los reconocimientos para el proyecto se extienden a los equipos de privacidad de Gemma y Google, con agradecimiento específico a Peter Kairouz, Brendan McMahan y Dan Ramage por comentarios sobre el anuncio. Mark Simborg y Kimberly Schwede ayudaron con las visualizaciones, mientras que los equipos de Google más amplios admitieron el diseño de algoritmos, la infraestructura y el mantenimiento de la producción. Direct contributors, listed alphabetically, include Borja Balle, Zachary Charles, Christopher A. Choquette-Choo, Lynn Chua, Prem Eruvbetine, Badih Ghazi, Steve He, Yangsibo Huang, Armand Joulin, George Kaissis, Pritish Kamath, Ravi Kumar, Daogao Liu, Ruibo Liu, Pasin Manurangsi, Thomas Mesnard, Andreas Terzis, Tris Warkentin, Da Yu y Chiyuan Zhang.
