Tecnología de micrones anunciado está enviando a los clientes muestras de su módulo de memoria SOCAMM2 de 192 GB. El nuevo producto, desarrollado para centros de datos de IA, utiliza la tecnología LPDDR5X para aumentar la capacidad y el rendimiento al tiempo que reduce el consumo de energía. El módulo, un módulo de memoria adjunto de compresión de contorno pequeño (SOCAMM2), proporciona 192 gigabytes de capacidad, la más alta disponible para este factor de forma en los centros de datos. Se trata de un aumento de capacidad del 50 por ciento con respecto a la generación anterior dentro de un espacio físico idéntico. El diseño de alta densidad es fundamental para los servidores de IA con espacio limitado, ya que permite más memoria por sistema para admitir modelos de IA de gran tamaño. Al concentrar la capacidad, el módulo aborda directamente los crecientes requisitos de memoria de las cargas de trabajo de inteligencia artificial modernas, que dependen de vastos conjuntos de datos y extensos recuentos de parámetros para funcionar de manera efectiva. En esencia, SOCAMM2 utiliza LPDDR5X DRAM, una tecnología originaria del sector móvil ahora adaptada para uso empresarial. La memoria se produce con el proceso DRAM 1-gamma de Micron, su nodo de fabricación más avanzado. Este proceso produce una mejora de la eficiencia energética de más del 20 por ciento en comparación con las generaciones anteriores. La combinación de la arquitectura de bajo consumo de LPDDR5X con el proceso de fabricación avanzado crea una solución de memoria diseñada específicamente para reducir las importantes demandas de energía de la computación de IA, transformando la DRAM de bajo consumo en un componente de clase de centro de datos con mayor robustez y escalabilidad. Las métricas de rendimiento incluyen velocidades de transferencia de datos que alcanzan hasta 9,6 gigabits por segundo (Gbps), lo que proporciona el rendimiento necesario para evitar cuellos de botella de datos en los sistemas de IA. Una característica principal es su ahorro de energía, ya que el módulo reduce el consumo de energía en más de dos tercios en comparación con implementaciones equivalentes de RDIMM (módulo de memoria dual en línea registrado). Como los RDIMM son el estándar de servidor, esta reducción ofrece ahorros operativos sustanciales. Un menor consumo de energía disminuye los costos de electricidad y disminuye la presión sobre los sistemas de enfriamiento de los centros de datos, un factor importante en el costo total de propiedad y la sostenibilidad de la infraestructura. El aumento de la capacidad de memoria mejora directamente el rendimiento de las aplicaciones de IA, especialmente para tareas de inferencia en tiempo real. La disponibilidad de 192 GB en un módulo puede reducir el «tiempo hasta el primer token» (TTFT) en más del 80 por ciento. TTFT es una métrica de latencia clave en la IA generativa, que mide el retraso antes de que un modelo comience a generar una respuesta. Para servicios interactivos como los asistentes de IA, este retraso reducido es vital. La reducción significativa de la latencia inicial permite que los modelos de IA entreguen resultados mucho más rápido, lo que mejora la capacidad de respuesta y la experiencia del usuario de estas aplicaciones sensibles a la latencia. El estándar SOCAMM2 es inherentemente modular, un diseño que ofrece ventajas prácticas para gestionar grandes entornos informáticos. Esta modularidad mejora la capacidad de servicio del servidor, permitiendo un reemplazo o actualización más fácil y rápida de módulos de memoria individuales con un tiempo de inactividad mínimo del sistema. En grandes clústeres de centros de datos, este mantenimiento simplificado es esencial para mantener una alta disponibilidad. El diseño también crea un camino claro para la futura expansión de la capacidad, lo que permitirá a los operadores escalar sus recursos de memoria en consonancia con las crecientes demandas de los modelos de IA de próxima generación, protegiendo así las inversiones en hardware a lo largo del tiempo. El desarrollo de la memoria del servidor de bajo consumo fue un esfuerzo conjunto con NVIDIArealizado durante un período de cinco años. Esta asociación estratégica posiciona a SOCAMM2 como una solución clave para las plataformas de IA de próxima generación, y la colaboración sugiere un diseño optimizado para la integración dentro del ecosistema de Nvidia. El producto está dirigido específicamente al mercado de centros de datos de IA, donde la demanda de memoria está aumentando debido al aumento de la IA generativa y los modelos de contexto masivo. Estos sistemas avanzados de IA requieren una memoria amplia, rápida y altamente eficiente para funcionar de manera efectiva, una necesidad para la cual el módulo está diseñado. Micron ha comenzado a probar el módulo de 192 GB con los clientes, lo que permite a los socios probar y validar la tecnología en sus propios sistemas. La producción de alto volumen está programada para alinearse con los cronogramas de lanzamiento de los clientes para garantizar la disponibilidad en el mercado para nuevas implementaciones de servidores. La considerable eficiencia energética del módulo respalda el cambio de la industria de centros de datos en general hacia una infraestructura más sustentable y con energía optimizada. Este enfoque ayuda a los operadores a gestionar los costos financieros y ambientales asociados con la rápida expansión global de las cargas de trabajo de inteligencia artificial y sus huellas de hardware asociadas.
