OpenAI reveló su procesador de inferencia inaugural personalizado, llamado Jalapeño, que fue desarrollado en colaboración con Broadcom. El procesador satisface específicamente los distintos requisitos de los sistemas de inferencia de OpenAI, y la compañía afirma que sus propios modelos de IA contribuyeron a su desarrollo.
El chip aún se encuentra en fase de pruebas, pero los primeros resultados indican una mejora significativa en el rendimiento por vatio en relación con las principales alternativas actuales. La asociación de OpenAI con Broadcom se anunció oficialmente en octubre y la creación de chips personalizados se ha visto como una estrategia para reducir la dependencia de las unidades de procesamiento de gráficos de Nvidia.
Google y Amazon han creado chips personalizados comparables, denominados «aceleradores de IA», para acelerar las tareas de aprendizaje automático. En un podcast interno, el presidente de OpenAI, Greg Brockman, analizó la estrategia de desarrollo de chips de la compañía después de anunciar la asociación con Broadcom. «Tenemos un profundo conocimiento de la carga de trabajo», dijo Brockman. «Realmente hemos estado buscando cargas de trabajo específicas que no están atendidas [y preguntándonos] ¿cómo podemos construir algo que pueda acelerar lo que es posible?»
Jalapeño está diseñado para tareas de inferencia, que implican la aplicación de modelos de IA prediseñados basados en comandos del usuario. Según OpenAI, el chip ofrece bajos costos operativos al administrar modelos de codificación en tiempo real. Sin embargo, los procesos que requieren un alto rendimiento, como el entrenamiento previo, aún pueden requerir hardware Nvidia. Incluso reducciones menores en los costos de inferencia podrían mejorar significativamente la rentabilidad de OpenAI.
Optimizar el sistema de inferencia es fundamental para la economía futura de la IA, y la empresa está ampliando sus capacidades en todo el conjunto tecnológico. OpenAI está desarrollando simultáneamente productos como Codex y los modelos que los respaldan, además de establecer centros de datos para la implementación de modelos. Se espera que el cambio al silicio personalizado mejore aún más estas eficiencias operativas.
OpenAI detalló que su estrategia abarca el diseño de componentes de infraestructura, incluida la arquitectura de chips, kernels, sistemas de memoria, redes, programación y sistemas de implementación. Este enfoque integral permite la optimización en todas las capas de tecnología, con el objetivo de ofrecer modelos más rápidos, confiables y rentables para los usuarios.
