Los fabricantes de chips Nvidia y Groq entró La semana pasada firmó un acuerdo de licencia de tecnología no exclusiva para acelerar y reducir el costo de ejecutar grandes modelos de lenguaje previamente entrenados utilizando los chips de unidad de procesamiento de lenguaje de Groq. Los chips de la unidad de procesamiento de lenguaje de Groq impulsan consultas de chatbot en tiempo real durante la etapa de inferencia de las operaciones de IA, distintas del proceso de entrenamiento del modelo. Estos chips permiten que los modelos de IA generen respuestas rápidamente en aplicaciones como los chatbots. Los chips de Nvidia actualmente manejan gran parte de la fase de entrenamiento de IA en toda la industria. La inferencia representa un cuello de botella que Nvidia no controla por completo. Los chips de Groq se dirigen específicamente a esta etapa de inferencia, donde los modelos de IA aplican el conocimiento adquirido durante el entrenamiento para producir resultados sobre nuevos datos. Groq diseña sus chips de inferencia para trasladar los modelos de IA de la experimentación en laboratorio al despliegue práctico. La inferencia ocurre después del entrenamiento, cuando los modelos procesan entradas invisibles para generar resultados en escenarios del mundo real. Los inversores dirigen fondos hacia nuevas empresas de inferencia para conectar la investigación de IA con aplicaciones cotidianas a gran escala. El periodista de Axios, Chris Metinko, cubrió esta tendencia de inversión a principios de este año. Las capacidades de inferencia mejoradas permiten a las empresas llevar a cabo proyectos empresariales adicionales de IA a mayor escala. Estas iniciativas aumentan la demanda de procesos de formación, lo que a su vez eleva la necesidad de los chips de formación de Nvidia. Los modelos de IA funcionan a través de dos fases: entrenamiento e inferencia. Durante el entrenamiento, los modelos procesan extensos conjuntos de datos que incluyen texto, imágenes y videos para construir representaciones internas del conocimiento. En la fase de inferencia, los modelos identifican patrones dentro de datos nunca antes vistos y producen respuestas a indicaciones específicas basadas en esos patrones. Este proceso se asemeja a un estudiante que estudia el material para un examen y luego aplica ese conocimiento durante la prueba. Groq originado en 2016 bajo el liderazgo fundador de Jonathan Ross. La compañía no tiene ninguna relación con el chatbot xAI de Elon Musk llamado Grok. Jonathan Ross, el presidente de Groq, Sunny Madra, y otros empleados seleccionados planean unirse a Nvidia, como se indica en Sitio web de Groq.. Groq tiene la intención de mantener operaciones independientes después de estas transiciones. El acuerdo constituye un “acuerdo de licencia de tecnología de inferencia no exclusivo”. Este acuerdo se asemeja a una adquisición o adquisición. Stacy Rasgon describió la estructura en una nota a los clientes como manteniendo la ficción de la competencia, según CNBC. Las empresas emplean este tipo de estructuras de acuerdos para navegar las revisiones antimonopolio y al mismo tiempo conseguir personal especializado en inteligencia artificial.
- Ejemplo de Microsoft: Reclutó a Mustafa Suleyman, cofundador de DeepMind.
- Ejemplo de Google: Se volvió a contratar a Noam Shazeer, coinventor de la arquitectura Transformer fundamental para los modelos GPT.
Jonathan Ross, que ahora se muda a Nvidia, desarrolló anteriormente la Unidad de Procesamiento Tensor de Google, conocida como TPU. Los costos de implementación determinan hasta qué punto las empresas utilizan modelos desarrollados a través de esfuerzos de capacitación previos.
