Durante su conferencia GTC, NVIDIA desvelado NVIDIA NIM, un Plataforma de software diseñada para simplificar la integración de modelos de IA personalizados y previamente entrenados en entornos operativos.. NIM aprovecha la experiencia de NVIDIA en inferencia y optimización de modelos, ofreciendo un enfoque accesible al fusionar cualquier modelo seleccionado con un motor de inferencia finamente ajustado y encapsulando esta combinación dentro de un contenedor, proporcionándolo posteriormente como un microservicio.
NVIDIA sostiene que Lo que normalmente requeriría que los desarrolladores logren varias semanas o meses en términos de implementación de contenedores, se puede acelerar a través de NIM., especialmente en escenarios en los que una empresa puede carecer de experiencia interna en IA. El objetivo estratégico de NVIDIA con NIM es fomentar una red de contenedores preparados para IA que se construyen sobre su infraestructura de hardware, con estos microservicios especializados actuando como el principal componente de software para las organizaciones ansiosas por acelerar sus iniciativas de IA.
Actualmente, NIM extiende el soporte a modelos originados en NVIDIA, A121, Adept, Cohere, Getty Images y Shutterstock, además de modelos de código abierto de Google, Hugging Face, Meta, Microsoft, Mistral AI y Stability AI.. NVIDIA colabora activamente con Amazon, Google y Microsoft para hacer que los microservicios NIM sean accesibles a través de SageMaker, Kubernetes Engine y Azure AI, correspondientemente. Estos servicios están preparados para incorporarse a plataformas como Deepset, LangChain y LlamaIndex.
“Creemos que la GPU NVIDIA es el mejor lugar para realizar inferencias de estos modelos en […]y creemos que NVIDIA NIM es el mejor paquete de software, el mejor tiempo de ejecución, para que los desarrolladores puedan desarrollar aplicaciones empresariales”, expresó Manuvir Das, jefe de informática empresarial de NVIDIA, durante una rueda de prensa previa a Los anuncios de hoy.
En cuanto al motor de inferencia, NVIDIA planea implementar el Servidor de inferencia Tritonjunto a TensorRT y TensorRT-LLM para sus operaciones. Entre las ofertas que ofrece NVIDIA a través de NIM se encuentran Riva, diseñado para adaptar modelos de voz y traducción, cuOptar para mejorar los procesos de enrutamiento, y el modelo Tierra-2desarrollado para simulaciones avanzadas de pronóstico meteorológico y climático.
NVIDIA apuesta por ampliar su suite de servicios, introduciendo nuevas funciones de forma progresiva. Una próxima incorporación es el operador NVIDIA RAG LLM como servicio NIMdestinado a simplificar la creación de chatbots generativos de IA capaces de incorporar datos personalizadosfacilitando significativamente el proceso de desarrollo.
Al resaltar la importancia de la comunidad y las asociaciones, la conferencia también destacó los compromisos con empresas líderes como Box, Cloudera, Cohesity, Datastax, Dropbox y NetApp utilizan actualmente servicios NIM.
“Las plataformas empresariales establecidas cuentan con una mina de oro de datos que pueden transformarse en copilotos de IA generativa. Creados con nuestro ecosistema de socios, estos microservicios de IA en contenedores son los pilares para que las empresas de todos los sectores se conviertan en empresas de IA”, afirmó Jensen Huang, director ejecutivo de NVIDIA.
¿Qué hace realmente NVDIA NIM?
Fundamentalmente, un NIM constituye un contenedor lleno de microservicios. Este contenedor es capaz de incorporar cualquier tipo de modelo, desde código abierto hasta propietario, siempre que funcione en una GPU NVIDIA, ya sea alojada en la nube o simplemente dentro de una computadora portátil. Como consecuenciael contenedor se puede implementar en cualquier entorno que admita contenedores, incluidas configuraciones de Kubernetes en la nube, servidores Linux o incluso dentro de marcos de función como servicio sin servidor.. NVIDIA está lista para introducir una función sin servidor en su próximo ai.nvidia.com portal, que ofrece a los desarrolladores una vía para interactuar con NIM antes de su implementación.
Es importante tener en cuenta, NIM no pretende suplantar ninguna de las metodologías de entrega de modelos anteriores de NVIDIA. En cambio, es un contenedor especializado que incluye un modelo altamente refinado diseñado para las GPU NVIDIA, junto con las tecnologías esenciales para mejorar el rendimiento de la inferencia.
La cuestión urgente se refiere a la transición a la producción. ¿Cómo se pueden avanzar los prototipos iniciales, desarrollados con nuestra asistencia, para ofrecer resultados comerciales tangibles a través de la implementación de producción utilizando estos modelos? Nvidia, junto con un consorcio de proveedores de datos líderes, ve a NIM como una solución a este dilema. La funcionalidad de la base de datos de vectores es fundamental para activar RAG, y es compatible con varios proveedores de bases de datos de vectores, incluidos Apache Lucene, Datastax, Faiss, Kinetica, Milvus, Redis y Weaviate.
Crédito de la imagen destacada: Kerem Gülen/DALL-E 3
