Convai, utilizando la nueva tecnología NVIDIA ACE, está preparada para elevar los NPC de IA a través de nuevos avances en IA generativa. Su demostración inicial, con una tienda de ramen realista y los personajes Jin y Kai, fue impresionante. Ahora, Convai está revelando una nueva fase en la tecnología de personajes impulsada por IA. Esta innovación permite a los personajes entablar conversaciones auténticas con los jugadores dentro de los juegos, mejorando la interacción del jugador.
Con la presentación de capacidades mejoradas en generación de acciones, percepción y conversación, Convai ha logrado avances significativos en la creación de experiencias de juego inmersivas. Estos desarrollos prometen un salto transformador en la forma en que los jugadores interactúan con los entornos y personajes del juego, lo que marca un avance notable para la tecnología AI NPC.
Anuncios de CES 2024: Productos más interesantes
Convai da la bienvenida a los NPC con IA con NVIDIA ACE
NVIDIA ACE representa un paso innovador en la tecnología de juegos. Imagine un escenario en el que los jugadores puedan entablar conversaciones inteligentes, espontáneas y dinámicas con personajes no jugables (NPC) en los juegos. Estos NPC poseerían personalidades en evolución, animaciones faciales precisas y la capacidad de interactuar en el idioma nativo del jugador. Este concepto se está haciendo realidad gracias a las tecnologías de IA generativa.
En COMPUTEX 2023, NVIDIA anunció el futuro de los NPC con NVIDIA Avatar Cloud Engine (ACE) para juegos. NVIDIA ACE for Games es un servicio de fundición de modelos de IA personalizado diseñado para revolucionar los juegos al incorporar personajes no jugables con interacciones de lenguaje natural impulsadas por IA. Este desarrollo está preparado para transformar la experiencia de juego, haciendo que las interacciones con los personajes del juego sean más realistas e inmersivas.
La IA generativa tiene el potencial de revolucionar la interactividad que los jugadores pueden tener con los personajes del juego y aumentar drásticamente la inmersión en los juegos. Aprovechando nuestra experiencia en IA y décadas de experiencia trabajando con desarrolladores de juegos, NVIDIA encabeza el uso de IA generativa en juegos.
-John Spitzer, vicepresidente de desarrollo y tecnología de rendimiento de NVIDIA
NVIDIA ACE para desarrolladores
NVIDIA ACE for Games está allanando el camino para que los desarrolladores de middleware, herramientas y juegos incorporen capacidades avanzadas de IA. A través de esta plataforma, pueden crear e implementar modelos personalizados de inteligencia artificial de voz, conversación y animación en su software y juegos, accesibles tanto en entornos de nube como de PC.
Los modelos básicos optimizados de IA integrales de NVIDIA ACE para juegos incluyen:
- NVIDIA NeMo: Esto ofrece modelos de lenguaje fundamentales junto con herramientas de personalización de modelos, lo que permite a los desarrolladores perfeccionar aún más los modelos para adaptarlos a los personajes de su juego. Este modelo de lenguaje grande (LLM) personalizable facilita la creación de historias y personalidades de personajes únicas, adaptadas al mundo de juego de un desarrollador. NeMo Guardrails también permite a los desarrolladores establecer reglas programables para los NPC, asegurando que las interacciones de los jugadores sean consistentes con el contexto de una escena.
- NVIDIA Riva: Amplía las capacidades de reconocimiento automático de voz (ASR) y texto a voz (TTS), fomentando conversaciones de voz en vivo integradas con NVIDIA NeMo. Esto facilita una interacción fluida entre los jugadores y los personajes del juego.
- NVIDIA Omniverse Audio2Face: Una característica destacada, Audio2Face genera animaciones faciales expresivas para los personajes del juego a partir de solo una fuente de audio. Con los conectores Omniverse para Unreal Engine 5, los desarrolladores pueden agregar directamente animaciones faciales a los personajes MetaHuman, mejorando significativamente el realismo y la expresividad en el juego.
Estos componentes de NVIDIA ACE for Games representan un avance sustancial en el desarrollo de juegos, ofreciendo herramientas para crear experiencias de juego más realistas e interactivas. Este conjunto de herramientas subraya el compromiso de NVIDIA de hacer avanzar la industria del juego a través de aplicaciones innovadoras de IA.
¿Cómo funciona NVIDIA ACE?
NVIDIA ACE for Games opera de una manera que demuestra sus extraordinarias capacidades y ofrece una visión del futuro del desarrollo de NPC en los juegos. Para ilustrar esto, NVIDIA colaboró con Convai, una startup de NVIDIA Inception dedicada a crear e implementar personajes de IA en juegos y mundos virtuales. Esta asociación fue fundamental para optimizar e integrar los módulos ACE en la plataforma Convai.
La demostración de Kairos, una muestra de NVIDIA ACE para juegos, utilizó varias tecnologías de NVIDIA:
Con NVIDIA ACE for Games, las herramientas de Convai pueden lograr la latencia y la calidad necesarias para que los personajes no reproducibles de IA estén disponibles para casi todos los desarrolladores de una manera rentable.
-Purnendu Mukherjee, fundador y director ejecutivo de Convai
Se empleó NVIDIA Riva para las funciones de voz a texto y texto a voz, NVIDIA NeMo impulsó la IA conversacional y Audio2Face se usó para la animación facial impulsada por IA derivada de entradas de voz. Estos módulos se incorporaron perfectamente a la plataforma de servicios Convai, luego se integraron con Unreal Engine 5 y MetaHuman, culminando con la creación de Jin, un personaje de la escena Ramen Shop.
Esta escena, junto con Jin, fue creada por el equipo artístico de NVIDIA Lightspeed Studios y renderizada íntegramente en Unreal Engine 5. La renderización utilizó NVIDIA RTX Direct Illumination (RTXDI) para iluminación y sombras con trazado de rayos, y DLSS para optimizar la velocidad de fotogramas y la imagen. calidad.
La demostración en tiempo real de Jin y su Ramen Shop no solo muestra las capacidades de las tarjetas gráficas GeForce RTX, las tecnologías NVIDIA RTX y NVIDIA ACE para juegos, sino que también ejemplifica el potencial futuro de los juegos que utilizarán esta tecnología innovadora.
