NVIDIA presentó ChatRTX, un chatbot de IA experimental que permite a los usuarios interactuar con sus datos locales en PC con Windows.
Este programa se destacó por su capacidad para ejecutar grandes modelos de lenguaje (LLM) directamente en la máquina de un usuario, ofreciendo una combinación única de privacidad y potencia de procesamiento. Ahora, ChatRTX está ganando aún más capacidades con la incorporación del modelo Gemma de Google y la compatibilidad con consultas de voz.
ChatRTX ofrece chats locales con ambiciones globales
Los chatbots abundan hoy en día, con asistentes virtuales como Siri y Alexa integrados en muchos dispositivos. Sin embargo, estos asistentes dependen del procesamiento basado en la nube, lo que significa que sus consultas y datos viajan a servidores remotos. ChatRTX adopta un enfoque diferente. Crea un servidor de chatbot local al que se puede acceder a través de su navegador web, lo que le permite interactuar con sus datos sin tener que salir de su PC.
Este procesamiento local ofrece varias ventajas. En primer lugar, garantiza que la privacidad de sus datos permanezca bajo su control. En segundo lugar, evita la necesidad de una conexión constante a Internet, lo que hace que ChatRTX se pueda utilizar incluso en escenarios fuera de línea.
Ejecuta Gemma y ChatGLM3
Inicialmente, ChatRTX ofrecía a los usuarios la posibilidad de elegir entre dos LLM: Mistral y Llama 2. Estos modelos permitieron a los usuarios analizar documentos, generar formatos de texto creativos y responder preguntas basadas en la información que proporcionaron. Con la última actualización, ChatRTX amplía significativamente su arsenal LLM. La primera gran adición es El modelo Gemma de Google. Diseñado para computadoras portátiles y de escritorio potentes, Gemma trae las capacidades de la investigación de inteligencia artificial de Google directamente a ChatRTX. Esta integración simplifica el proceso de uso de Gemma localmente, ofreciendo a los usuarios una poderosa herramienta para tareas como recuperación de información y respuesta a preguntas de sus colecciones de datos personales.
Junto con Gemma, ChatRTX ahora admite ChatGLM3, un LLM único por sus capacidades bilingües. ChatGLM3 puede comprender y generar texto tanto en inglés como en chino, lo que lo convierte en una herramienta valiosa para los usuarios que trabajan con datos en estos idiomas. Esta ampliación de las opciones de LLM permite a los usuarios elegir el modelo adecuado para sus necesidades específicas, ya sea analizar documentos en inglés, comprender páginas web en chino o generar formatos de texto creativos.
Chatear con tu máquina sin teclado
Otra incorporación interesante a ChatRTX es su nueva capacidad para comprender consultas de voz. Esta funcionalidad está impulsada por Susurro, un avanzado sistema automático de reconocimiento de voz. Whisper utiliza IA para convertir el lenguaje hablado en texto, lo que permite a los usuarios interactuar con ChatRTX mediante comandos de voz. Este enfoque manos libres abre las puertas a una forma más natural e intuitiva de interactuar con sus datos locales.
Imagine pedirle a ChatRTX que resuma un documento que escaneó o solicitar información de una hoja de cálculo usando solo su voz. Con la integración de Whisper, estos escenarios se vuelven realidad dentro del entorno ChatRTX.
Cómo utilizar ChatRTX
ChatRTX está diseñado para PC con Windows 11, pero tiene demandas de hardware específicas. Para ejecutar el programa sin problemas, necesitará una computadora equipada con:
- Al menos 16 GB de RAM
- Una potente tarjeta gráfica NVIDIA GeForce RTX serie 30 o 40 con un mínimo de 8GB de VRAM
Descarga y configuración
- Dirígete al sitio web oficial de NVIDIA. Busca el Descargar ChatRTX sección.
- Descargue el instalador de ChatRTX y siga las instrucciones que aparecen en pantalla para completar el proceso de configuración.
Preparando tus datos
ChatRTX interactúa con la información almacenada en su máquina local. Antes de usar ChatRTX, asegúrese de que los datos que desea analizar estén organizados y sean accesibles. Esto podría implicar almacenar sus documentos, correos electrónicos, hojas de cálculo y otros archivos relevantes en una carpeta designada.
Lanzar ChatRTX y elegir un LLM
- Una vez que se complete la configuración, inicie ChatRTX. El programa crea un servidor local accesible a través de su navegador web.
- ChatRTX ofrece múltiples modelos de lenguajes grandes (LLM) para elegir. Inicialmente, proporciona Mistral y Llama 2, cada uno con sus puntos fuertes en el análisis de documentos, generación de texto creativo y respuesta a preguntas. La última actualización presenta el modelo Gemma de Google y ChatGLM3, un modelo bilingüe para datos en inglés y chino.
Alimentando sus datos a ChatRTX
- ChatRTX no accede directamente a todo su disco duro. En su lugar, deberá especificar la carpeta que contiene los datos que desea que analice el LLM. Luego, el programa cargará la información en su biblioteca.
Interactuando con ChatRTX
Hay dos formas principales de interactuar con ChatRTX:
-
Indicaciones de texto: Puede escribir sus preguntas o instrucciones directamente en la interfaz ChatRTX. Formule sus indicaciones de forma clara y concisa, especificando qué desea que el LLM haga con sus datos.
-
Consultas de voz (nueva función): La última actualización presenta compatibilidad con consultas de voz impulsadas por Whisper, un sistema de reconocimiento automático de voz. Haga clic en el ícono del micrófono en ChatRTX y diga su pregunta o instrucción. Whisper convertirá su voz en texto, permitiéndole interactuar con ChatRTX con manos libres.
Una vez que haya proporcionado a ChatRTX sus datos y haya proporcionado un mensaje o pregunta, el LLM elegido analizará la información y entregará sus resultados dentro de la interfaz de ChatRTX. El formato de los resultados dependerá del tipo de mensaje que proporcionó. Podría ser un documento resumido, una respuesta a su pregunta o incluso un formato de texto generado creativamente según sus instrucciones.
A medida que NVIDIA continúe desarrollando ChatRTX, será interesante ver cómo evoluciona la plataforma.
¿Se integrarán LLM aún más potentes en el futuro?
¿Podría ChatRTX ampliar su funcionalidad más allá del análisis de texto e incorporar herramientas para el procesamiento de imágenes o audio?
Sólo el tiempo lo dirá, pero la actualización actual de ChatRTX demuestra el compromiso de NVIDIA de ampliar los límites de la interacción local con IA.
Crédito de imagen destacada: Nvidia