En el Congreso Mundial Móvil 2024, Qualcomm presenta su último avance en capacidades de inteligencia artificial para dispositivos móviles con la integración de la tecnología LoRA AI en el silicio de la serie Snapdragon, meticulosamente diseñado para teléfonos Android. Entre las características notables mostradas para el buque insignia Snapdragon 8 Gen 3, Qualcomm ha mostrado extraordinarias funcionalidades de IA, que abarcan edición de medios activada por voz, generación de imágenes en el dispositivo empleando Difusión Estable y un asistente virtual enriquecido que aprovecha extensos modelos de lenguaje adquiridos de líderes de la industria como como Meta.
¿Qué es LoRA?
Qualcomm está profundizando en el ámbito de la generación y manipulación de imágenes creativas con la introducción de modelos de IA LoRA. Las recientes demostraciones de Qualcomm han puesto de relieve logros innovadores, como la consecución de la wLa generación de texto a imagen más rápida del mundo en un teléfono inteligente utilizando la tecnología Stable Diffusion. Actualmente, la empresa ofrece una vista previa de las capacidades de generación de imágenes impulsadas por LoRA.
LoRA, abreviatura de Low-Rank Adaptation, presenta un enfoque novedoso para la generación de imágenes distinto de las herramientas de IA generativa convencionales como DALL·E. Desarrollado por Microsoft, LoRA aborda los desafíos inherentes asociados con el entrenamiento de modelos de IA, incluidos los altos costos, los problemas de latencia y los exigentes requisitos de hardware.
El principio básico de LoRA gira en torno a reducir significativamente la complejidad del modelo, minimizando así el uso de memoria y mejorando la eficiencia del entrenamiento. Al centrarse en segmentos específicos del modelo y optimizar el recuento de parámetros, LoRA agiliza el proceso de adaptación de los modelos de texto a imagen, lo que da como resultado un rendimiento acelerado y un consumo de recursos reducido.
Con el tiempo, la técnica de destilación LoRA se ha integrado perfectamente en el modelo de Difusión Estable para generar imágenes a partir de indicaciones textuales. Las ganancias de eficiencia inherentes y la adaptabilidad mejorada que ofrecen los modelos basados en LoRA los hacen particularmente adecuados para su implementación en teléfonos inteligentes, alineándose con la visión de Qualcomm de experiencias móviles impulsadas por IA.
Si bien los modelos de difusión estable han sido aclamados por su capacidad para producir imágenes y texto de alta fidelidad, Un inconveniente notable ha sido el gran tamaño de los archivos, lo que plantea desafíos para el almacenamiento y la distribución.. Aquí es donde LoRA emerge como una técnica de entrenamiento fundamental, que permite ajustar los modelos de difusión estable manteniendo tamaños de archivo manejables.
Los modelos LoRA, caracterizados por su tamaño compacto, representan un gran avance en la optimización de modelos. Estos modelos, que son esencialmente versiones refinadas de los modelos de puntos de control estándar, cuentan con tamaños de archivo significativamente reducidos que van de 2 a 500 MB, lo que ofrece una solución práctica para los usuarios que buscan un equilibrio entre el tamaño del modelo y la eficiencia del entrenamiento.
Configuración de ajuste fino de LoRA
Los modelos de IA de LoRA ofrecen una variedad de configuraciones de ajuste, lo que permite a los usuarios personalizar sus resultados generados por IA de acuerdo con preferencias y requisitos específicos. Estas configuraciones se pueden clasificar en varios tipos, cada una de las cuales atiende a distintos casos de uso y objetivos.
Creando personajes específicos con modelos LoRA AI
Los modelos de IA de Character LoRA están específicamente entrenados en personajes individuales, como los de dibujos animados, videojuegos u otros medios. Al aprovechar los datos de entrenamiento específicos de cada personaje, estos modelos destacan por replicar con precisión la apariencia y las características únicas asociadas con cada personaje.
La aplicación de un modelo de IA LoRA de personajes facilita la generación rápida de personajes con rasgos auténticos, lo que los hace ideales para ilustraciones de IA, arte conceptual de personajes y hojas de referencia. Dependiendo del entrenamiento del modelo, puede reproducir personajes con diversos atuendos, peinados o expresiones faciales. Además, ciertos modelos de IA LoRA de personajes permiten a los usuarios colocar a sus personajes seleccionados en nuevos contextos o vestimentas, agregando una capa adicional de versatilidad.
Los modelos de personajes LoRA AI abarcan una amplia gama de personajes de franquicias populares, así como personajes de anime y cómics. Además, estos modelos se pueden aplicar a personajes originales siempre que haya suficientes datos de entrenamiento. Si bien se están realizando experimentos con datos de entrenamiento más bajos, generalmente se recomienda utilizar modelos de IA LoRA de personajes entrenados en al menos 10 a 20 imágenes diferentes para mejorar la diversidad y la calidad de los personajes generados.
Estilo constante con los modelos LoRA AI
Los modelos Style LoRA AI se centran en capturar y replicar estilos artísticos específicos en lugar de personajes u objetos individuales. Estos modelos generalmente se entrenan en las obras artísticas de un artista en particular, lo que permite a los usuarios infundir a sus creaciones el estilo característico de ese artista.
La versatilidad de los modelos de estilo LoRA AI radica en su capacidad para aplicar varios estilos artísticos, que van desde la estética de espectáculos animados hasta pinturas de acuarela y arte lineal. Al aprovechar estos modelos, los usuarios pueden dotar a sus obras de arte generadas por IA de un estilo distinto y reconocible, diferenciándolas de los resultados convencionales.
Lo que distingue a los modelos Style LoRA AI es su compatibilidad con los puntos de control de difusión estable estándar, lo que permite a los usuarios integrarlos perfectamente en sus flujos de trabajo creativos. Por ejemplo, combinar un punto de control de realismo con un modelo de IA LoRA de estilo pictórico puede producir imágenes realistas con un toque pictórico, lo que demuestra el potencial sinérgico de estos modelos.
Poses constantes con modelos LoRA AI
Presentamos los modelos Pose LoRA AI, diseñados para Manipule con precisión las poses de los personajes dentro de las escenas generadas. Con Pose LoRA AI, los usuarios pueden crear sin esfuerzo composiciones dinámicas con poses y acciones específicas, escenarios que a menudo son difíciles de lograr mediante métodos convencionales de ingeniería rápida.
A diferencia de otros modelos de LoRA AI que se centran en el estilo o las características, los modelos Pose LoRA AI priorizan la articulación de las poses de los personajes. Por ejemplo, cuando se aplica a un personaje humanoide, un modelo Pose LoRA AI generará una variedad de poses como correr, saltar o sentarse, preservando al mismo tiempo las características, la vestimenta y el estilo inherentes del personaje.
Los modelos Pose LoRA AI ofrecen a los usuarios un mayor control sobre sus escenas generadas sin la necesidad de soluciones complejas como ControlNet. Al aprovechar estos modelos, los usuarios pueden infundir dinamismo e intriga a sus creaciones a través de modificaciones simples al mensaje original.
Estilos de ropa con modelos LoRA AI
Otra herramienta indispensable en el arsenal de los modelos LoRA AI es la ropa LoRA. Este modelo especializado es Diseñado para alterar la vestimenta y los accesorios de los personajes sin problemas. Con Clothing LoRA AI, los usuarios pueden adornar fácilmente a los personajes con una gran cantidad de prendas, que van desde estilos contemporáneos hasta históricos.
Una de las ventajas notables de los modelos de IA LoRA de ropa es su universalidad: se pueden aplicar a cualquier personaje, lo que permite a los usuarios experimentar con una amplia gama de estilos y diseños utilizando un solo modelo. Por ejemplo, los usuarios pueden crear fácilmente escenas con personajes adornados con atuendos tradicionales indios aplicando un modelo de ropa elegido, logrando así una transformación estética cultural instantánea.
Diseño de objetos con modelos LoRA AI
El alcance de los objetos que se pueden crear con estos modelos depende del modelo específico utilizado y de la indicación proporcionada por el usuario. Modelos de IA de objetos LoRA extenderse más allá de los objetos tangibles para abarcar elementos más abstractos, como elementos de interfaz de usuario (UI) para juegos o sitios web. Esta versatilidad resulta invaluable para crear experiencias visuales coherentes en diferentes proyectos.
Los modelos de IA de Object LoRA sirven como herramientas indispensables para artistas, desarrolladores de juegos, diseñadores web y otros profesionales creativos que buscan generar de manera eficiente activos diseñados a medida. La capacidad de producir objetos con diseños personalizados permite a los usuarios explorar y experimentar con diversos conceptos visuales hasta encontrar el ajuste perfecto para sus proyectos.
Encontrar modelos LoRA
Los modelos LoRA, conocidos por su ligereza y versatilidad, se pueden encontrar fácilmente en varios repositorios de código abierto como Civitai y Hugging Face. Accesibles para todos, estos modelos ofrecen una gran cantidad de posibilidades y se pueden obtener sin esfuerzo en unos sencillos pasos. Una de las características más destacadas de los modelos LoRA es su tamaño compacto, que a menudo no supera unos pocos megabytes, lo que los hace excepcionalmente manejables y adaptables a diversas aplicaciones.
Instalación de modelos LoRA
Al seleccionar los modelos LoRA deseados para su utilización, el siguiente paso implica su instalación en el directorio apropiado. El proceso puede variar según su configuración específica. Si bien esta guía se centra en la integración de modelos LoRA con la interfaz de usuario web de Automatic1111, es recomendable buscar instrucciones específicas de la plataforma para una integración perfecta.
¿Cómo integrar un modelo LoRA en Automatic1111?
Antes de incorporar los modelos elegidos en la interfaz de usuario web de Automatic1111, es fundamental instalar la extensión LoRA. Independientemente de la plataforma empleada para la generación de imágenes, la instalación de la extensión es un requisito previo. Aquí hay una guía paso a paso para instalar la extensión para Automatic1111:
- Inicie la interfaz de usuario web de Automatic1111.
- Navega hasta el «Extensiones» pestaña y seleccione «Instalar desde URL”de las opciones disponibles.
- Pegue el siguiente enlace en el campo de entrada «URL para el repositorio git de la extensión»: https://github.com/kohya-ss/sd-webui-additional-networks.git
- Clickea en el «Instalar”Botón para iniciar el proceso de instalación.
- Transición al “Instalado» y seleccione la pestaña «Aplicar y reiniciar la interfaz de usuario”, que permite reiniciar la interfaz de usuario web de Automatic1111.
Siguiendo estos pasos, observará nuevas subcarpetas dentro de su directorio «modelos», designadas para almacenar modelos LoRA. Sin embargo, es esencial configurar esta carpeta para permitir que la interfaz de usuario web de Automatic1111 acceda a ella.
- Abre el «Ajustes«Pestaña y navegue hasta la sección» Redes adicionales «.
- Ubique el “Rutas adicionales para buscar modelos LoRA» campo de entrada.
- Pegue la ruta de la carpeta correcta, que normalmente se encuentra en «difusión-estable-webui/modelos/Lora”directorio.
- Haga clic en «Aplicar configuraciones”para finalizar la configuración.
Aunque la extensión LoRA ya está instalada, son necesarios pasos adicionales para iniciar la generación de imágenes. Debe instalar los modelos LoRA reales en la carpeta designada.
Arte tensorial le permite generar imágenes detalladas con Difusión Estable
Utilizando modelos LoRA en Automatic1111
Una vez instalado su modelo LoRA preferido, puede comenzar a crear imágenes con facilidad. Aquí hay una guía para aprovechar los modelos LoRA dentro de la interfaz de usuario web de Automatic1111:
- Inicie la interfaz de usuario web de Automatic1111 y seleccione el modelo de punto de control deseado.
- Asegúrese de incluir la palabra desencadenante de LoRA, si corresponde, en su mensaje. Esta palabra normalmente se proporciona en la descripción del modelo o en el parámetro «Palabras de activación» en Civitai.
- Bajo la «Generar«, haga clic en el botón»Redes adicionales» y navegue hasta el «lora» pestaña.
- Elija el modelo LoRA deseado para insertarlo en su mensaje.
- Ajuste el peso del LoRA si es necesario, modificando el valor predeterminado según los requisitos del modelo.
- Configure sus ajustes de generación en consecuencia.
- Haga clic en el «Generar”Para iniciar el proceso de generación de imágenes.
Al finalizar, observará la aplicación del modelo LoRA a su imagen generada, mejorando la especificidad y singularidad de los conceptos representados. Invertir tiempo y esfuerzo en la configuración de modelos LoRA produce resultados notables, elevando las posibilidades creativas dentro de sus proyectos.
Créditos de imagen: Kerem Gülen/A mitad del viaje
