Ollama, una herramienta gratuita de código abierto, permite el funcionamiento de varios modelos de lenguajes grandes, como Llama 3, en computadoras personales, incluso aquellas con capacidades limitadas. Utiliza llama.cpp, una biblioteca de código abierto que optimiza el rendimiento de los LLM en máquinas locales con demandas mínimas de hardware. Ollama también cuenta con un tipo de administrador de paquetes que simplifica el proceso de descarga y activación de LLM de manera rápida y eficiente con un solo comando.
Arruinando Llama 3 localmente con Ollama paso a paso
Para empezar, el paso inicial es instalar Ollamaque es compatible con los tres principales sistemas operativos, con la versión de Windows actualmente en avance.
Llama 3: Todo lo que necesitas saber sobre el último LLM de Meta
Después de la instalación, simplemente abra su terminal. El comando para activar Ollama es coherente en todas las plataformas compatibles.
Espere unos minutos para que el modelo se descargue y cargue, después de lo cual podrá comenzar a interactuar con él.
API de Ollama
Si estás pensando en incorporar Ollama a tus proyectos, proporciona su propia API además de una compatible con OpenAI. Estas API facilitan la carga automática de un LLM almacenado localmente en la memoria, ejecutando la inferencia y luego descargándolo después de un período específico.
Sin embargo, primero debe descargar los modelos que desea utilizar a través de la línea de comando antes de poder operar el modelo a través de la API.
Ollama también ofrece API dedicadas, que incluyen varios SDK específicamente para Javascript y Python. Para una tarea básica de generación de texto utilizando la API, simplemente ajuste el parámetro del modelo al modelo deseado. Para obtener instrucciones detalladas, consulte la API oficial. documentación.
curl http://localhost:11434/api/generate -d ‘{
“modelo”: “llama”,
“mensaje”: “¿qué es la inteligencia artificial?”
}’
Este es el método para realizar una inferencia de generación de chat utilizando la API.
curl http://localhost:11434/api/chat -d ‘{
“modelo”: “llama”,
“mensajes”: [
{ “role”: “user”, “content”: “what is artificial intelligence?” }
]
}’
¿Cómo configurar Ollama con WebUI?
Comience descargando e instalando Escritorio acoplable en su computadora para configurar un entorno estable para ejecutar aplicaciones en contenedores. Después de la instalación, abra su terminal y ejecute el siguiente comando para extraer la última imagen de Ollama de Docker Hub:
ventana acoplable ejecutar -d
–nombre ollama
-p 11434:11434
-v ollama_volumen:/root/.ollama
ollama/ollama:último
Este comando recupera la última versión de la imagen de Ollama, completa con todas las bibliotecas y dependencias necesarias para operar el modelo:
- ejecución de la ventana acoplable: Esto inicia la creación y el inicio de un nuevo contenedor Docker.
- -d: Habilita el modo independiente, lo que permite que el contenedor opere en segundo plano de su terminal.
- –nombre ollama: Asigna el nombre «ollama» al contenedor, lo que simplifica las referencias futuras a él mediante comandos de Docker.
- -p 11434:11434: Asigna el puerto 11434 en el contenedor al puerto 11434 en el sistema host, lo que facilita la interacción con la aplicación dentro del contenedor a través del puerto del sistema host especificado.
- -v ollama_volumen:/root/.ollama: Adjunta un volumen llamado “ollama_volume” a /root/.ollama dentro del contenedor para almacenamiento persistente, asegurando que los datos permanezcan intactos durante los reinicios y recreaciones del contenedor. Docker creará automáticamente «ollama_volume» si aún no existe.
- ollama/ollama:último: Especifica la imagen del contenedor, utilizando la “última” versión de la imagen “ollama/ollama” de un registro de Docker como Docker Hub.
A continuación, para liberar la funcionalidad, ingrese este comando en su terminal:
$ ventana acoplable ps
aa492e7068d7 ollama/ollama:latest “/bin/ollama save” Hace 9 segundos Arriba 8 segundos 0.0.0.0:11434->11434/tcp ollama
$ curl localhost: 11434
Ollama esta corriendo
Proceda a clonar el repositorio oficial de Ollama WebUI:
clon de git https://github.com/ollama-webui/ollama-webui
cd ollama-webui
A continuación, abra el archivo Redactar para ver la configuración de YAML:
versión: ‘3.6’
servicios:
ollama:
volúmenes:
– ollama:/root/.ollama
# Descomentar a continuación para exponer la API de Ollama fuera de la pila de contenedores
# puertos:
# – 11434:11434
nombre_contenedor: ollama
pull_policy: siempre
tty: cierto
reiniciar: a menos que se detenga
imagen: ollama/ollama:latest
ollama-webui:
construir:
contexto: .
argumentos:
OLLAMA_API_BASE_URL: ‘/ollama/api’
archivo acoplable: archivo Docker
imagen: ollama-webui:latest
nombre_contenedor: ollama-webui
depende de:
– ollama
puertos:
– 3000:8080
ambiente:
– “OLLAMA_API_BASE_URL=http://ollama:11434/api”
hosts_extra:
– host.docker.internal:host-puerta de enlace
reiniciar: a menos que se detenga
volúmenes:
ollama: {}
Antes de continuar con los siguientes pasos, asegúrese de detener el contenedor Ollama Docker utilizando este método:
Navegue hasta Docker Dashboard, luego presione Contenedores, luego haga clic en el puerto WebUI.
Ahora ha configurado Ollama con éxito con su WebUI en solo dos minutos, evitando procesos complejos de implementación de pods. Con esta configuración, puede acceder a una amplia gama de características y funcionalidades a través de la WebUI. Involucre a Ollama para generar diversos resultados de texto creativos, como poemas, códigos, guiones, composiciones musicales, correos electrónicos y cartas. También puede usarlo para traducir texto sin esfuerzo entre diferentes idiomas o recibir asistencia y sugerencias de codificación.
Crédito de la imagen destacada: Meta
