¿Por qué IA local?

Usar ChatGPT o Claude es muy cómodo, pero implica enviar tus consultas a servidores externos. Para la mayoría de usos esto no es un problema, pero si trabajas con:

  • Código de proyectos privados o con NDA
  • Documentos confidenciales de trabajo
  • Datos personales propios o de clientes

...puede que prefieras que tus consultas no salgan de tu máquina. Ahí es donde entra Ollama.

Qué es Ollama

Ollama es una herramienta open source que simplifica enormemente la descarga y ejecución de LLMs en local. Antes, montar un modelo local requería manejar Python, CUDA, dependencias y configuraciones complejas. Con Ollama es cuestión de minutos.

Instalación

En Linux/macOS es un comando:

curl -fsSL https://ollama.com/install.sh | sh

En Windows hay instalador gráfico. Una vez instalado, el servicio corre en segundo plano en el puerto 11434.

Descargar y usar un modelo

ollama pull llama3.2
ollama run llama3.2

La primera vez descarga el modelo (varios GB según el tamaño). Después se inicia una sesión de chat directamente en terminal.

Modelos que recomiendo según uso

Para uso general y conversación

  • llama3.2 (3B o 8B) — Rápido, buen equilibrio rendimiento/calidad. Ideal para empezar
  • mistral (7B) — Muy bueno en seguir instrucciones, rápido en CPU

Para código

  • codellama — Especializado en generación y explicación de código
  • deepseek-coder — Sorprendentemente capaz para un modelo local

Para tareas de análisis o documentos largos

  • llama3.1 (8B) — Contexto largo, bueno para resumir y analizar

Requisitos de hardware

Esto es lo que más condiciona la experiencia:

  • Modelos 3B-7B: funcionan en CPU con 8 GB de RAM. Lento pero funcional
  • GPU NVIDIA con 6+ GB VRAM: cambia completamente la velocidad. Ollama detecta CUDA automáticamente
  • GPU AMD (ROCm): soporte en Linux, funciona bien en tarjetas RX 6000+
  • Apple Silicon (M1/M2/M3): rendimiento excelente gracias a la memoria unificada
En mi caso uso un modelo 8B en una GPU de 8 GB VRAM y la respuesta es casi instantánea. En CPU el mismo modelo tarda varios segundos por token.

Open WebUI: interfaz gráfica para Ollama

Si prefieres una interfaz tipo ChatGPT en lugar del terminal:

docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main

Accedes en http://localhost:3000 y tienes una interfaz completa con historial de conversaciones y soporte multi-modelo.

API local para integrar con tus scripts

Ollama expone una API REST compatible (parcialmente) con la API de OpenAI:

curl http://localhost:11434/api/generate \
  -d '{"model":"llama3.2","prompt":"Resume este texto: ..."}'

Esto permite integrarlo con scripts Python, automatizaciones o cualquier herramienta que soporte API.

Conclusión

No creo que los modelos locales vayan a reemplazar a los grandes LLMs en la nube para tareas complejas, pero para el día a día —generar código, responder dudas, analizar documentos propios— tener un modelo local es una opción que merece la pena explorar. Y con Ollama, la barrera de entrada nunca ha sido más baja.