Per què IA local?

Usar ChatGPT o Claude és molt còmode, però implica enviar les teves consultes a servidors externs. Per a la majoria d'usos això no és un problema, però si treballes amb:

  • Codi de projectes privats o amb NDA
  • Documents confidencials de feina
  • Dades personals pròpies o de clients

...potser prefereixes que les teves consultes no surtin de la teva màquina. Aquí és on entra Ollama.

Què és Ollama

Ollama és una eina open source que simplifica enormement la descàrrega i execució de LLMs en local. Abans, muntar un model local requeria gestionar Python, CUDA, dependències i configuracions complexes. Amb Ollama és qüestió de minuts.

Instal·lació

A Linux/macOS és una comanda:

curl -fsSL https://ollama.com/install.sh | sh

A Windows hi ha instal·lador gràfic. Un cop instal·lat, el servei corre en segon pla al port 11434.

Descarregar i usar un model

ollama pull llama3.2
ollama run llama3.2

La primera vegada descarrega el model (diversos GB segons la mida). Després s'inicia una sessió de xat directament al terminal.

Models que recomano segons ús

Per a ús general i conversa

  • llama3.2 (3B o 8B) — Ràpid, bon equilibri rendiment/qualitat. Ideal per començar
  • mistral (7B) — Molt bo seguint instruccions, ràpid a CPU

Per a codi

  • codellama — Especialitzat en generació i explicació de codi
  • deepseek-coder — Sorprenentment capaç per a un model local

Per a tasques d'anàlisi o documents llargs

  • llama3.1 (8B) — Context llarg, bo per resumir i analitzar

Requisits de maquinari

Això és el que més condiciona l'experiència:

  • Models 3B-7B: funcionen a CPU amb 8 GB de RAM. Lent però funcional
  • GPU NVIDIA amb 6+ GB VRAM: canvia completament la velocitat. Ollama detecta CUDA automàticament
  • GPU AMD (ROCm): suport a Linux, funciona bé a les targetes RX 6000+
  • Apple Silicon (M1/M2/M3): rendiment excel·lent gràcies a la memòria unificada
En el meu cas faig servir un model 8B a una GPU de 8 GB VRAM i la resposta és gairebé instantània. A CPU el mateix model tarda diversos segons per token.

Open WebUI: interfície gràfica per a Ollama

Si prefereixes una interfície tipus ChatGPT en lloc del terminal:

docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main

Accedeix a http://localhost:3000 i tens una interfície completa amb historial de converses i suport multi-model.

API local per integrar amb els teus scripts

Ollama exposa una API REST compatible (parcialment) amb l'API d'OpenAI:

curl http://localhost:11434/api/generate \
  -d '{"model":"llama3.2","prompt":"Resumeix aquest text: ..."}'

Això permet integrar-lo amb scripts Python, automatitzacions o qualsevol eina que suporti API.

Conclusió

No crec que els models locals vagin a substituir els grans LLMs al núvol per a tasques complexes, però per al dia a dia —generar codi, respondre dubtes, analitzar documents propis— tenir un model local és una opció que val la pena explorar. I amb Ollama, la barrera d'entrada mai ha estat més baixa.