Inteligencia local — Animate a correr modelos de IA en tu máquina

Qué es

La inteligencia artificial local es exactamente lo que suena: correr un modelo de lenguaje en tu propia máquina, sin mandar tus prompts a ninguna nube. No es ciencia ficción ni un proyecto para ingenieros con servidores gigantes — hoy lo bajás con un instalador y tenés un chat con IA funcionando en 15 minutos.

Los dos nombres que tenés que conocer son Ollama y Jan. No compiten entre sí: son dos puertas de entrada a la misma idea, una para cada estilo de uso.

La idea central: el modelo es un archivo, la herramienta es un admin

La gran revelación de la IA local es que un modelo es, al final, un archivo de pesos (formato GGUF). Y la herramienta que usás es solo un administrador que lo carga y lo ejecuta. Por eso las piezas son intercambiables:

modelo (archivo GGUF) → llama.cpp (motor de inferencia) → app (Ollama o Jan) → vos

Lo más loco: Ollama y Jan usan el mismo motor por debajo (llama.cpp, la librería C++ de código abierto que corre los transformers en tu CPU/GPU). Cambia la fachada, no el corazón.

Por qué te tenés que animar

Hay cinco razones que no tienen discusión:

1. Privacidad de verdad: tus conversaciones jamás salen de tu disco. Nada de “tus datos se usan para entrenar”.
2. Gratis para siempre: sin API key, sin crédito, sin suscripción. Bajás el modelo una vez y lo usás todo lo que quieras.
3. Funciona sin internet: avión, campo, corte de luz de tu proveedor — el modelo sigue andando.
4. Sin límites de tasa: no hay “rate limit” ni esperas. Hablás todo lo que quieras.
5. Control total: elegís el modelo, la versión, la cuantización. Si mañana sale uno mejor, lo cambiás en un comando.

Ollama — el motor silencioso

Ollama es un runtime: un servicio que corre en background, descarga y administra modelos, y te expone una API. Todo desde la terminal:

ollama pull llama3.2      # bajás el modeloollama run llama3.2       # y chateás

• API en localhost:11434: es compatible con la API de OpenAI, así que cualquier app que hable con ChatGPT puede apuntar a tu modelo local cambiando solo la URL base.
• Headless: corre en servidores, CI, o como back-end para tus propias apps y agentes.
• ollama launch: de un comando levanta Claude Code, Codex o Copilot apuntando a tu modelo local.

Si escribís código, armás agentes o querés un servidor de IA para toda tu stack → Ollama.

Jan — la app de escritorio

Jan es una app de escritorio estilo ChatGPT, open source, que se autodenomina la “alternativa de código abierto a ChatGPT” y corre 100% offline con un botón. Básicamente es la interfaz que cualquier persona puede usar sin tocar una terminal:

• Model Hub: buscás un modelo en una galería, le das a descargar, y chateás.
• Conversaciones persistentes e historial, como una app de mensajería.
• MCP integrado: herramientas agénticas con aprobación inline (ves los argumentos antes de aceptar).
• API en localhost:1337 si un día querés que tu código hable con ella.

Si querés un chat privado con IA sin abrir la terminal, o estás en desktop Linux (donde la GUI de Ollama no llega) → Jan.

La cuenta que te dice si te corre

La única pregunta que importa antes de empezar: ¿cuánta memoria tengo? Y hay una fórmula simple, verificable:

Memoria del modelo (GB) = parámetros (en miles de millones) × bits por peso ÷ 8

Ejemplos concretos:

• Un modelo de 7B (7 mil millones de parámetros) a 4 bits pesa ~3.5 GB → corre en una máquina con 8 GB de RAM.
• Un 13B a 4 bits ≈ 6.5 GB → cómodo con 16 GB de RAM.
• La regla práctica de Jan: 8 GB RAM para modelos 3B, 16 GB para 7B, 32 GB para 13B.

La “cuantización” (bajar de 16 a 4 bits) encoge el archivo a la cuarta parte con pérdida mínima de calidad. Por eso un modelo que no te corría, con 4 bits te entra. Y si tu GPU tiene VRAM (8 GB ya alcanza para un 7B), va más rápido todavía.

¿Cuál elegís?

No tenés que elegir: muchos corren los dos a la vez — Ollama como motor de fondo y Jan (u otro frontend) como la cara que mirás. Ollama sirve modelos, Jan te da el chat lindo, y cada uno usa su puerto.

Por qué es importante

1. Es el “desbloqueo” de la IA: la IA no es solo un servicio que alquilas por token. Es algo que podés poseer, correr y auditar. Ese cambio de mentalidad es enorme.
2. Soberanía de datos: para laburos con datos sensibles (legales, médicos, bancos) o gente que valora su privacidad, la IA local no es una preferencia: es la única opción que cierra.
3. El open source se lleva la infraestructura: al igual que con los agentes de código, las herramientas para correr IA son abiertas, auditables y gratis. Los modelos abiertos ya son sorprendentemente buenos para el día a día.
4. Se siente la diferencia: cuando chateás con un modelo que corre en tu máquina, con tus datos en tu disco, no volvés atrás.

La contracara honesta: un modelo local de 7B–13B no le gana al mejor modelo en la nube en todo. Pero para lo cotidiano —redactar, resumir, programar tareas simples, chatear— te sobra, y la privacidad que ganás no tiene precio.

Siguiente paso

Instalá Ollama (https://ollama.com), y en una terminal: ollama run llama3.2. Apenas te responda, ya estás corriendo IA local. Después bajá Jan (https://jan.ai) y fijate cómo se siente el chat de escritorio. Empezá con un modelo chico (3B–7B) y subí de tamaño si tu RAM da. La primera vez que le apagás el wifi al chat y sigue respondiendo, te das cuenta de que la IA local llegó para quedarse.

Ollama: ollama.com — repo: github.com/ollama/ollama · Jan: jan.ai — repo: github.com/janhq/jan