Qué es WebLLM
WebLLM es una librería open source que permite ejecutar modelos de lenguaje grandes (LLM) directamente en el navegador web, usando la API de WebGPU para aprovechar las GPUs modernas de laptops y desktops. No necesita servidor, no envía datos a la nube, y funciona offline una vez cargado el modelo.
El proyecto usa WebGPU para acelerar la inferencia, ONNX como formato de modelo y técnicas de cuantización para que modelos de 7B parámetros (como Llama 2, Falcon, etc.) quepan en la memoria de GPUs de consumo y corran con latencia razonable.
Cómo funciona por dentro
El pipeline tiene cuatro pasos:
1. Carga del modelo. El modelo pre-cuantizado se descarga como un conjunto de tensores comprimidos. En la práctica, el modelo de 7B a 4 bits ocupa alrededor de 3.5 GB, que se descargan en fragmentos asíncronos.
2. Cuantización. Para que el modelo quepa en memoria, WebLLM usa cuantización INT4 o INT8 — los pesos originales en FP16 (14 GB para un 7B) se comprimen manteniendo una precisión aceptable para tareas de conversación, resumen y generación de texto.
3. Inferencia con WebGPU. El modelo se ejecuta sobre la GPU del dispositivo mediante WebGPU, que permite computación de propósito general (GPGPU) directamente desde JavaScript. WebLLM genera los tokens uno a uno usando el motor de inferencia optimizado para el hardware disponible.
4. Interfaz. La capa de UI es puramente cliente: una caja de texto, botón de enviar y stream de respuestas. Todo se maneja en el navegador con JavaScript, sin backend.
Ventajas clave
Ningún dato sale del navegador. Ideal para información sensible: notas personales, documentos confidenciales, chats privados.
No pagás por token, no necesitás clave de API, no hay límites de uso. Pagás el electricity de tu GPU, que es trivial en la mayoría de casos.
Una vez cargado el modelo, podés usarlo sin conexión a internet. Perfecto para presentaciones, viajes o entornos con red restringida.
Es una URL. Compartís el link, alguien abre en su navegador y tiene IA local corriendo. No hay instalación de software, no hay dependencias de sistema.
Limitaciones y consideraciones
WebLLM no es magia: tiene compromisos reales que hay que entender:
Hardware necesario. Para modelos de 7B a 4 bits, necesitás una GPU con al menos 4-6 GB de VRAM y soporte WebGPU. Chrome 113+ en Windows/Mac/Linux con una GPU moderna (RTX 20xx+, Apple M1+, Intel Arc, etc.) es el caso ideal. En CPU puro es posible pero muy lento.
Tamaño de descarga inicial. El primer uso implica descargar el modelo (~3.5 GB). Seguimos el patrón de "pay once, use forever": después del primer download, el modelo queda cacheado y listo para uso inmediato.
Rendimiento. La inferencia de 7B en una GPU de consumo ronda los 10-30 tokens por segundo, lo que es usable para conversación pero no para tareas de alta throughput.
Casos de uso prácticos
Apps que analizan tus notas, resumen documentos o generan contenido sin enviar tus datos a un servidor externo.
Demostrar capacidades de IA sin configurar backend, keys de API, ni preocuparse por costos de servidores.
Entender cómo funciona la inferencia de LLM, cómo se cuantizan modelos, cómo WebGPU accede a la GPU desde JavaScript.
Herramientas que necesitan funcionar sin internet pese a ofrecer capacidades de IA: apps de vuelo, entornos aislados, etc.
Cómo empezar a usarlo
Para probar WebLLM en la práctica hay tres opciones:
Opción 1 — Demo online. Abrí mlc-ai.github.io/web-llm y elegí un modelo. La demo carga el modelo en tu navegador y podés chatear con él en segundos (después del primer download).
Opción 2 — Integrar en tu app. WebLLM expone una API JavaScript sencilla. Podés instalar el paquete npm, cargar un modelo y comenzar a hacer inferencias. La integración es similar a usar cualquier librería de ML, pero corriendo 100% en el cliente.
Opción 3 — Construir tu propia demo. Con HTML + JS puro podés armar una app: caja de texto, botón de "send", y un handler que llama a `webllm.generate()` y muestra los tokens en stream. Tres archivos, cero backend.
El panorama más amplio
WebLLM es parte de un movimiento más amplio de "AI on the edge": ejecutar IA localmente en el dispositivo del usuario en lugar de en la nube. Otras iniciativas similares incluyen Ollama (para desktop), Transformers.js (para browser con modelos más pequeños), y la API de WebGPU de Chrome que abre la puerta a GPGPU en el navegador.
La tendencia es clara: conforme las GPUs de consumo se vuelven más capaces y las técnicas de cuantización mejoran, cada vez más workloads de IA podrán correr localmente — en el navegador, en el teléfono, en el coche.
Conclusión
WebLLM demuestra que la frontera entre "desarrollar en la nube" y "ejecutar en el dispositivo" se está difuminando. Hoy ya es posible correr un modelo de 7B parámetros en tu navegador, con privacidad total, sin costo de API y con la libertad de compartir la experiencia como una URL.
El próximo paso: esperar que los navegadores mejoren su soporte de WebGPU, que los modelos se cuantizen más, y que las librerías como WebLLM sigan madurando para que la experiencia sea indistinguible de usar una API cloud — pero sin enviar tus datos a nadie.
Publicado el 17 de marzo de 2026 · Actualizado el 17 de marzo de 2026 · JX