Jev vs Laya: la misma idea de System One, una cerrada y otra Apache 2.0

Jev y Laya son dos implementaciones de la misma idea —modelos que en vez de escribir texto devuelven decisiones tipadas con probabilidad calibrada— pero elegirlos cambia según dos preguntas incómodas: ¿querés tus datos adentro o afuera de tu máquina? y ¿estás dispuesto a pagar por token una inteligencia que podés correr gratis?

Ya vimos los dos por separado: Jev (TypeSafe, API cerrada en early access) y Laya (Apache 2.0, self-hosted). Acá los pongo uno al lado del otro con los números que cada proyecto publica.

Por qué se comparan naturalmente

No solo comparten la familia conceptual: Laya habla el mismo wire protocol que Jev. laya-serve expone un POST /v1/systemone con respuestas schema-idénticas (choice/score/noul + bloque usage de tokens), pensado para que un cliente Jev existente solo cambie su baseUrl. La migración es literalmente un cambio de URL de api.typesafe.ai a localhost:8000.

La tabla (Jev 1.13.0 vs Laya ruteado)

Ojo con una asimetría: los datos de Jev en esta tabla son third-party publicados (nunca medidos por Laya, que no tiene API key de TypeSafe). Las muestras y prompts no son idénticos. Tomá la tabla como referencia de magnitud, no como resultado de una carrera controlada.

Dónde gana Jev

• Alta cardinalidad (más de 20 opciones): en Banking77 con 72 labels en una sola pregunta, Jev saca 0.870 contra 0.425 de Laya. Es un límite arquitectónico: las opciones de Laya comparten un presupuesto de tokens fijo (~3–4 tokens por label en 77 opciones) y se vuelven indistinguibles. Jev soporta hasta 255 opciones out-of-the-box. Para 50+ opciones, Laya pide agrandar head_max_len, y de ahí sus opciones son para prompts chicos o predict_shortlist.
• Apero la distribución completa: en typed-decisions, Laya gana en argmax (0.766 vs 0.727) pero Jev empata mejor contra el teacher en soft accuracy (0.580 vs 0.471). Si tu código consume la distribución entera y no solo la respuesta top-1, la de Jev se acerca más.
• Calibración raw: sin ajustar nada, el checkpoint base de Laya arranca con ECE 0.213 (Jev: 0.144). El 0.081 de Laya sale después del calibrado por temperatura.

Dónde gana Laya

• Dueña de tus datos: corre en tu máquina. Si las decisiones son sobre tickets internos, mails o logs de tu sistema, no mandás nada a un tercero. Para muchas empresas eso cambia la ecuación entera.
• Costo: US$0, contra US$0.042 por millón de tokens de entrada. El fine-tuning tampoco sale nada en una sola GPU.
• Velocidad: 32.8 ms por pregunta en una T4, contra 236–276 ms de p50 de Jev — un orden de magnitud de diferencia.
• Multilingüe real: 48 de 51 idiomas útiles en MASSIVE intent con el router automático. Jev no publica benchmark de idiomas.
• Tu router no se cae: detección de idioma propia; y si un día no querés el router, pinás model= y listo.

La trampa de trasplantar thresholds

Hay un detalle que se pierde al migrar: confidence no significa lo mismo en los dos. Jev lo calcula como (n·p_max − 1)/(n − 1); Laya como 1 − entropy normalizada. Un cutoff de confianza que validaste en Jev no transfiere — las dos desplazan con la cantidad de opciones. Si vas a gatear con confianza, calendarizá la vuelta a calibrar el cutoff sobre tus propios datos en el lado de Laya.

Veredicto

• Probás la categoría: Jev, porque no tenés que instalar nada y el playground es instantáneo. La waitlist es medio molesta, pero la experiencia de las primeras decisiones tipadas vale.
• Producís de verdad, con volúmenes o datos sensibles: Laya. El precio de $0, la latencia de decenas de ms y la autogestión de datos pesan más que el 0.6% de diferencia de exactitud en la mayoría de los casos.
• Tenés 50+ opciones en una pregunta: Jev hoy, sin tocar nada — Laya exige tuning.
• Respuesta larga: si la arquitectura de Jev te convence pero querés la versión sin dependencia de vendor, Laya es exactamente el reemplazo.

Lo más interesante de todo: hace un año un autor individual construía modelos de decisión no-autorregresivos sin que nadie los llamara por su nombre, y un laboratorio de frontera después puso la etiqueta (System One) y una API. La idea resultó ser de todos — Laya simplemente eligió publicar la suya bajo Apache 2.0.

Nota: ambas son modelos de decisión, no de texto: todo lo que devuelven es una distribución sobre opciones predefinidas. No alucinan estructura, pero la calidad de la decisión depende de qué le preguntes y con qué criterios. Validá siempre sobre tus propios casos; la calibración es por grupo de predicciones, no por caso individual.