IA local
Bonsai 2 cabe en menos espacio. Ejecutarlo es otra cuenta
PrismML añade Bonsai 2 de 2B, 4B y 9B para IA local. Qué incluyen sus archivos pequeños y qué necesitas además para usarlos con texto o imágenes.
Un modelo pequeño que puedes descargar
PrismML ha añadido tres tamaños a Bonsai 2: 2B, 4B y 9B. Se anunciaron el 15 de octubre y sus pesos ya están disponibles. La cifra que llama la atención es la del pequeño: su archivo de lenguaje más compacto ocupa 0,43 GB. Eso no significa que una aplicación completa vaya a funcionar con esa cantidad de memoria.
Los tres parten de Qwen3.5 y usan pesos ternarios: muchos de los valores con los que calcula el modelo se representan como −1, 0 o +1, acompañados de información de escala. Es una forma de guardarlos y procesarlos con menos espacio. Algunas partes conservan mayor precisión y no usan esa representación.
Qué hay dentro de esos gigabytes
Los tamaños mínimos de 0,43, 0,95 y 2 GB corresponden a los archivos de lenguaje de 2B, 4B y 9B en el formato PTQ1_0. Hay otros empaquetados de los mismos pesos: por ejemplo, el 2B ocupa 0,55 GB en Q2_0. Comparar descargas sin mirar ese apellido puede llevar a una conclusión equivocada.
Para analizar imágenes hace falta además el componente visual. En el 2B, el recomendado añade 0,36 GB. A eso se suma lo que necesita el programa para ejecutar el modelo y mantener el contexto de la conversación. Por tanto, el tamaño del archivo ayuda a elegir qué descargar, pero no basta para saber si irá cómodo en tu equipo.
También importa con qué lo abres
La compatibilidad tiene un matiz importante. Una versión reciente de llama.cpp con soporte de Bonsai 2 puede ejecutar Q2_0; PTQ1_0 y PQ2_0 necesitan la variante de PrismML. Que un archivo termine en GGUF no garantiza que cualquier aplicación pueda cargarlo.
El repositorio oficial de demostración reúne las combinaciones probadas. Sus instrucciones sin cambios descargan el modelo de 27B, anterior a esta ampliación: para probar uno pequeño hay que seleccionarlo expresamente. Los pesos nuevos tienen licencia Apache 2.0.
Una primera tarea que sí tiene sentido
Imagina una aplicación que organiza notas de trabajo guardadas en el portátil. Le pasas un texto corto y le pides separar tareas, fechas y dudas. Es una prueba acotada: puedes comprobar si pierde una segunda tarea, cambia una fecha o añade algo que no estaba escrito, antes de darle acceso a una carpeta entera.
Para decidir si te sirve, merece más la pena medir ese resultado y la memoria usada en tu dispositivo que quedarse con el archivo más pequeño. También conviene probar español y notas imperfectas. Ni la descarga ni las evaluaciones del fabricante garantizan que vaya a resolver bien ese caso.
Ejecutar el modelo en local permite diseñar ese flujo sin enviar las notas a una API externa. Después hay que revisar el resto de la aplicación: registros, herramientas y conexiones pueden seguir sacando datos del equipo. Lo interesante de esta ampliación es tener más tamaños para ajustar la tarea, sin dar por resuelta toda la aplicación.