Qué es la cuantización de un LLM y qué significan Q4_K_M y Q8_0

¿Qué es la cuantización? Es guardar los pesos de un modelo con menos bits, de modo que el modelo ocupe mucha menos memoria y espacio en disco a cambio de perder algo de precisión. Por eso un modelo de 8.000 millones de parámetros que necesita unos 15 GiB con 16 bits cabe en unos 4,6 GiB como Q4_K_M, y por eso puedes ejecutarlo en una tarjeta gráfica de 8 GB. La documentación de llama.cpp dice que la cuantización puede introducir cierta pérdida de precisión, que se suele medir con la perplejidad o la divergencia KL. Esta guía explica qué significan los nombres Q4_K_M, Q8_0 y MXFP4, cuánta memoria ahorra y cuánta calidad cuesta cada nivel y cómo elegir, con la documentación de llama.cpp y de Hugging Face y las mediciones originales del autor de las k-quants, todo comprobado el 6 de octubre de 2026.

¿Qué es la cuantización?

Un modelo de lenguaje es sobre todo un conjunto enorme de números, sus pesos. Los modelos entrenados suelen guardarlos como números en coma flotante de 16 o de 32 bits. La cuantización guarda cada peso con menos bits, por ejemplo 4 u 8, más una pequeña cantidad de datos adicionales que permiten reconstruir valores aproximados. La documentación de cuantización de llama.cpp la describe como reducir la precisión de los pesos del modelo, por ejemplo de números de 32 bits en coma flotante a enteros de 4 bits, lo que reduce el tamaño del modelo y puede acelerar la inferencia.

El ahorro es grande. Con Llama 3.1 8B, la tabla de llama.cpp da estos tamaños, con el de 16 bits calculado por nosotros:

Tabla: tamaño de Llama 3.1 8B según la cuantización (mediciones de llama.cpp, 6 de octubre de 2026)

Los bits por peso son más que los 4, 5 u 8 nominales porque cada bloque de pesos guarda además factores de escala. Para ver qué significa un tamaño en tu tarjeta gráfica, usa nuestra calculadora de VRAM o la guía de la mejor GPU para modelos en local.

¿Qué significan Q4_K_M, Q8_0 y los demás nombres?

Los nombres vienen de llama.cpp y del formato de archivo GGUF, que Hugging Face describe como un formato binario optimizado para cargar y guardar modelos con rapidez. Léelos de izquierda a derecha:

• El número es la anchura de bits nominal: Q4 son 4 bits, Q8 son 8 bits.
• K marca las «k-quants», una familia añadida a llama.cpp en junio de 2023, que guarda los pesos en superbloques formados por bloques más pequeños con sus propias escalas. La tabla de Hugging Face da Q4_K a 4,5 bits por peso y Q6_K a 6,5625.
• La última letra (S, M, L) es una «mezcla de cuantización», como explica la propuesta de cambios de las k-quants: decide qué tensores reciben más bits. Q4_K_S usa Q4_K en todos los tensores, mientras que Q4_K_M usa el Q6_K, de mayor precisión, en la mitad de los tensores attention.wv y feed_forward.w2 y Q4_K en el resto; Q3_K_L usa Q5_K en esos tensores y Q3_K en los demás.
• Q8_0 y los demás tipos _0 y _1 son formatos más antiguos y sencillos. Hugging Face los lista como métodos heredados que hoy no se usan mucho, aunque llama.cpp sigue ofreciendo Q8_0 y es la opción de 8 bits de nuestras tablas de memoria.
• Los tipos IQ (IQ4_XS, IQ3_S y otros) usan una matriz de importancia para conservar los pesos más importantes con anchuras de bits bajas.
• MXFP4 es un formato de coma flotante de bloques con microescala de 4 bits. OpenAI dice que sus modelos gpt-oss se postentrenaron con cuantización MXFP4 de los pesos de la mezcla de expertos, y así gpt-oss-20b funciona con 16 GB de memoria.

¿Cuánta calidad se pierde?

La prueba más directa es la medición original que se publicó con las k-quants en 2023, con el modelo LLaMA 7B: perplejidad (cuanto más baja, mejor) en el conjunto wikitext, frente al 5,9066 del modelo de 16 bits.

Tabla: calidad y tamaño de las k-quants en LLaMA 7B (mediciones originales, 2023)

Lo que importa es la forma: de 16 bits a Q5_K_M la pérdida en esta prueba es de un cuarto de punto porcentual, alrededor de Q4_K_M es inferior al 1 % y por debajo de 4 bits crece rápido. El resumen del propio autor es que la perplejidad es una función bastante suave del tamaño del modelo, así que puedes elegir el mejor modelo que te permita tu memoria. Dos salvedades: estas cifras son de un modelo de 2023, así que muestran la tendencia y no predicen un modelo actual, y la perplejidad no es lo mismo que lo buenas que te parezcan las respuestas en tu tarea. llama.cpp dice que la pérdida se suele medir con la perplejidad y la divergencia KL. Si un modelo va justo, prueba el formato siguiente antes de comprar más memoria.

¿Cómo elegir una cuantización?

Una regla práctica, que es lectura nuestra de los datos de arriba:

1. Empieza con Q4_K_M. En la prueba original mantiene la pérdida por debajo del 1 % con cerca del 29 % del tamaño de 16 bits, y es el principal formato de 4 bits de nuestras tablas de memoria.
2. Sube a Q5_K_M, Q6_K o Q8_0 si te sobra memoria. La pérdida se reduce, pero el archivo crece, y tu ventana de contexto también necesita memoria.
3. Baja a Q3 o menos solo si el modelo no cabe de otra forma. Un modelo mayor en Q3 suele ser mejor que uno menor en Q8, pero pruébalo con tus tareas.
4. Comprueba que el modelo cabe. Con Ollama, ejecuta ollama ps y busca «100% GPU», como explica nuestra guía rápida de comandos de Ollama.

Ollama no cuantiza los modelos GGUF al importarlos: su documentación dice que hay que prepararlos y cuantizarlos antes con una herramienta GGUF como llama-quantize de llama.cpp. Las páginas de la biblioteca de Ollama muestran el tamaño de descarga de cada etiqueta de modelo, que es la memoria que necesitarán los pesos.

¿También se puede cuantizar la caché?

Sí. La caché de claves y valores que guarda la conversación se puede almacenar con menos bits. OLLAMA_KV_CACHE_TYPE de Ollama admite f16 (por defecto), q8_0, que usa más o menos la mitad de memoria, y q4_0, que usa más o menos una cuarta parte; requiere Flash Attention. No cambia los pesos, solo la memoria que usan los contextos largos.

Cuantización y API en la nube

La cuantización es sobre todo un tema de los modelos que ejecutas tú. Cuando usas una API en la nube, el proveedor decide cómo se sirve el modelo y tú pagas por token, como en precios de las API de modelos comparados. Un modelo cuantizado en local no tiene precio por token, solo el coste de la máquina; mira cómo instalar Ollama para los pasos.