Qué es un modelo mixture of experts (MoE) o mezcla de expertos

Un modelo mixture of experts (MoE), o mezcla de expertos, divide parte de un modelo de lenguaje en muchas subredes más pequeñas, llamadas expertos, y usa solo unas pocas para cada token. Por eso los nombres de los modelos llevan ahora dos cifras: Qwen3.8-2.4T-A95B tiene 2,4 billones de parámetros en total pero activa 95.000 millones por token, y Muse Spark Open de Meta tiene 816.000 millones en total y 42.000 millones activos. El total decide cuánta memoria necesitas; la parte activa, cuánto cálculo cuesta cada token. Esta guía explica cómo funciona un MoE y qué significa al elegir o ejecutar un modelo, a partir de los artículos de investigación originales, la explicación de Hugging Face y las fichas de los modelos leídas el 23 de octubre de 2026.

Cómo funciona una mezcla de expertos

Un modelo estándar, o denso, hace pasar cada token por todos sus parámetros. En un modelo MoE, las capas feed-forward de la red se sustituyen por capas MoE. Cada capa MoE tiene un conjunto de expertos, que en la práctica son redes feed-forward, y un pequeño enrutador, también llamado red de compuerta, que decide qué expertos procesan cada token. Otras partes del modelo, como la atención, son compartidas y funcionan para todos los tokens.

Mixtral 8x7B, descrito en un artículo de Mistral de enero de 2024, es el ejemplo más claro: cada capa tiene 8 expertos y, para cada token, un enrutador elige 2 y combina sus resultados. El modelo tiene 47.000 millones de parámetros, pero cada token usa solo 13.000 millones. Son 47.000 y no 8 × 7 = 56.000 millones porque solo las capas feed-forward se duplican como expertos; el resto se comparte.

La idea es anterior a los chatbots actuales. Un artículo de 2017 de Noam Shazeer y otros autores presentó la capa MoE con compuerta dispersa, con hasta miles de expertos, y logró más de 1000 veces más capacidad con pérdidas de eficiencia pequeñas. En 2021, Switch Transformer simplificó el enrutado a un solo experto por token y entrenó modelos de hasta un billón de parámetros.

Parámetros totales y parámetros activos

Tabla: parámetros totales y activos de modelos MoE (fichas de los modelos y artículos, comprobados el 23 de octubre de 2026)

Los nombres suelen llevar las cifras: «8x7B» se refiere a ocho expertos por capa sobre una arquitectura del tamaño de Mistral 7B, y «A95B», a 95.000 millones de parámetros activados. Ojo con «2.4T»: en inglés, trillion equivale a nuestro billón.

Qué significa para la memoria y la velocidad

La explicación de Hugging Face resume el equilibrio: un modelo MoE es más rápido que un modelo denso con el mismo número de parámetros, porque cada token solo calcula con una parte de ellos, pero todos los parámetros tienen que estar cargados en memoria. Mixtral 8x7B necesita la memoria de un modelo de 47.000 millones de parámetros y calcula más o menos como uno de 12.000 millones.

Para ti son dos preguntas distintas. ¿Cabe? Cuenta los parámetros totales y la precisión de los pesos, como en nuestra guía de cuánta VRAM necesita un LLM. ¿Irá rápido? Mira los parámetros activos. OpenAI cuantizó los pesos MoE de gpt-oss a MXFP4 para que gpt-oss-120b funcione en una sola GPU de 80 GB y gpt-oss-20b con 16 GB de memoria; nuestra explicación de la cuantización cuenta qué hacen esos formatos. En el otro extremo, Meta indica que Muse Spark Open funciona en dos Mac Studio con M5 Ultra; consulta cómo usar un LLM en un Mac para ver qué cabe en uno.

Ejecutar modelos MoE en un PC normal

Como cada token solo usa unos pocos expertos, una forma habitual de ejecutar un modelo MoE grande en un PC normal es dejar los pesos de los expertos en la RAM del sistema y el resto en la GPU. llama.cpp tiene opciones justo para eso: --cpu-moe deja todos los pesos de los expertos en la RAM del sistema, y --n-cpu-moe N deja ahí los de las primeras N capas, mientras el resto del modelo sigue en la GPU. Sube N hasta que el modelo quepa en tu VRAM. Es más lento que tenerlo todo en la GPU, pero puede hacer usable un modelo que de otro modo ni siquiera cargaría.

Malentendidos frecuentes

• «Cada experto es experto en un tema». No exactamente. La investigación que resume Hugging Face vio que los expertos se especializan en grupos de tokens o conceptos superficiales, como la puntuación o los nombres propios, y que en un modelo multilingüe ningún experto se especializó en un idioma.
• «Un MoE de 47.000 millones cuesta lo mismo de ejecutar que uno de 13.000 millones». Solo en cálculo. Sigue necesitando la memoria del modelo completo.
• «Los modelos MoE siempre son mejores». Según el resumen de Hugging Face de los resultados de Switch Transformer, con la misma calidad de preentrenamiento los modelos dispersos rindieron peor que los densos en tareas de razonamiento y especialmente bien en tareas de conocimiento, y Hugging Face recuerda que históricamente ha costado más ajustar los modelos MoE.

Si prefieres empezar por lo básico, lee qué es un LLM. Si vas a construir sobre uno de estos modelos, revisa también su licencia: nuestra guía de licencias de modelos abiertos las compara.