Qué es un LLM y cómo funcionan los modelos de lenguaje grandes

¿Qué es un LLM? Un modelo de lenguaje grande (large language model, en inglés) es una red neuronal entrenada con cantidades enormes de texto para predecir lo que viene después, trozo a trozo. El glosario de Anthropic define los LLM como modelos de lenguaje «con muchos parámetros» capaces de generar texto parecido al humano, responder preguntas y resumir información. ChatGPT, Claude y Gemini son productos construidos sobre LLM: el modelo predice texto y el producto añade la ventana de chat, la búsqueda, la memoria y las herramientas. Esta explicación cuenta cómo da una respuesta un LLM, cómo se entrena, qué significa «grande», qué no puede hacer y qué relación tiene con los chatbots y los agentes, con los artículos originales y la documentación de las propias empresas.

Qué hace de verdad un LLM: predecir el siguiente token

Un LLM lee y escribe tokens, no palabras. El curso de aprendizaje automático de Google lo dice así: un token puede ser una palabra, un trozo de palabra o incluso un solo carácter, y los LLM predicen un token o una secuencia de tokens, a veces de varios párrafos. La regla aproximada de OpenAI es que un token equivale a unos cuatro caracteres en inglés, unas tres cuartas partes de una palabra. En qué es un token explicamos por qué la misma frase gasta más tokens en español que en inglés.

Generar una respuesta es un bucle:

1. El modelo lee tu petición y lo que añada el producto, como instrucciones, mensajes anteriores o resultados de búsqueda.
2. Calcula una probabilidad para cada token posible a continuación.
3. Elige uno, lo añade al texto y vuelve a empezar con el texto más largo.
4. Para con un token especial de final o al llegar a un límite de longitud.

El ajuste de temperatura decide cómo se elige ese token. El glosario de Anthropic explica que las temperaturas altas dan resultados más creativos y variados y las bajas, más conservadores y previsibles, y avisa de que ni siquiera con temperatura 0 los resultados son del todo deterministas. Por eso la misma pregunta hecha dos veces puede dar dos respuestas distintas.

Todo lo que el modelo puede tener en cuenta de una vez, tu petición más lo que lleva escrito, tiene que caber en su ventana de contexto: Anthropic la llama la «memoria de trabajo» del modelo, distinta de lo que aprendió al entrenarse. Los modelos actuales de Claude admiten hasta 1 millón de tokens. Qué pasa cuando una conversación no cabe lo contamos en qué es la ventana de contexto.

Cómo se entrena un LLM

El entrenamiento va por fases, y cada una cambia aquello en lo que el modelo es bueno.

Preentrenamiento. El modelo lee una colección enorme de texto y aprende a predecir la siguiente palabra. El glosario de Anthropic señala que en esta fase el modelo no es bueno de por sí respondiendo preguntas ni siguiendo instrucciones: ha absorbido gramática, datos y estilos, pero continúa textos en vez de ayudarte.

Ajuste fino. El modelo preentrenado se sigue entrenando con ejemplos del comportamiento que se busca, como buenas respuestas a preguntas. El curso de Google dice que a veces bastan unos cientos o unos miles de ejemplos, porque el modelo de base ya sabe muchísimo.

Aprendizaje con opiniones humanas (RLHF). Varias personas ordenan de mejor a peor distintas respuestas a una misma petición, y el modelo se entrena para preferir respuestas como las mejor valoradas. La demostración más conocida es el artículo de InstructGPT de OpenAI (marzo de 2022): en evaluaciones con personas, las respuestas de un modelo de 1.300 millones de parámetros entrenado así se prefirieron a las de GPT-3, de 175.000 millones, pese a tener 100 veces menos parámetros. Anthropic dice que Claude se ha entrenado con RLHF para ser un asistente más útil.

El entrenamiento termina en una fecha de corte, así que un modelo no sabe lo que pasó después salvo que el producto le dé búsqueda o documentos. Anthropic fija en junio de 2026 el corte de los datos de entrenamiento de sus modelos actuales.

El Transformer: la arquitectura que hay detrás

El curso de Google llama al Transformer la arquitectura más usada y con más éxito para construir LLM. Se presentó en junio de 2017 en el artículo «Attention Is All You Need», de Ashish Vaswani y otros, que proponía una arquitectura basada solo en mecanismos de atención, sin recurrencia ni convoluciones, y demostraba que traducía mejor siendo más fácil de paralelizar y necesitando bastante menos tiempo de entrenamiento.

La idea clave es la autoatención. Para cada token, explica el curso de Google, el modelo se pregunta cuánto influye cada uno de los demás tokens en cómo se interpreta ese. En la frase inglesa «The animal didn't cross the street because it was too tired» («el animal no cruzó la calle porque estaba demasiado cansado»), la atención permite unir «it» con «animal»; si «tired» se cambia por «wide» («ancha»), «it» debería apuntar a «street».

El Transformer original tenía dos mitades: un codificador que lee y un decodificador que escribe. El curso de Google describe también los modelos solo con decodificador, que generan tokens nuevos a partir del texto ya generado y pueden continuar conversaciones y otras peticiones, que es justo el trabajo de un asistente de chat.

Qué significa «grande»: parámetros, expertos y copias pequeñas

Lo «grande» de un LLM son sus parámetros, los números que el modelo ajusta al entrenarse. Según el curso de Google, los LLM superan a los modelos de lenguaje anteriores porque tienen muchos más parámetros y recogen mucho más contexto. Más parámetros suelen dar mejores predicciones, pero también exigen más memoria y más cálculo por token.

Tres ideas matizan el «cuanto más grande, mejor»:

• Mezcla de expertos. Muchos modelos recientes solo usan una parte de sus parámetros en cada token. DeepSeek describe su V4.1 Flash como un modelo de mezcla de expertos de 552.000 millones de parámetros que usa solo 8.000 millones activos para la entrada y 16.000 millones para la salida.
• Calidad del entrenamiento. El resultado de InstructGPT demuestra que cómo se entrena un modelo puede pesar más que su tamaño.
• Copias pequeñas. La destilación entrena un modelo «alumno» más pequeño con las respuestas de un «profesor» más grande. Google explica que el resultado es más rápido y barato de usar, aunque en general no predice tan bien. La cuantización encoge aún más un modelo guardando cada parámetro con menos bits, que es como se ejecutan LLM en un ordenador personal con herramientas como Ollama; lo explicamos en qué es la cuantización y en cómo instalar Ollama.

No todas las empresas publican estas cifras: la página de modelos de Anthropic, por ejemplo, da ventanas de contexto y precios, pero no el número de parámetros.

Lo que un LLM no puede hacer solo

• Puede afirmar cosas falsas con total seguridad. OpenAI define las alucinaciones como afirmaciones plausibles pero falsas y sostiene que el entrenamiento y las evaluaciones premian adivinar frente a decir «no lo sé». Cómo reducirlas está en nuestra guía de alucinaciones de los modelos.
• No conoce lo que pasó después de su fecha de corte, salvo que se le añada una herramienta de búsqueda o tus propios documentos. Meter documentos en la petición se llama RAG; mira qué es RAG.
• No actúa por sí mismo. Un modelo solo produce texto. Los productos le dejan usar herramientas, como búsqueda, ejecución de código o tus aplicaciones, y un LLM que planifica y usa herramientas en bucle hasta lograr un objetivo es lo que se llama un agente.

Así que, cuando comparas ChatGPT, Claude y Gemini, comparas a la vez los modelos de debajo y todo lo que cada empresa construye alrededor; nuestra comparativa Claude vs ChatGPT enseña cuánto pesa ese producto.