Qué es un token en un modelo de lenguaje

¿Qué es un token en un modelo de lenguaje? Un token es la unidad que un modelo de lenguaje lee y escribe. Los modelos no ven letras ni palabras directamente: parten el texto en tokens, que pueden ser un solo carácter, parte de una palabra, una palabra entera o un signo de puntuación. Todo en el uso de un modelo se mide en tokens: cuánto texto puede recibir de una vez (su ventana de contexto), cuánto puede durar su respuesta y cuánto cobra la API. Esta guía explica cómo el texto se convierte en tokens, a cuántas palabras equivale un token, por qué el español y el francés necesitan más tokens que el inglés (lo hemos medido) y cómo se cobran, con la documentación de los propios fabricantes comprobada el 6 de octubre de 2026.

Cómo se convierte el texto en tokens

OpenAI describe el proceso en tres pasos: el texto se divide en tokens, el modelo los procesa y el modelo genera tokens de salida. Google pone como ejemplos un solo carácter, como «z», o una palabra entera, como «cat», explica que las palabras largas se parten en varios tokens y llama vocabulario al conjunto de todos los tokens que conoce un modelo.

Los detalles importan más de lo que parece. OpenAI señala que «red», «Red» y « red» (con un espacio delante) son textos distintos y pueden convertirse en tokens distintos. Los identificadores de los tokens también dependen de la codificación del modelo, así que un identificador de ejemplo no sirve para todos.

¿A cuántas palabras equivale un token?

Cada proveedor publica una regla aproximada para el inglés:

Tabla: reglas aproximadas de tokens para texto en inglés

Son estimaciones y las dos empresas lo dicen. OpenAI añade que el mismo texto puede dar recuentos de tokens distintos según el modelo, su codificación y el idioma. Incluso dentro de una misma empresa, los recuentos cambian entre generaciones de modelos: Anthropic dice que el tokenizador de Claude 4.7 y posteriores produce aproximadamente un 30 % más de tokens para el mismo texto que el anterior.

¿Usa el español más tokens que el inglés?

Sí, con las codificaciones que probamos. OpenAI avisa de que en otros idiomas la relación entre caracteres, palabras y tokens puede ser distinta, pero no publica una cifra, así que la medimos nosotros. Tomamos los artículos 1 a 5 de la Declaración Universal de los Derechos Humanos en las versiones inglesa, española y francesa publicadas por Naciones Unidas y contamos sus tokens con dos codificaciones abiertas de OpenAI, usando la biblioteca de código abierto gpt-tokenizer (versión 4.0.0), una versión en JavaScript de tiktoken, el tokenizador de OpenAI.

Tabla: tokens del mismo texto jurídico en tres idiomas (medición nuestra, 6 de octubre de 2026)

El recetario de OpenAI indica o200k_base para gpt-4o y gpt-4o-mini, y cl100k_base para gpt-4, gpt-4-turbo y gpt-3.5-turbo. Con la codificación más nueva, el texto en español necesita un 22 % más de tokens que el inglés y el francés un 33 % más; con la antigua, un 48 % y un 59 % más. Son unos 1,2 tokens por palabra en inglés frente a 1,4 en español con la codificación más nueva.

Tómalo como un ejemplo medido de una tendencia, no como una predicción. Un solo texto jurídico es una muestra pequeña, los tokenizadores de los modelos actuales no están todos publicados y Anthropic y Google usan los suyos. Pero la dirección importa a quien escribe en un idioma que no es el inglés: los precios de las API, los límites de uso y las ventanas de contexto se cuentan en tokens, así que el mismo contenido puede costar más y llenar antes la ventana. OpenAI hace la misma advertencia al comparar modelos: un precio más bajo por millón de tokens «does not necessarily produce a lower total cost», porque los modelos parten el mismo texto de forma distinta. Para tu propio contenido, cuenta una muestra con la herramienta del modelo que uses.

Las imágenes, el audio y el vídeo también son tokens

En los modelos Gemini, la documentación de Google cuenta como 258 tokens una imagen de hasta 384 píxeles en las dos dimensiones, y las imágenes mayores se parten en teselas de 768 por 768 píxeles de 258 tokens cada una. El audio son 32 tokens por segundo (1.920 tokens por 60 segundos) y el vídeo, en su modo por defecto, unos 100 tokens por segundo en la resolución baja predeterminada (unos 6.000 tokens por 60 segundos) o unos 300 en resolución alta. Una imagen en un prompt no sale gratis: ocupa parte de la ventana y se cobra como el texto.

Tokens de entrada, de salida, en caché y de razonamiento

Las API cobran los tokens en varias categorías:

• Tokens de entrada: todo lo que envías, incluidas las instrucciones, los documentos, el historial de la conversación y las definiciones de herramientas.
• Tokens de salida: lo que escribe el modelo. Suelen costar varias veces más que los de entrada; mira precios de las API de modelos comparados.
• Tokens de entrada en caché: entrada repetida que el proveedor puede reutilizar, cobrada a una tarifa menor.
• Tokens de razonamiento (de «pensar»): los modelos de razonamiento «piensan» antes de responder. OpenAI dice que esos tokens no se muestran como texto de respuesta pero cuentan para el uso de salida y se cobran como tokens de salida, y Anthropic dice lo mismo de los tokens de pensamiento de Claude. Una respuesta corta puede usar muchos más tokens de los que parece.

En una suscripción de chat no ves esas facturas, pero las mismas unidades están detrás de los límites de uso: nuestras guías de el precio de Claude y de cuánto cuesta ChatGPT en España explican cómo describe cada plan sus límites.

Tokens y ventana de contexto

La ventana de contexto es el máximo de tokens con el que un modelo puede trabajar en una petición, contando tu entrada y la salida que genera. Se mide en la unidad que describe esta guía y, si ejecutas un modelo en tu propio ordenador, cuesta memoria: mira qué es la ventana de contexto para los tamaños de los modelos actuales y lo que pasa al llenarla, y nuestra calculadora de VRAM para el caso local.

Cómo contar tokens con exactitud

• OpenAI: su página Tokenizer muestra cómo se parte un texto; para programar, la biblioteca tiktoken con la codificación de tu modelo; para una petición completa con imágenes, archivos y herramientas, su API de recuento de tokens de entrada.
• Anthropic: una API de recuento de tokens que es «gratuita», sujeta a límites de peticiones por minuto. Anthropic dice que el recuento es una estimación y que no se reutilicen recuentos medidos en un modelo anterior a Claude Opus 4.7 para estimar costes en uno más nuevo.
• Google: un método de recuento de tokens en la API de Gemini y las cifras de uso que se devuelven con cada respuesta.

Para cualquier cosa que afecte a un presupuesto, cuenta una muestra de tus prompts reales con la herramienta del propio proveedor en lugar de fiarte de reglas aproximadas.