Modelos en local

Por qué ejecutar un modelo en tu propio ordenador

Un modelo local se ejecuta en tu propio equipo en lugar de en los servidores de una empresa. Tus mensajes y tus archivos se quedan en tu máquina, no hay un precio por token y, una vez descargado el modelo, funciona sin conexión a internet. La contrapartida es el hardware: el modelo tiene que caber en memoria, y la memoria que más importa es la memoria de vídeo (VRAM) de tu tarjeta gráfica, o la memoria unificada de un Mac con chip Apple Silicon. Las guías de esta sección te llevan desde «¿cabrá este modelo?» hasta una instalación que funciona, y enseñan sus cuentas para que puedas comprobarlas. Cuando damos una cifra, procede de los archivos publicados del modelo, de la documentación de NVIDIA o de Ollama, o de un cálculo que explicamos.

Por dónde empezar

Si nunca has ejecutado un modelo en local, sigue las guías en este orden:

1. ¿Cuánta VRAM necesitas para un modelo en local? es la mejor primera parada. Explica la fórmula (pesos, más la caché KV, más un margen) y trae una calculadora: unos 5 GB de pesos para un modelo de 8.000 millones de parámetros en Q4_K_M, unos 20 GB para uno de 32.000 millones y 1 GiB de caché por cada 8.192 tokens de contexto en Llama 3.1 8B.
2. Cómo instalar Ollama te guía en Windows, Mac y Linux, incluido cómo guardar los modelos en otro disco, descarga un modelo que quepa en tu memoria, abre una conversación y muestra cómo comprobar con ollama ps que el modelo se ejecuta de verdad en la GPU.
3. Comandos de Ollama es la chuleta que dejarás abierta después: run, pull, ls, ps, stop y rm, dónde se guardan los modelos y qué variables de entorno cambian el comportamiento.
4. Mejor GPU para modelos en local es para cuando decidas comprar hardware. Relaciona los escalones de VRAM con los modelos que caben, explica por qué el ancho de banda de memoria fija un techo de velocidad y no cita precios ni pruebas de rendimiento, porque no las hemos medido.
5. Ollama vs LM Studio compara las dos aplicaciones más populares por licencia, funciones y API, para que elijas entre una línea de comandos y una aplicación de escritorio.

• Ollama no usa la GPU es la guía para arreglar el problema más común: cómo leer ollama ps, por qué un modelo se reparte entre CPU y GPU, los requisitos de drivers y de AMD, Docker y los ajustes que fuerzan la CPU.
• Ollama vs llama.cpp explica cómo se relacionan (Ollama cita llama.cpp como su motor), los valores por defecto que hay detrás de casi todas las diferencias de velocidad (contexto, peticiones en paralelo, capas en la gráfica), la API y los puertos de cada uno y cuándo conviene más vLLM.
• NPU vs GPU explica qué puede ejecutar la NPU de un PC Copilot+, por qué Ollama y LM Studio siguen usando la GPU y qué herramientas de los fabricantes (el software de NPU de AMD para Ryzen, Intel OpenVINO, Windows ML) sí llegan a la NPU, con los límites que documentan.
• Transcribir audio a texto en local monta Whisper con faster-whisper y da nuestra propia prueba en CPU: diálogo en español con un 3,2 % de palabras mal y un minuto de inglés en unos 11,5 segundos sin errores.
• Cómo usar un LLM en Mac: Ollama, LM Studio y MLX muestra cuánta memoria unificada necesita cada tamaño de modelo y cómo aprovechan Apple silicon Ollama, LM Studio y MLX.
• Open WebUI: cómo instalarlo con Docker y Ollama monta una interfaz de chat privada para modelos locales con Docker y repasa la cuenta de administración, la protección y la licencia.

La regla que lo decide todo

Un modelo que cabe entero en la GPU va rápido. Uno que no cabe se reparte entre la GPU y la memoria del sistema, y cada capa que se ejecuta en el procesador frena la generación. Por eso la pregunta que debes responder antes de descargar nada es cuánta memoria necesitan el modelo y la longitud de contexto que has elegido. Dos ajustes cambian la respuesta más de lo que mucha gente espera. El primero es la cuantización, que guarda los pesos con menos bits y suele decidir si un modelo cabe o no; nuestra guía sobre qué es la cuantización explica Q4_K_M y Q8_0 con datos medidos. El segundo es la longitud del contexto, porque la caché crece en línea recta con ella: qué es la ventana de contexto muestra por qué un contexto más largo cuesta una memoria que quizá no tienes.

Para qué sirve un modelo local y para qué no

Un modelo local encaja con documentos privados, trabajo sin conexión, experimentos, scripts que llaman a un modelo miles de veces y aprender cómo se comportan los modelos. No sustituye a un asistente de primera línea en todas las tareas: los modelos más grandes necesitan mucha más memoria de la que ofrece cualquier tarjeta de consumo, y un modelo pequeño en tu portátil no igualará a los grandes. No ordenamos los modelos locales por calidad, porque no hemos hecho una prueba práctica; te decimos qué cabe y cómo medir el resultado con tu propio trabajo. Si solo necesitas una respuesta de vez en cuando, una suscripción es más sencilla, y nuestra guía de alternativas a ChatGPT incluye un modelo local entre las siete opciones. Si construyes software, compara el coste de funcionamiento de tu propio hardware con el precio por token de las principales API.

Seguridad y privacidad

Ejecutar en local mantiene tus datos en tu máquina, pero no hace que el modelo acierte. Los modelos locales también pueden inventarse datos, igual que los alojados en la nube, así que lee por qué ocurren las alucinaciones de los modelos antes de fiarte de una respuesta. Recuerda además que un puerto de API local es accesible para otros programas del mismo ordenador: mantén la dirección por defecto salvo que sepas por qué la cambias.

Qué leer después

Si quieres que un modelo local ejecute acciones, como buscar en archivos o llamar a herramientas, lee qué es un agente y qué es MCP. Si quieres que conteste a partir de tus propios documentos, empieza por qué es RAG.