Ejecutar un LLM en un VPS sin GPU con Ollama: guía realista

Ejecutar un modelo de lenguaje en tu propio servidor tiene una ventaja evidente: los datos que le envías no salen de la máquina y el coste deja de depender del número de peticiones. Pero la mayoría de las guías suponen que tienes tarjeta gráfica. En un VPS normal, sin GPU, ¿qué puedes esperar realmente?

La respuesta corta: mucho más de lo que parece para algunos usos, mucho menos de lo que se espera para otros. Esta guía da órdenes de magnitud para decidir antes de contratar y muestra cómo instalar Ollama y usarlo desde n8n.

1. Por qué un LLM puede funcionar sin GPU

Dos técnicas lo hacen posible. La primera es la cuantización: los parámetros, almacenados originalmente en 16 bits, se comprimen a unos 4 bits. El modelo ocupa casi cuatro veces menos memoria, con una pérdida de calidad moderada en la mayoría de las tareas. La segunda es el motor llama.cpp, en el que se basa Ollama, optimizado para las instrucciones vectoriales de los procesadores modernos.

En CPU, el factor limitante no es tanto la potencia de cálculo como la velocidad con la que la memoria transfiere datos al procesador. Más allá de cierto número de núcleos, añadir más casi no cambia nada.

2. Cuánta RAM necesitas

El modelo debe caber entero en la RAM, con margen para el sistema, el contexto y otros servicios. Con la cuantización de 4 bits más habitual, las necesidades son aproximadamente:

Si n8n y PostgreSQL funcionan en el mismo servidor, añade de 2 a 4 GB. Un contexto largo, como un documento entero, también consume memoria.

3. Qué velocidad esperar

La velocidad se mide en tokens por segundo; un token equivale de media a unos tres cuartos de palabra en inglés. Las mediciones publicadas en CPU dan estos órdenes de magnitud:

• Modelo de 3 mil millones: unos 15 a 30 tokens por segundo con 6 a 12 vCPU. La respuesta aparece a una velocidad de lectura cómoda.
• De 7 a 8 mil millones: unos 5 a 15 tokens por segundo con 8 a 12 vCPU. Una respuesta de 300 tokens tarda entre 20 segundos y un minuto.
• 14 mil millones: solo unos pocos tokens por segundo. Sirve para procesos nocturnos, no para interactuar.

Antes de producir la primera palabra, el modelo debe leer todo el texto. En CPU, un documento de varias páginas puede tardar decenas de segundos en empezar. Divide los textos largos o resúmelos por etapas.

Además, un servidor en CPU atiende bien una petición cada vez. Diez usuarios simultáneos no verán diez respuestas rápidas, sino una cola.

4. Qué funciona y qué no

Usos adecuados

• Clasificar: asignar una categoría a un correo, un ticket o una opinión.
• Extraer datos: convertir un correo o una factura en JSON estructurado.
• Resumir en segundo plano: documentos o informes por la noche, cuando nadie espera.
• Generar embeddings: estos modelos son pequeños y rápidos en CPU, y son la base de una búsqueda documental interna.
• Tratar datos sensibles: seudonimizar o analizar contenido que no debe salir a un proveedor externo.

Usos a evitar

• Un chat en tiempo real para varios usuarios: la cola resulta frustrante enseguida.
• Razonamientos complejos o generación de código avanzada: los modelos pequeños son claramente inferiores a los grandes modelos disponibles por API.
• Analizar documentos largos al momento: la fase inicial de lectura se hace demasiado larga.

5. Instalar Ollama en el VPS

Con Docker basta un comando. Fíjate en la dirección 127.0.0.1 delante del puerto: Ollama no tiene autenticación y nunca debe exponerse directamente a Internet.

docker run -d --name ollama \
  --restart unless-stopped \
  -p 127.0.0.1:11434:11434 \
  -v ollama:/root/.ollama \
  ollama/ollama

Descarga después un modelo y comprueba que responde:

docker exec -it ollama ollama pull llama3.2:3b
curl http://127.0.0.1:11434/api/generate -d '{
  "model": "llama3.2:3b",
  "prompt": "Clasifica este mensaje como urgente o no urgente: el servidor no responde.",
  "stream": false
}'

Por defecto, Ollama descarga el modelo tras unos minutos de inactividad, y recargarlo añade varios segundos a la siguiente petición. Si el servidor se dedica a esto, mantenlo cargado con -e OLLAMA_KEEP_ALIVE=24h.

6. Conectar Ollama a n8n

Si usas n8n con Docker Compose, lo más sencillo es añadir Ollama como servicio en el mismo archivo. Ambos contenedores comparten una red privada, sin ningún puerto abierto:

  ollama:
    image: ollama/ollama
    restart: unless-stopped
    environment:
      OLLAMA_KEEP_ALIVE: 24h
    volumes:
      - ollama_data:/root/.ollama

Añade ollama_data: a la sección volumes del final del archivo, reinicia con docker compose up -d y descarga el modelo con docker compose exec ollama ollama pull llama3.2:3b.

En n8n, crea una credencial Ollama con la dirección http://ollama:11434. Después puedes usar el nodo Ollama Chat Model como modelo de un nodo AI Agent o de una cadena LLM.

Un esquema eficaz combina ambos: el modelo local clasifica y trata lo sensible o repetitivo, y solo las peticiones complejas van a un modelo por API.

7. API o modelo local: cómo decidir

En calidad de respuesta, los grandes modelos por API siguen muy por delante de lo que puede ejecutar una CPU, y con volúmenes moderados su coste suele ser bajo. Un modelo local se justifica por tres motivos:

• la confidencialidad, cuando los datos no deben salir de tu infraestructura;
• el volumen, cuando miles de pequeñas tareas harían significativa la factura de la API;
• la independencia de la disponibilidad o los cambios de precio de un proveedor.

Si ninguno se aplica, empieza con un modelo por API. Si alguno se aplica, un servidor de 16 GB con un modelo de 7 a 8 mil millones de parámetros es el punto de partida más equilibrado. Consulta nuestras ofertas de VPS NVMe.

Preguntas frecuentes