-
Requerimientos de VRAM para los diferentes modelos LLM de Ollama
Si queremos montar un servidor de inteligencia artificial donde corramos Ollama + Open WebUI y basemos todo el procesamiento en una tarjeta gráfica, estos son los requerimientos de memoria de video necesarios para cada modelo LLM (sólo he puesto los más interesantes):
- llama3 8b: 5,6 GB de VRAM.
- llama3 8b-instruct-fp16: 15,6 GB de VRAM.
- llama3 70b: x GB de VRAM.
- llama3 70b-instruct-fp16: x GB de VRAM.
- mistral 7b: 5,2 GB de VRAM.
- mistral 7b-instruct-fp16: 14,9 GB de VRAM.
- phi3 3.8b: 4,1 GB de VRAM.
- phi3 3.8b-mini-128k-instruct-f16: 9 GB de VRAM.
- phi3 14b: 9 GB de VRAM.
- phi3 14b-medium-128k-instruct-f16: 15,3 GB de VRAM.
Categorías
- Categorías
- Actualizadas constantemente (21)
- Almacenamiento (2)
- Apple (42)
- Hackintosh (18)
- iOS (1)
- macOS (4)
- OSX (3)
- Apps (3)
- Bases de datos (2)
- Ciencia ficción (4)
- Compras por Internet (26)
- Criptomonedas (6)
- Deporte (1)
- Domótica (2)
- Emulación (2)
- Eventos (11)
- Formación (1)
- Gadgets (19)
- Tablets (2)
- Gaming (15)
- hackesfera (1)
- CTFs (1)
- Hacks para el día a día (1)
- hacks4geeks (7)
- Hardware informático (62)
- Haters (1)
- hostapd (8)
- Impresoras (2)
- Informática (154)
- Inteligencia artificial (1)
- Leyes y derechos (4)
- Libros (1)
- Ofimática (1)
- Podcast (5)
- Premium (1)
- Programación (7)
- Scripts (1)
- Raspberry (4)
- Redes (46)
- Salud (1)
- Seguridad (10)
- Servidores (63)
- HPE MicroServers (27)
- NAS (4)
- Sin categoría (108)
- Sistemas operativos (84)
- Social (3)
- Tecnorelatos (6)
- Telefonía (8)
- Telefonía móvil (10)
- Televisión (2)
- Turismo geek (1)
- Videoconsolas (6)
- Videos (33)
- Virtualización (22)
- VLog (4)