Faire tourner Llama 70B en local, c'est d'abord une question de mémoire sur la carte graphique. En 4 bits, les poids du modèle pèsent environ 40 Go. Avec le contexte et quelques utilisateurs, comptez environ 58 Go de VRAM. Cette page explique d'où viennent ces chiffres, ce qui change avec Qwen 72B ou gpt-oss-120b, et quels serveurs nous montons à Givisiez pour ces modèles.
Combien de VRAM pour Llama 70B en local
Notre outil de dimensionnement utilise cette formule : besoin ≈ poids du modèle + cache (selon le contexte et le nombre d'utilisateurs) + environ 1,5 Go + 8 %.
- Le poids dépend de la quantification. En 4 bits, Llama 70B pèse environ 40 Go. En 8 bits, à peu près le double.
- Le cache (KV cache) garde en mémoire le texte en cours de traitement. Il grandit avec la longueur du contexte et avec chaque utilisateur actif. C'est lui qui fait passer de 40 à environ 58 Go pour un usage confortable à plusieurs.
- Les 1,5 Go couvrent ce que prennent le pilote et le logiciel. Les 8 % servent de marge.
Ce sont des estimations. Le planificateur de la page Serveurs IA refait le calcul avec votre modèle, votre longueur de contexte et votre nombre d'utilisateurs.
Quelles cartes graphiques pour un modèle 70B
Pour environ 58 Go, il y a deux façons de faire :
- Deux cartes de 32 Go : un Deneb avec 2 × RTX PRO 4500. Le modèle est réparti sur les deux cartes. Ollama, llama.cpp et vLLM savent le faire.
- Une carte de 96 Go : une RTX PRO 6000 Max-Q dans un Cygnus. La configuration logicielle est plus simple, et il reste de la place pour un contexte long ou un deuxième modèle.
Une seule carte de 48 Go (RTX PRO 5000) peut suffire pour une personne avec un contexte court. Dès que vous êtes plusieurs ou que vous travaillez sur de longs documents, vérifiez dans le planificateur.
Les cartes de 16 Go comme la RTX 5070 Ti ou la RTX 5080 ne suffisent pas pour un 70B. Elles conviennent aux modèles de 8B à 14B.
Qwen 72B, gpt-oss-120b, Qwen 235B : les autres modèles de cette taille
- Qwen 2.5 72B : des besoins proches de Llama 70B, un peu plus élevés. Les mêmes configurations conviennent, avec moins de marge.
- gpt-oss-120b, le modèle à poids ouverts d'OpenAI : environ 73 Go. Une RTX PRO 6000 de 96 Go le fait tourner sur une seule carte. C'est un modèle à « mélange d'experts » : seule une petite partie des paramètres travaille pour chaque mot, il répond donc vite pour sa taille.
- Qwen3 235B, lui aussi à mélange d'experts : environ 159 Go, donc deux cartes de 96 Go. Un Cygnus avec 2 × RTX PRO 6000 Max-Q, ou un Pleiades.
Vous hésitez entre un 70B et un 32B ? Testez les deux sur vos propres tâches avant d'acheter, par exemple sur un service en ligne avec des documents fictifs. Sur des tâches simples, un 32B récent fait souvent aussi bien, pour à peu près la moitié de la mémoire (environ 31 Go).
Quel serveur pour Llama 70B en local
Deneb. Tour posable ou rack 4U (SilverStone RM44), carte mère ASUS ProArt X870E-Creator, Ryzen 9000, jusqu'à deux cartes graphiques (de la RTX 5070 Ti à la RTX PRO 5000 48 Go), 10 GbE. Avec 2 × RTX PRO 4500, c'est l'entrée pour un 70B en 4 bits.
Cygnus. Rack 4U, 10 baies hot-swap, ASUS Pro WS W880-ACE SE avec IPMI, Intel Core Ultra, mémoire ECC, jusqu'à deux cartes de la RTX PRO 4000 à la RTX PRO 6000 Max-Q 96 Go. Une carte de 96 Go pour un 70B ou gpt-oss-120b, deux pour Qwen3 235B.
Pleiades. 5U, Threadripper PRO, ASUS Pro WS WRX90E-SAGE SE, jusqu'à quatre cartes graphiques, jusqu'à 2 To de RAM ECC RDIMM, double 10 GbE, IPMI. Pour faire tourner plusieurs gros modèles en même temps ou servir une équipe nombreuse.
Le configurateur vous laisse choisir les cartes et calcule le reste. Les prix changent chaque jour : les prix du jour sont sur la page Serveurs IA.
Ce qui est installé à la livraison
Le serveur est monté et testé en charge à notre atelier de Givisiez. Ubuntu, les pilotes NVIDIA et CUDA sont installés. Vous installez ensuite le logiciel de votre choix : Ollama ou llama.cpp pour démarrer, vLLM pour servir plusieurs utilisateurs, Open WebUI pour l'interface. Si vous ne le faites pas vous-même, votre informaticien ou un partenaire informatique de la région s'en charge.
Garantie 2 ans ; en cas de problème matériel, le serveur revient à l'atelier. Livraison en Suisse uniquement. Pour des exemples d'usage par métier, voyez le serveur IA pour avocats ou le serveur IA pour fiduciaire.
Questions fréquentes
Llama 70B tourne-t-il sur une RTX 5080 ?
Pas correctement. Avec 16 Go, la plus grande partie du modèle doit passer dans la mémoire du processeur, et la génération devient très lente. Pour un 70B en 4 bits, comptez environ 58 Go de VRAM.
Quelle différence entre 4 bits et 8 bits ?
En 8 bits, le modèle prend à peu près deux fois plus de mémoire et reste plus proche de l'original. En 4 bits, la perte de qualité est en général faible pour du résumé et de la rédaction, et la mémoire nécessaire est divisée par deux environ.
Peut-on utiliser ces modèles en entreprise ?
Ça dépend de la licence de chaque modèle. Llama a sa propre licence communautaire, Qwen et gpt-oss ont les leurs selon la version. Lisez la licence du modèle choisi avant de l'utiliser pour votre activité.
Le serveur arrive-t-il avec Ollama ou vLLM installé ?
Non. Il est livré avec Ubuntu, les pilotes NVIDIA et CUDA. Le logiciel d'IA est installé par vous, votre informaticien ou un partenaire informatique de la région.