Wer Llama 70B lokal betreiben will, muss vor allem auf den Grafikspeicher schauen. In 4 Bit wiegen die Gewichte des Modells etwa 40 GB. Mit Kontext und einigen Nutzern rechnen Sie mit etwa 58 GB VRAM. Hier steht, woher diese Zahlen kommen, was sich bei Qwen 72B oder gpt-oss-120b ändert und welche Server wir in Givisiez dafür bauen.
Wie viel VRAM braucht Llama 70B lokal
Unser Planer rechnet so: Bedarf ≈ Gewicht des Modells + Cache (je nach Kontext und Anzahl Nutzer) + etwa 1,5 GB + 8 %.
- Das Gewicht hängt von der Quantisierung ab. In 4 Bit wiegt Llama 70B etwa 40 GB, in 8 Bit ungefähr das Doppelte.
- Der Cache (KV-Cache) hält den Text im Speicher, der gerade verarbeitet wird. Er wächst mit der Kontextlänge und mit jeder aktiven Person. Er macht den Unterschied zwischen 40 und rund 58 GB, wenn mehrere Leute bequem damit arbeiten.
- Die 1,5 GB decken Treiber und Software ab, die 8 % sind Reserve.
Das sind Schätzungen. Der Planer auf der Seite KI-Server rechnet mit Ihrem Modell, Ihrer Kontextlänge und Ihrer Anzahl Nutzer.
Welche Grafikkarten für ein 70B-Modell
Für rund 58 GB gibt es zwei Wege:
- Zwei Karten mit je 32 GB: ein Deneb mit 2 × RTX PRO 4500. Das Modell wird auf beide Karten verteilt. Ollama, llama.cpp und vLLM können das.
- Eine Karte mit 96 GB: eine RTX PRO 6000 Max-Q in einem Cygnus. Die Software ist einfacher einzurichten, und es bleibt Platz für langen Kontext oder ein zweites Modell.
Eine einzelne Karte mit 48 GB (RTX PRO 5000) kann für eine Person mit kurzem Kontext reichen. Sobald mehrere Personen oder lange Dokumente ins Spiel kommen, prüfen Sie es im Planer.
Karten mit 16 GB wie die RTX 5070 Ti oder die RTX 5080 reichen für ein 70B-Modell nicht. Sie passen für Modelle mit 8B bis 14B.
Qwen 72B, gpt-oss-120b, Qwen 235B: weitere Modelle dieser Grösse
- Qwen 2.5 72B: ähnlicher Bedarf wie Llama 70B, etwas höher. Dieselben Konfigurationen passen, mit weniger Reserve.
- gpt-oss-120b, das Modell mit offenen Gewichten von OpenAI: etwa 73 GB. Eine RTX PRO 6000 mit 96 GB betreibt es auf einer einzigen Karte. Es ist ein «Mixture of Experts»-Modell: Pro Wort arbeitet nur ein kleiner Teil der Parameter, deshalb antwortet es für seine Grösse schnell.
- Qwen3 235B, ebenfalls Mixture of Experts: etwa 159 GB, also zwei Karten mit 96 GB. Ein Cygnus mit 2 × RTX PRO 6000 Max-Q oder ein Pleiades.
Sie schwanken zwischen 70B und 32B? Testen Sie beide mit Ihren eigenen Aufgaben, bevor Sie kaufen, zum Beispiel bei einem Online-Dienst mit erfundenen Dokumenten. Bei einfachen Aufgaben ist ein aktuelles 32B-Modell oft gleich gut und braucht etwa die Hälfte des Speichers (rund 31 GB).
Welcher Server für Llama 70B lokal
Deneb. Tower oder Rack mit 4 HE (SilverStone RM44), ASUS ProArt X870E-Creator, Ryzen 9000, bis zu zwei Grafikkarten (von der RTX 5070 Ti bis zur RTX PRO 5000 mit 48 GB), 10 GbE. Mit 2 × RTX PRO 4500 der Einstieg für ein 70B-Modell in 4 Bit.
Cygnus. Rack mit 4 HE, 10 Hot-Swap-Schächte, ASUS Pro WS W880-ACE SE mit IPMI, Intel Core Ultra, ECC-Speicher, bis zu zwei Karten von der RTX PRO 4000 bis zur RTX PRO 6000 Max-Q mit 96 GB. Eine 96-GB-Karte für ein 70B-Modell oder gpt-oss-120b, zwei für Qwen3 235B.
Pleiades. 5 HE, Threadripper PRO, ASUS Pro WS WRX90E-SAGE SE, bis zu vier Grafikkarten, bis 2 TB ECC-RDIMM, zweimal 10 GbE, IPMI. Für mehrere grosse Modelle gleichzeitig oder ein grosses Team.
Im Konfigurator wählen Sie die Karten, den Rest rechnet er aus. Die Preise ändern sich täglich: Die aktuellen Preise stehen auf der Seite KI-Server.
Was bei der Lieferung installiert ist
Der Server wird in unserer Werkstatt in Givisiez montiert und unter Last getestet. Ubuntu, die NVIDIA-Treiber und CUDA sind installiert. Die Software wählen Sie danach selbst: Ollama oder llama.cpp für den Einstieg, vLLM für mehrere Nutzer, Open WebUI als Oberfläche. Wenn Sie das nicht selbst machen, übernimmt es Ihr Informatiker oder ein IT-Partner aus der Region.
2 Jahre Garantie; bei einem Hardwareproblem kommt der Server in die Werkstatt zurück. Lieferung nur innerhalb der Schweiz. Beispiele aus der Praxis finden Sie unter KI-Server für Anwaltskanzleien und KI-Server für Treuhand.
Häufige Fragen
Läuft Llama 70B auf einer RTX 5080?
Nicht sinnvoll. Mit 16 GB muss der grösste Teil des Modells in den Arbeitsspeicher des Prozessors, und die Ausgabe wird sehr langsam. Für ein 70B-Modell in 4 Bit rechnen Sie mit etwa 58 GB VRAM.
Was ist der Unterschied zwischen 4 Bit und 8 Bit?
In 8 Bit braucht das Modell etwa doppelt so viel Speicher und bleibt näher am Original. In 4 Bit ist der Qualitätsverlust beim Zusammenfassen und Schreiben meist gering, und der Speicherbedarf halbiert sich ungefähr.
Darf man diese Modelle im Unternehmen nutzen?
Das hängt von der Lizenz des jeweiligen Modells ab. Llama hat eine eigene Community-Lizenz, Qwen und gpt-oss haben je nach Version ihre eigenen. Lesen Sie die Lizenz, bevor Sie ein Modell geschäftlich einsetzen.
Ist Ollama oder vLLM bei der Lieferung installiert?
Nein. Der Server kommt mit Ubuntu, NVIDIA-Treibern und CUDA. Die KI-Software installieren Sie selbst, Ihr Informatiker oder ein IT-Partner aus der Region.