LLM-Server kaufen: Sprachmodelle im eigenen Haus betreiben

Ein LLM-Server ist ein GPU-Server, auf dem ein großes Sprachmodell im eigenen Haus läuft, statt über eine fremde Programmierschnittstelle. Entscheidend ist der Grafikspeicher: Das Modell muss vollständig hineinpassen, dazu der Zwischenspeicher für die laufenden Unterhaltungen. Bei Nelpx reicht die Spanne von einer einzelnen Karte mit 32 GB für kleine Modelle bis zu einem Acht-GPU-Knoten mit 1,1 bis 2,1 TB für Modelle mit mehreren hundert Milliarden Parametern.

Als Rechnung: Parameterzahl mal Byte je Parameter, plus Zwischenspeicher, plus rund 15 Prozent Reserve. Ein Byte je Parameter entspricht FP8, zwei Byte FP16, ein halbes Byte INT4. Llama 3.3 70B braucht damit rund 71 GB in FP8 und rund 141 GB in FP16, jeweils vor dem Zwischenspeicher. DeepSeek-R1 mit 671 Milliarden Parametern liegt in FP8 bei rund 671 GB und passt damit in einen Acht-GPU-Knoten, nicht auf eine einzelne Karte.

Modelle bis etwa 8 Milliarden Parameter laufen auf einer RTX PRO 4500 Server Edition mit 32 GB oder einer NVIDIA L40S mit 48 GB. Für Modelle bis rund 32 Milliarden Parameter passt eine RTX PRO 6000 Server Edition mit 96 GB, für 70 Milliarden in FP8 eine H200 NVL mit 141 GB. Ab etwa 100 Milliarden Parametern braucht es mehrere Karten in einem Knoten, ab mehreren hundert Milliarden eine HGX-Plattform mit acht GPUs. Der Rechner auf dieser Seite ordnet Ihr Modell konkret zu.

Der KV-Cache hält die bereits verarbeiteten Token einer Unterhaltung im Speicher, damit das Modell sie nicht erneut berechnen muss. Er wächst mit der Kontextlänge und mit jeder gleichzeitigen Anfrage. Bei Llama 3.3 70B sind es rund 312 MiB je 1.000 Token und Anfrage: 20 gleichzeitige Unterhaltungen mit 8.000 Token Kontext belegen damit etwa 50 GB zusätzlich - so viel wie eine komplette L40S.

Für Entwicklung und Erprobung ja, für den Mehrbenutzerbetrieb nein. Der DGX Spark hat zwar 128 GB gemeinsamen Speicher und damit mehr als eine H200 NVL, erreicht aber nur 273 GB/s Speicherbandbreite gegenüber 4,8 TB/s bei der H200. Da die Textausgabe eines Sprachmodells fast vollständig von der Bandbreite abhängt, ist der Spark ein hervorragendes Entwicklungsgerät und ein schlechter Produktionsserver.

Bei Nelpx beginnt eine einzelne Serverkarte für kleine Modelle bei 4.400 € netto (RTX PRO 4500 Server Edition, 32 GB); die nächstgrößere Stufe ist eine NVIDIA L40S mit 48 GB ab 9.600 € netto. Eine RTX PRO 6000 Server Edition mit 96 GB kostet 15.200 € netto, eine H200 NVL mit 141 GB ab 26.200 € netto. Ein kompletter Acht-GPU-Server mit RTX-PRO-Karten liegt ab 149.000 € netto, eine HGX-Plattform ab 370.000 € netto. Die laufenden Kosten rechnen Sie auf unserer Seite zu den Gesamtkosten eines GPU-Servers durch.

Verbreitet sind vLLM und NVIDIA TensorRT-LLM als Inferenz-Server, dazu NVIDIA NIM als fertig paketierte Variante und Ollama für Einzelplätze. Alle stellen eine zur OpenAI-Schnittstelle kompatible Programmierschnittstelle bereit, sodass bestehende Anwendungen meist nur die Adresse wechseln müssen. Nelpx liefert die Hardware vorbereitet aus; die Auswahl des Inferenz-Servers klären wir im Projektgespräch.

Vor allem wegen der Daten: Auf eigener Hardware verlässt kein Prompt und kein Dokument das Haus, was Betriebsvereinbarungen, Berufsgeheimnisse und Datenschutzprüfungen deutlich vereinfacht. Dazu kommen planbare Kosten ohne Abrechnung je Token und die Freiheit, ein Modell dauerhaft in einer geprüften Version zu betreiben. Dagegen sprechen der einmalige Anschaffungsaufwand und der Betrieb, den jemand übernehmen muss.

Eine seriöse Zahl lässt sich ohne Test nicht nennen, weil sie an Modell, Kontextlänge, Antwortlänge und Inferenz-Server hängt. Planbar ist dagegen der Speicher: Jede gleichzeitige Anfrage belegt Zwischenspeicher, und wenn der voll ist, stellt der Server weitere Anfragen in die Warteschlange. Der Rechner auf dieser Seite zeigt genau diesen Zusammenhang - Nelpx nennt bewusst keine Tokens-pro-Sekunde-Zusage.

Quantisierung speichert die Modellgewichte mit weniger Bit. Von FP16 auf FP8 halbiert sich der Speicherbedarf, von FP16 auf INT4 sinkt er auf ein Viertel. Moderne Modelle mit vielen Experten vertragen das gut, weil der Fehler auf einzelne Experten begrenzt bleibt. Manche Modelle liegen bereits nativ in kleinem Format vor: gpt-oss wird in MXFP4 ausgeliefert und passt deshalb mit 117 Milliarden Parametern auf eine einzelne 80-GB-Karte.

Sobald ein Modell über mehrere GPUs verteilt wird, tauschen die Karten bei jedem Token Zwischenergebnisse aus. Über NVLink läuft das deutlich schneller als über PCIe. Für ein Modell, das auf eine Karte passt, spielt NVLink keine Rolle; für ein auf acht Karten verteiltes Modell ist es der Unterschied zwischen flüssig und zäh. Die H200 NVL lässt sich dafür über steckbare Brücken zu Zweier- oder Vierergruppen koppeln - eine Vierergruppe wirkt wie ein Beschleuniger mit 564 GB. HGX-Plattformen haben NVLink fest auf der Platine.

Nelpx liefert LLM-Server EU-weit, von der einzelnen Beschleunigerkarte bis zur HGX-Plattform mit acht GPUs, als offizieller GIGABYTE-Partner auch direkt über den Herstellerkanal. Sie schicken uns Modell, Kontextlänge und die erwartete Zahl gleichzeitiger Nutzer; wir stellen das passende System zusammen und nennen Preis und Liefertermin.