KI-Server für Unternehmen: kaufen, mieten oder Cloud?
Kurz gesagt: Wie groß ein KI-Server sein muss, bestimmt vor allem das Modell, denn es muss vollständig in den Speicher passen, und wie viele Personen gleichzeitig fragen, entscheidet über die Ausbaustufe. Ein gemieteter GPU-Server in der Cloud ist bequem, aber nicht lokal.
Dieser Ratgeber hilft Geschäftsführung und IT-Leitung bei der Frage, ob ein eigener KI-Server zum Unternehmen passt. Er erklärt, was die Größe bestimmt, zeigt drei Ausbaustufen mit Herstellerangaben, ordnet die Lizenzen offener Modelle ein und liefert einen Rechenweg für den Vergleich mit der Cloud. Ob lokale KI grundsätzlich der richtige Weg für dich ist, beantwortet unsere Übersichtsseite.
Das Wichtigste in Kürze
- Der Speicher zählt mehr als die Rechenleistung. Passt das Modell nicht vollständig in den Speicher der Grafikeinheit, läuft es gar nicht oder sehr langsam.
- Die Personenzahl bestimmt die Ausbaustufe. Entscheidend ist, wie viele gleichzeitig fragen, nicht wie viele Mitarbeitende es insgesamt gibt.
- Offene Modelle haben unterschiedliche Lizenzen. gpt-oss steht unter Apache 2.0, Llama unter einer eigenen Community-Lizenz von Meta, Mistral-Modelle je nach Modell unter verschiedenen Lizenzen.
- Miete in der Cloud ist nicht lokal. Ein gemieteter GPU-Server steht im Rechenzentrum des Anbieters, auch wenn nur du ihn nutzt.
- Die Hardware ist nur ein Kostenblock. Einrichtung, Betrieb, Strom und Schulung gehören in jeden Vergleich.
Lohnt sich ein eigener Server? Fünf Ja/Nein-Fragen
Je mehr Antworten „Ja“ lauten, desto eher lohnt sich ein genauerer Blick auf lokale KI.
- Dürfen die Daten, mit denen die KI arbeiten soll, aus fachlichen oder vertraglichen Gründen das Haus nicht verlassen?
- Ist die Nutzung absehbar und regelmäßig, also mehr als ein Experiment?
- Gibt es jemanden, der Updates, Sicherheit und Ausfälle verantwortet?
- Kommst du mit offenen Modellen für deine Aufgaben aus, was du im Test mit deinen Dokumenten prüfst?
- Kannst du Anschaffung, Strom und Betrieb über mehrere Jahre einplanen?
Sind es überwiegend „Nein“, ist ein Cloud-Dienst mit Unternehmensvertrag oft der schnellere Start. Den Einstieg dafür beschreibt unser Artikel zu KI und Datenschutz, den Rechtsrahmen zum Cloud-Zugriff US-amerikanischer Anbieter der Artikel zu europäischer KI und dem CLOUD Act.
In Einführungsprojekten hat sich bewährt, Datenschutzbedenken zuerst über Vertrag und Konfiguration zu lösen: Business-Vertrag, Training ausgeschaltet, eng geschnittene Zugriffsrechte und EU-Hosting bringen ein Team oft schneller ans Ziel als eigene Hardware. Eigene Hardware lohnt, wenn die Daten das Haus tatsächlich nicht verlassen dürfen.
Fazit: Ein eigener Server lohnt sich bei klarem Bedarf an Datenhoheit, absehbarer Nutzung und geklärter Betriebsverantwortung.
Was bestimmt die Größe eines KI-Servers?
Drei Größen entscheiden: wie groß das Modell ist, wie viele Personen gleichzeitig fragen und wie schnell die Antwort kommen soll.
Modellgröße und Speicher. Ein Sprachmodell besteht aus Milliarden Parametern, die beim Antworten vollständig im Speicher liegen müssen. Wie viel Platz ein Parameter braucht, hängt davon ab, wie stark das Modell komprimiert (quantisiert) ist; weniger Bit sparen laut Hugging Face Speicher und kosten etwas Genauigkeit. Als grobe Ableitung von uns, nicht als Herstellerangabe: Bei reiner Speicherung mit vier Bit je Parameter braucht ein Modell mit 120 Milliarden Parametern rund 60 GB, dazu kommt Platz für die laufenden Anfragen. Ein Beispiel mit Herstellerquelle: OpenAI gibt an, dass gpt-oss-120b mit 4-Bit-Komprimierung (MXFP4) der meisten Gewichte auf eine einzelne Grafikkarte mit 80 GB passt (gpt-oss auf GitHub).
Gleichzeitige Nutzer:innen. Jede laufende Anfrage braucht zusätzlichen Speicher und Rechenzeit. Fragen zehn Personen gleichzeitig, muss das System zehn Antworten parallel erzeugen. Darum wächst die Hardware mit der Zahl der gleichzeitigen Anfragen, nicht mit der Zahl der Konten. Auch lange Dokumente kosten Speicher: Der Zwischenspeicher des Modells (KV-Cache) kann laut Hugging Face einen erheblichen Teil des Speichers belegen und bei langem Kontext zum Engpass werden.
Antwortzeit. Wie schnell Text erscheint, hängt stark von der Speicherbandbreite ab, also davon, wie schnell die Grafikeinheit Daten aus dem Speicher lesen kann. Herstellerangaben zur Rechenleistung, etwa in PFLOP, sind theoretische Spitzenwerte und sagen wenig über die Antwortzeit im Büro.
Fazit: Wähle zuerst das Modell, dann die Hardware, die es für dein Team schnell genug ausführt.
Drei Ausbaustufen
Die Personenzahlen sind unsere grobe Einschätzung für Büroaufgaben wie Fragen an Dokumente und Textentwürfe. Die technischen Angaben stammen von den Herstellern.
| Personen | Gerät | Speicher laut Hersteller | Ausfallsicherheit | Typischer Einsatz |
|---|---|---|---|---|
| 1 bis 2 | Kompaktsystem mit NVIDIA GB10, zum Beispiel NVIDIA DGX Spark | 128 GB gemeinsam für Prozessor und Grafik | ein Gerät, keine Redundanz | Fragen an eigene Dokumente, Entwürfe, Zusammenfassungen |
| bis etwa 10 | zwei GB10-Systeme, direkt verbunden | zusammen 256 GB | Der Verbund dient vor allem größeren Modellen; einen Ausfallschutz belegt NVIDIA nicht | gemeinsames Firmenwissen, mehrere Anfragen parallel |
| mehr als 10 | Rack-Server, zum Beispiel HPE ProLiant DL380a Gen12 mit NVIDIA RTX PRO 6000 Blackwell Server Edition | 96 GB je Grafikkarte | Fernwartung per iLO laut Hersteller; Redundanz, etwa der Netzteile, im Datenblatt der konkreten Konfiguration prüfen | KI für mehrere Abteilungen, große Dokumentmengen |
Kompaktsystem mit NVIDIA GB10
Laut NVIDIA hat der DGX Spark einen Prozessor mit 20 Arm-Kernen und in der Ausführung mit 128 GB einen Speicher, den Prozessor und Grafik gemeinsam nutzen, mit 273 GB/s Bandbreite. Für diese Ausführung nennt NVIDIA Modelle mit bis zu 200 Milliarden Parametern auf einem Gerät und bis zu 400 Milliarden mit zwei verbundenen Geräten. Die Rechenleistung gibt NVIDIA mit bis zu 1 PFLOP an, als theoretischen FP4-Wert unter Nutzung von Sparsity.
Das Gerät misst laut Hardware-Dokumentation 150 × 150 × 50,5 mm, wiegt 1,2 kg und wird mit einem externen 240-W-Netzteil betrieben. Zwei Geräte lassen sich laut Hardware-Dokumentation über die ConnectX-7-Anschlüsse direkt verbinden; zu Redundanz oder Ausfallschutz im Verbund macht die Dokumentation keine Angabe, und die externe Stromversorgung ist ein einzelnes Netzteil. Neben dem DGX Spark von NVIDIA bauen auch andere Hersteller Systeme mit dem GB10-Chip; deren Ausstattung prüfst du im jeweiligen Datenblatt.
Rack-Server mit Rechenzentrums-Grafikkarten
Für größere Teams kommt ein Server im Rack in Frage. Laut HPE nimmt der ProLiant DL380a Gen12 bis zu acht NVIDIA RTX PRO 6000 Blackwell Server Edition auf und wird über HPE iLO 7 aus der Ferne verwaltet. Jede dieser Karten hat laut NVIDIA 96 GB GDDR7-Speicher mit Fehlerkorrektur, eine Bandbreite von 1.597 GB/s und eine Leistungsaufnahme von bis zu 600 W. Mit Multi-Instance GPU lässt sich eine Karte in bis zu vier voneinander isolierte Instanzen teilen, etwa für getrennte Abteilungen. Ein solcher Server kann mit wenigen Karten starten und später erweitert werden.
Und mit AMD?
Es gibt auch Kompaktsysteme mit dem AMD Ryzen AI Max+ 395, der laut AMD bis zu 128 GB gemeinsamen Speicher und eine integrierte Radeon-8060S-Grafik mitbringt. Sie laufen mit offener Software wie Linux und ROCm. Welche Modelle darauf wie schnell laufen, solltest du vor dem Kauf mit deinem Wunschmodell testen.
Standort und Test vor dem Kauf
Ein Kompaktsystem mit 240-W-Netzteil steht auf dem Schreibtisch oder im Regal und braucht keinen Serverraum. Ein Rack-Server mit Grafikkarten, die laut NVIDIA je bis zu 600 W aufnehmen, braucht dagegen passende Stromversorgung, Kühlung und Platz im Rack, dazu eine Regelung für Wartung und Ersatzteile. Weitere Prüfpunkte sind Lärm und Abwärme am Aufstellort sowie ein Backup von Konfiguration und Dokumentenindex. Bevor du kaufst, teste dein Wunschmodell mit deinen eigenen Dokumenten und mit so vielen gleichzeitigen Anfragen, wie im Alltag vorkommen, etwa auf einem Leihgerät oder einem gemieteten Server.
Fazit: Für ein kleines Team reicht ein Kompaktsystem, ab mehreren gleichzeitigen Anfragen lohnen sich zwei Geräte oder ein erweiterbarer Server.
Welche Modelle laufen darauf, und unter welcher Lizenz?
Lokal laufen offene Modelle, deren Gewichte die Hersteller zum Herunterladen freigeben. Für den Einsatz im Unternehmen ist die Lizenz so wichtig wie die Qualität.
- gpt-oss von OpenAI steht laut Repository unter der Apache-2.0-Lizenz, die kommerzielle Nutzung erlaubt.
- Llama 3.3 von Meta steht unter der Llama 3.3 Community License. Sie erlaubt die kommerzielle Nutzung unter Bedingungen. Dazu können eine Nutzungsrichtlinie von Meta (Acceptable Use Policy) und, wenn du Llama oder ein Produkt damit weitergibst, Kennzeichnungs- und Hinweispflichten gehören. Welche Bedingungen für deinen Einsatz gelten, prüfst du am Lizenztext und klärst im Zweifel mit deiner Rechtsberatung.
- Mistral veröffentlicht Modelle unter verschiedenen Lizenzen. Laut Modellübersicht stehen etwa Mistral Small 4 und die Ministral-3-Modelle unter Apache 2.0, Mistral Large 4 dagegen unter der Mistral Ecosystem Open Weight License.
Lizenzen gelten je Modellversion und ändern sich mit neuen Versionen. Prüf deshalb die Lizenz des konkreten Modells, bevor du es produktiv einsetzt.
Fazit: „Offen“ heißt nicht automatisch „frei für alles“; die Lizenz gehört zur Modellauswahl.
Kaufen, mieten oder Cloud?
Es gibt drei Wege zu einem KI-Server, und nur einer davon ist lokal. Die Abwägung ist unsere Einschätzung.
- Kaufen und im eigenen Haus betreiben. Die Daten bleiben in deinem Netz, und du bestimmst Modell und Updates. Dafür trägst du die Anschaffung, den Betrieb und das Risiko, dass die Hardware in einigen Jahren für neue Modelle zu klein ist.
- GPU-Server in der Cloud mieten. Du startest schnell, zahlst laufend und kannst die Größe ändern. Der Server steht aber im Rechenzentrum des Anbieters; für Datenschutz und Verträge gilt dasselbe wie bei anderen Cloud-Diensten. Lokal ist das nicht.
- KI-Dienst in der Cloud nutzen. Du nutzt große Modelle ohne eigene Hardware und zahlst je Nutzer:in oder Nutzung. Was du dabei vertraglich prüfen solltest, beschreibt unser Artikel zu KI und Datenschutz.
Fazit: Kaufen passt, wenn Daten das Haus nicht verlassen sollen und die Nutzung absehbar ist; mieten passt, wenn Bedarf und Größe noch offen sind.
Was kostet ein KI-Server? Ein Rechenweg
Ob sich ein eigener Server rechnet, hängt an Größen, die du selbst am besten kennst. Wir nennen hier bewusst keine Preise, weil sie von Ausbaustufe, Modell und Umfang abhängen. Was zu deinem Bedarf passt, klären wir im Gespräch.
| Kostenblock | Wovon er abhängt |
|---|---|
| Hardware | Ausbaustufe, Speicher, Zahl der Grafikkarten; Kauf oder Miete |
| Einrichtung | Installation vor Ort, Anschluss der Dokumentablage, Zugriffsrechte |
| Strom und Kühlung | Leistungsaufnahme laut Hersteller, Laufzeit, Serverraum |
| Betrieb und Updates | eigene IT oder Dienstleister, Häufigkeit von Modellwechseln |
| Schulung | Zahl der Personen und Rollen |
Für den Vergleich mit der Cloud setzt du die Summe dieser Blöcke über die geplante Nutzungsdauer gegen die laufenden Gebühren eines Cloud-Dienstes für dieselbe Zahl an Personen über denselben Zeitraum. Dazu kommen Posten, die sich schwer in Geld fassen lassen: Datenschutzprüfungen und Abhängigkeit von einem Anbieter auf der Cloud-Seite, Verantwortung für den Betrieb auf der lokalen Seite.
Diese Werte trägst du für deine Rechnung zusammen:
- Zahl der Personen, die regelmäßig fragen, und wie viele davon gleichzeitig
- Modell, das ihr nutzen wollt, und dessen Speicherbedarf
- geplante Nutzungsdauer der Hardware in Jahren
- Stromtarif und Leistungsaufnahme laut Datenblatt
- interne Stunden oder Dienstleisterkosten für Betrieb und Updates
- Gebühren des Cloud-Dienstes je Person und Monat aus dem aktuellen Angebot
Fazit: Rechne mit allen Blöcken und derselben Laufzeit, sonst vergleichst du Anschaffung mit Abo.
Was neben der Hardware dazugehört
Ein Server allein beantwortet noch keine Frage. Dazu kommen die Software, die Modelle bereitstellt und Dokumente durchsucht, der Anschluss deiner Ablage mit den richtigen Zugriffsrechten, ein Plan für Updates und Ausfälle und eine Schulung für das Team. Wer den Server betreibt, trägt Verantwortung für Updates, Fernwartung und Sicherheit; in Einführungsprojekten hat sich bewährt, diese Verantwortung vor dem Kauf zu klären und zuerst ein getrenntes Testsystem aufzubauen. Wie die Suche in eigenen Dokumenten funktioniert und woran sie scheitert, erklärt unser Artikel KI mit eigenen Dokumenten.
Einen kleinen ersten Schritt bietet der Eignungs-Check auf der Seite Lokale KI im Unternehmen; für ein Team, das KI zuerst kennenlernen will, gibt es unsere AI-Enablement-Workshops.
Fazit: Plane Betrieb und Schulung von Anfang an mit, nicht erst nach der Lieferung.
Quellen und Grenzen
- NVIDIA DGX Spark, Produktseite und DGX Spark Hardware-Dokumentation, abgerufen am 07.11.2026
- NVIDIA RTX PRO 6000 Blackwell Server Edition, abgerufen am 07.11.2026
- HPE ProLiant Compute DL380a Gen12, abgerufen am 07.11.2026
- AMD Ryzen AI Max+ 395, abgerufen am 07.11.2026
- OpenAI gpt-oss, Llama 3.3 Community License, Mistral-Modellübersicht, abgerufen am 07.11.2026
- Hugging Face, Quantisierung und Hugging Face, KV-Cache, abgerufen am 07.11.2026
Stand: 07.11.2026. Alle technischen Angaben sind Herstellerangaben, wir haben sie nicht selbst gemessen. Die Personenzahlen je Stufe und die Speicherabschätzung sind unsere Einschätzung; wie viele Personen ein System tatsächlich bedient, hängt von Modell, Anfragen und Software ab und zeigt sich nur im Test. Preise nennen wir nicht, weil sie sich schnell ändern und vom Umfang abhängen. Zur Redundanz des Rack-Servers machen wir keine Angabe; sie steht im Datenblatt der Konfiguration. Die Gerätebeispiele sind keine Kaufempfehlung und keine Rechtsberatung.
Häufige Fragen
Was macht ein KI-Server?
Ein KI-Server führt ein Sprachmodell auf eigener Hardware aus. Er beantwortet Fragen, entwirft Texte und durchsucht Dokumente, ohne dass Anfragen an einen Cloud-Anbieter gehen.
Wie viel Speicher braucht ein KI-Server?
So viel, dass das gewählte Modell vollständig hineinpasst, plus Reserve für gleichzeitige Anfragen. Als grobe Ableitung braucht ein Modell mit 120 Milliarden Parametern bei vier Bit je Parameter rund 60 GB; OpenAI gibt für gpt-oss-120b eine einzelne Grafikkarte mit 80 GB an.
Was ist der NVIDIA DGX Spark?
Ein Kompaktsystem von NVIDIA mit dem GB10-Chip. Laut NVIDIA hat es bis zu 128 GB gemeinsamen Speicher für Prozessor und Grafik und eignet sich für Modelle mit bis zu 200 Milliarden Parametern; zwei verbundene Geräte schaffen laut NVIDIA bis zu 400 Milliarden.
Ist ein gemieteter KI-Server in der Cloud lokal?
Nein. Er steht im Rechenzentrum des Anbieters, auch wenn nur du ihn nutzt. Für Datenschutz und Verträge gelten deshalb dieselben Fragen wie bei anderen Cloud-Diensten.
Welche Modelle darf ich im Unternehmen nutzen?
Das regelt die Lizenz des jeweiligen Modells. gpt-oss steht unter Apache 2.0, Llama 3.3 unter einer Community-Lizenz von Meta, Mistral-Modelle je nach Modell unter Apache 2.0 oder einer eigenen Lizenz. Für Llama kann zusätzlich eine Nutzungsrichtlinie von Meta gelten, bei Weitergabe können weitere Pflichten dazukommen. Prüf die Lizenz der konkreten Version vor dem produktiven Einsatz und kläre offene Fragen mit deiner Rechtsberatung.