search
search cart 0

KI im eigenen Haus

Lokale KI im Unternehmen: Wann lohnt sich ein eigener KI-Server?

KI-generierte Illustration: Ein aufgeschnittenes Firmengebäude mit eigenem KI-Server in der Mitte, Dokumente fließen nur innerhalb der Grundstücksgrenze zum Server, die Cloud bleibt draußen. Überschrift: Lokale KI im Unternehmen

Kurz gesagt: Ein eigener KI-Server lohnt sich, wenn vertrauliche Dokumente das Haus nicht verlassen sollen und ein festes Team täglich damit arbeitet. Wer die stärksten Modelle braucht oder KI vor allem im ERP mit Freigabe einsetzen will, fährt mit einem Cloud-Dienst mit Vertrag meist besser.

Lokale KI lohnt sich vor allem für Unternehmen, deren wichtigste Unterlagen vertraulich sind, zum Beispiel Personalakten, Konstruktionsdaten, Mandanten- oder Kundendokumente. Für allgemeine Texte und Recherche reicht oft ein Cloud-Dienst mit Unternehmensvertrag.

Diese Seite hilft der Geschäftsführung und der IT-Leitung bei der Entscheidung. Sie erklärt, was lokal genau heißt, vergleicht drei Wege, zeigt typische Einsätze und Größen und sagt ehrlich, wann ein eigener Server nicht passt. Mit dem Eignungs-Check weiter unten prüfst du in fünf Fragen, ob sich der nächste Schritt lohnt.

Das Wichtigste in Kürze

  • Lokal heißt: Modell und Daten laufen in deinem eigenen Netz. Das ist ein anderes Versprechen als EU-Hosting, bei dem die Daten zwar in Europa liegen, aber beim Anbieter verarbeitet werden.
  • Lokale Modelle sind gut, aber nicht die stärksten. Auf eigener Hardware laufen offene Modelle. Die Spitzenmodelle hinter ChatGPT, Claude oder Gemini sind nach unserem Stand nicht zum Herunterladen freigegeben und laufen nur in der Cloud der Anbieter.
  • Die Größe richtet sich nach Team und Modell. Für ein bis zwei Personen reicht ein Kompaktsystem auf dem Schreibtisch, für größere Teams brauchst du zwei Systeme im Verbund oder einen Server im Rack.
  • Der Betrieb ist die eigentliche Aufgabe. Installation, Updates, Zugriffsrechte und Schulung entscheiden, ob das Team die KI nutzt.
  • Lokal ersetzt keinen Datenschutz. Zugriffsrechte, Löschkonzept und eine Richtlinie für das Team brauchst du auch im eigenen Haus. Auch die Rollen der KI-Verordnung knüpfen laut Artikel 3 an die Verwendung an; den Standort der Technik nennen die Begriffe nicht. Wie das für deinen Einsatz gilt, klärst du mit deiner Rechtsberatung; einen Überblick gibt KI-Verordnung für KMU.

Was ist lokale KI?

Bei lokaler KI läuft das Sprachmodell auf Hardware in deinem Büro oder Serverraum. Deine Fragen, die Dokumente und die Antworten bleiben in deinem Netz, eine Verbindung zu einem KI-Anbieter ist für den Betrieb nicht nötig. Eingesetzt werden offene Modelle, deren Gewichte die Hersteller zum Herunterladen freigeben, zum Beispiel gpt-oss von OpenAI, Llama von Meta oder Modelle von Mistral. Welche du kommerziell nutzen darfst, regelt die Lizenz des jeweiligen Modells.

Davon zu unterscheiden ist EU-Hosting. Dort liegen Daten und Modell in einem europäischen Rechenzentrum, verarbeitet werden sie aber beim Anbieter und nach dessen Vertrag. Auch ein gemieteter GPU-Server in der Cloud ist nicht lokal, selbst wenn nur du ihn nutzt.

Fazit: Lokal ist eine Frage des Ortes und der Kontrolle, nicht des Anbieters.

Cloud, EU-Hosting oder im eigenen Haus: Welcher Weg passt?

Alle drei Wege sind für Unternehmen gangbar. Die Tabelle gibt unsere Einschätzung wieder. Die Wege unterscheiden sich darin, wo Daten verarbeitet werden, welche Modelle verfügbar sind und wer den Betrieb trägt.

Weg Verlassen Daten das Haus? Modellqualität (Einschätzung) Betrieb Passt für
Cloud-Dienst mit Unternehmensvertrag ja, zum Anbieter; Speicherort und Training regelt der Vertrag die stärksten Modelle (Einschätzung) Anbieter allgemeine Texte, Recherche, Teams ohne eigene IT
EU-Hosting ja, in ein Rechenzentrum in der EU je nach Anbieter (Einschätzung) Anbieter Firmen, die Daten in der EU halten wollen und keine Hardware betreiben möchten
Im eigenen Haus nein offene Modelle, gut für Dokumente und Entwürfe (Einschätzung) du oder dein Dienstleister vertrauliche Dokumente, feste Teams, Betrieb ohne Cloud

Es kann sinnvoll sein, zwei Wege zu kombinieren: einen Cloud-Dienst für allgemeine Aufgaben und ein lokales System für die Unterlagen, die das Haus nicht verlassen sollen. Was beim Datenschutz und bei US-Anbietern zu prüfen ist, beschreiben unsere Artikel zu KI und Datenschutz und zum CLOUD Act.

Geht es dir vor allem darum, dass eine KI in deinem ERP liest und Änderungen erst nach deiner Freigabe schreibt, ist das ein eigener Weg. Dafür haben wir wals.pro AI for weclapp gebaut: Die KI schreibt nie ungefragt, sondern mit Vorschau, Freigabe und Protokoll. Das Produkt läuft mit EU-Hosting, nicht auf deinem Server; Anfragen an den KI-Anbieter unterliegen dessen Vertrag. Was das im Einzelnen heißt, kannst du auf der Trust-Seite selbst prüfen.

Fazit: Lokal passt, wenn die Unterlagen das Haus nicht verlassen sollen; für andere Aufgaben bleibt ein Cloud-Dienst mit Vertrag eine gute Wahl.

Was ein lokales System im Alltag erledigt

Die folgenden Beispiele sind erfunden, die Aufgaben sind typisch für Büros mit vielen Dokumenten.

  • Fragen an eigene Dokumente. Die Projektleiterin fragt: „Welche Gewährleistung haben wir mit dem Generalunternehmer vereinbart?“ Die KI sucht in den Verträgen und antwortet mit Fundstelle. Wie das technisch funktioniert, erklärt unser Artikel KI mit eigenen Dokumenten.
  • E-Mails, Angebote und Texte entwerfen. Der Vertrieb lässt aus Stichpunkten und den aktuellen Vorlagen einen Angebotstext entwerfen und prüft ihn vor dem Versand.
  • Protokolle und lange Dokumente zusammenfassen. Aus einem Besprechungsprotokoll über 20 Seiten entsteht eine Liste der Beschlüsse und offenen Aufgaben.
  • Rechnungen, Verträge und Formulare auslesen. Die Buchhaltung lässt Rechnungsnummer, Datum und Betrag aus Lieferantenrechnungen herausziehen und prüft die Werte, bevor sie gebucht werden.

Fazit: Die KI übernimmt Suche und ersten Entwurf; geprüft und entschieden wird weiter von Menschen.

Welche Größe für wie viele Personen?

Wie groß ein KI-Server sein muss, hängt vor allem davon ab, wie groß das Modell ist und wie viele Personen gleichzeitig fragen. Der Speicher ist dabei meist wichtiger als die reine Rechenleistung, weil das ganze Modell hineinpassen muss. Die folgenden Stufen sind unsere grobe Einschätzung, keine Herstellerangabe; die tatsächliche Zahl hängt von Modell, Dokumentenmenge und gewünschter Antwortzeit ab.

  • Ein bis zwei Personen: ein Kompaktsystem auf dem Schreibtisch mit gemeinsamem Speicher für Prozessor und Grafikeinheit; ein Beispiel ist NVIDIA DGX Spark mit rund 15 mal 15 Zentimetern Grundfläche und 1,2 Kilogramm.
  • Bis etwa zehn Personen: zwei solcher Systeme im Verbund. Sie teilen sich die Arbeit. Ein automatisches Einspringen des zweiten Systems bei einem Ausfall ist dabei nicht gegeben und nach unserem Stand nicht herstellerbelegt; planst du Ausfallschutz, muss er eigens aufgebaut und getestet werden.
  • Mehr als zehn Personen: ein Server im Rack mit Grafikkarten für Rechenzentren, der viele Anfragen gleichzeitig bearbeitet und sich um weitere Karten erweitern lässt.

Welche Geräte das konkret sind, was sie laut Hersteller leisten und welche Modelle darauf laufen, beschreibt unser Ratgeber KI-Server für Unternehmen.

Für deinen eigenen Vergleich rechnest du Hardware, Einrichtung, Betrieb und Strom über die geplante Nutzungsdauer gegen die laufenden Gebühren eines Cloud-Dienstes für dieselbe Zahl an Personen. Dazu kommen Posten, die sich schwer in Geld fassen lassen: der Aufwand für Datenschutzprüfungen bei einem Cloud-Anbieter auf der einen, die Verantwortung für den eigenen Betrieb auf der anderen Seite.

Fazit: Plane nach der Zahl der Personen, die gleichzeitig fragen, nicht nach der Zahl aller Mitarbeitenden.

Betrieb: Wer installiert, wartet, schult?

Ein lokales System braucht jemanden, der es einrichtet, aktuell hält und die Zugriffsrechte pflegt. Dazu gehören die Installation vor Ort, der Anschluss der Ordner, die die KI lesen darf, Updates von Software und Modellen und eine Lösung für den Fall, dass ein Gerät ausfällt. Updates und Modellwechsel lassen sich ohne dauerhafte Cloud-Anbindung einspielen, müssen aber geplant werden.

In Einführungsprojekten hat sich bewährt, vor dem Kauf zu klären, wer Updates, Fernwartung und Sicherheit verantwortet, und eine getrennte Testumgebung einzuplanen. Fehlt beides, wird lokal zum Risiko statt zur Sicherheit.

Zur Sicherheit gehören bei einem eigenen Server Patches, ein segmentiertes Netz, Datensicherungen und der Schutz des Index, also der durchsuchbaren Kopie deiner Dokumente. Das BSI beschreibt dafür im IT-Grundschutz-Kompendium die Bausteine Allgemeiner Server (SYS.1.1), Patch- und Änderungsmanagement (OPS.1.1.3), Netzarchitektur und -design (NET.1.1) und Datensicherungskonzept (CON.3). Aus dem Index lässt sich nach BSI-Angaben der ursprüngliche Text rekonstruieren, wenn Unbefugte Zugriff darauf erhalten; behandle ihn deshalb wie die Dokumente selbst (Generative KI-Modelle, Version 2.0, Risiko R23).

Genauso wichtig ist das Team. Wer weiß, wofür die KI gedacht ist, welche Daten hineindürfen und wie man Antworten prüft, nutzt sie auch. Wie du KI-Kompetenz aufbaust und eine kurze Richtlinie schreibst, zeigt unser Artikel zu KI-Kompetenz und Schatten-KI.

Bevor alle damit arbeiten, lohnt ein Pilot: Ein kleines Team stellt über einige Wochen echte Fragen zu einem abgegrenzten Dokumentbestand, sammelt Fragen mit bekannter Antwort und hält fest, wo die KI richtig, falsch oder gar nicht antwortet. Danach weißt du, ob Modell und Größe passen.

Fazit: Ohne verantwortliche Person für Betrieb und Rechte wird aus dem Server kein Werkzeug.

Was wir für dich tun

Am Anfang steht ein Gespräch. Darin bekommst du zwei Dinge:

  • Bedarfsklärung. Wir klären mit dir, welche Dokumente, welches Team und welche Aufgaben im Mittelpunkt stehen, und ob lokal, EU-Hosting oder Cloud passt. Einen Termin buchst du direkt.
  • Eine ehrliche Einschätzung. Wir sagen dir, welcher Weg zu deinem Bedarf passt, auch wenn die Antwort lautet, dass ein eigener Server sich noch nicht lohnt.

Fazit: Bevor du Hardware kaufst, klärst du im Gespräch, ob und wie lokal zu dir passt.

Eignungs-Check: Passt ein eigener KI-Server zu dir?

Beantworte die fünf Fragen mit Ja oder Nein.

  1. Müssen deine wichtigsten Dokumente das Haus verlassen dürfen? Nein spricht für lokal.
  2. Arbeitet ein festes Team regelmäßig damit? Ja spricht für lokal.
  3. Reichen dir offene Modelle für Dokumente, Entwürfe und Zusammenfassungen? Ja spricht für lokal.
  4. Ist jemand im Haus oder bei einem Dienstleister für Betrieb, Updates und Rechte verantwortlich? Ja spricht für lokal.
  5. Sind deine Dokumente einigermaßen geordnet? Ja spricht für lokal.

Hast du viermal oder öfter ein Zeichen für lokal, lohnt der Pilot. Bei weniger Treffern klärst du zuerst die offenen Punkte. Die Treppe ist klein gehalten: erst ein Test mit deinen Dokumenten, dann ein KI-Workshop für dein Team, und wenn du über deinen Bedarf sprechen willst, ein Termin.

Fazit: Der Check ersetzt keine Beratung, zeigt aber, ob sich der Pilot lohnt.

Wann passt das nicht

  • Du brauchst für deine Aufgaben die stärksten verfügbaren Modelle, etwa für anspruchsvolle Analysen oder Programmierung. Diese laufen nach unserem Stand nur in der Cloud der Anbieter.
  • Niemand im Haus oder bei einem Dienstleister verantwortet Betrieb, Updates und Zugriffsrechte.
  • Dein Hauptziel ist, dass eine KI im ERP liest und mit Freigabe Daten ändert. Dafür ist ein Weg mit Vorschau, Freigabe und Protokoll im ERP passender als ein eigener Server.
  • Dein Hauptanliegen sind Datenschutzbedenken. Oft kommst du mit Business-Vertrag, abgeschaltetem Training, eng geschnittenen Rechten und EU-Hosting schneller ans Ziel als mit eigener Hardware; Näheres steht in KI und Datenschutz im Unternehmen.
  • Nur einzelne Personen nutzen KI gelegentlich und ohne vertrauliche Daten. Dann ist ein Cloud-Dienst mit Unternehmensvertrag einfacher.
  • Deine Dokumente sind ungeordnet und in vielen Versionen abgelegt. Dann räume zuerst die Ablage auf, sonst antwortet auch eine lokale KI aus der falschen Fassung.

Fazit: Lokal passt zu festen Teams mit vertraulichen Dokumenten und klarer Verantwortung für den Betrieb.

Quellen und Grenzen

Stand: 7. November 2026. Die Seite beschreibt Entscheidungskriterien, keine Leistungszusage für ein bestimmtes Gerät oder Modell. Wie gut ein lokales System deine Fragen beantwortet, zeigt nur ein Test mit deinen eigenen Dokumenten. Herstellerangaben zu Geräten stehen mit Quelle im Ratgeber zum KI-Server.

Häufige Fragen

Ist lokale KI automatisch DSGVO-konform?

Nein. Auch im eigenen Haus gelten die Grundsätze der DSGVO, etwa Zweckbindung, Datenminimierung sowie Integrität und Vertraulichkeit (Art. 5 Abs. 1 Buchst. b, c und f DSGVO), und du triffst geeignete technische und organisatorische Maßnahmen für ein angemessenes Schutzniveau (Art. 32 DSGVO). Zugriffsrechte, Löschkonzept und Richtlinie brauchst du also weiterhin. Lokal fällt aber die Übermittlung an einen KI-Anbieter weg.

Brauche ich Internet für eine lokale KI?

Für den laufenden Betrieb nicht, Fragen und Antworten bleiben in deinem Netz. Updates von Software und Modellen musst du trotzdem einplanen, meist über eine zeitweise, kontrollierte Verbindung oder per Datenträger.

Welche Modelle laufen lokal?

Offene Modelle, deren Gewichte die Hersteller freigeben, zum Beispiel gpt-oss von OpenAI, Llama von Meta oder Modelle von Mistral. Die Lizenzen unterscheiden sich je Hersteller und Modell, deshalb prüfst du vor dem Einsatz die Lizenz des konkreten Modells.

Ist eine lokale KI so gut wie ChatGPT?

Für Fragen an eigene Dokumente, Entwürfe und Zusammenfassungen reichen offene Modelle oft aus. Die stärksten Modelle der großen Anbieter laufen nach unserem Stand aber nur in deren Cloud, für sehr anspruchsvolle Aufgaben bleibt die Cloud deshalb im Vorteil.

Wer kümmert sich um Wartung und Updates?

Entweder deine eigene IT oder ein Dienstleister. Wichtig ist, dass jemand ausdrücklich verantwortlich ist für Updates, Zugriffsrechte und den Fall, dass ein Gerät ausfällt.

Was kostet eine lokale KI?

Das hängt von der Ausbaustufe, dem Modell und dem Umfang von Einrichtung und Schulung ab. Was du brauchst, klären wir im Gespräch über deinen Bedarf.

Je nach Frage weiterlesen