KI mit eigenen Dokumenten: So beantwortet eine KI Fragen aus deinen Unterlagen

Dieser Artikel ist für Geschäftsführung, IT-Leitung und Fachbereiche, die ihr Firmenwissen mit KI nutzbar machen wollen. Er erklärt das Verfahren ohne Fachjargon, ordnet die vier gängigen Wege ein, zeigt einen realistischen Pilotpfad und endet mit einer Checkliste, bevor du die ersten Dokumente anschließt.

Das Wichtigste in Kürze

• Die KI lernt deine Dokumente nicht, sie liest sie bei jeder Frage nach. Das Verfahren heißt Retrieval-Augmented Generation, kurz RAG.
• Gute Antworten zeigen ihre Quelle. So kannst du nachprüfen, ob die Antwort stimmt; laut BSI mildert das die Auswirkungen von Halluzinationen.
• Rechte gehören in die Suche, nicht in den Prompt. Unsere Empfehlung: Die KI darf nur Dokumente finden, die die fragende Person auch selbst öffnen dürfte.
• Dokumente können Anweisungen enthalten. Manipulierte Dokumente können die KI zu vorgefertigten, falschen Antworten verleiten. Versteckte Anweisungen in Drittquellen nennt das BSI Indirect Prompt Injection.
• Beginne klein. Ein Team, ein Dokumentbestand und 20 bis 30 Testfragen zeigen schneller als jede Produktbroschüre, ob der Weg für dich taugt.

Wie KI mit eigenen Dokumenten funktioniert

Ein Sprachmodell wie die hinter ChatGPT, Claude oder Copilot kennt deine Firmendokumente nicht. Damit es trotzdem Fragen dazu beantworten kann, schaltet man eine Suche davor. Das Verfahren wurde 2020 in einem Forschungsbeitrag von Lewis und anderen unter dem Namen Retrieval-Augmented Generation beschrieben. Das BSI erklärt es so: Relevante Informationen werden in einer Wissensdatenbank gesucht und zusammen mit der Frage an das Modell übergeben, ohne dass die Inhalte vorher zum Training verwendet wurden.

Im Alltag läuft das in drei Schritten:

1. Vorbereiten. Deine Dokumente werden in Abschnitte zerlegt und in einen Index aufgenommen, ein durchsuchbares Verzeichnis, damit eine Suche nach Bedeutung möglich ist, nicht nur nach Stichworten. „Kündigungsfrist“ findet dann auch eine Stelle, in der „Laufzeit endet mit drei Monaten Vorlauf“ steht.
2. Suchen und auswählen. Zu deiner Frage sucht das System die passendsten Abschnitte, nur aus Dokumenten, die du sehen darfst.
3. Antworten mit Quelle. Das Modell formuliert eine Antwort aus diesen Abschnitten und zeigt, aus welchem Dokument und welcher Stelle sie stammt.

Ändert sich ein Dokument, muss nur dieses neu eingelesen und im Index ersetzt werden; ein neues Training ist nicht nötig. Bis zum nächsten Abgleich kann der Index aber noch den alten Stand liefern. Frag deshalb, wie oft dein System abgleicht.

Zwei Stellschrauben bestimmen die Trefferqualität. Beim Zerlegen (Chunking) entscheidet sich, ob ein Abschnitt eine ganze Regelung enthält oder nur ein abgeschnittenes Stück; zu kleine Stücke verlieren den Zusammenhang, zu große verwässern die Treffer. Eine reine Bedeutungssuche findet Umschreibungen, übersieht aber leicht exakte Begriffe wie Vertragsnummern. Hybride Suche kombiniert sie deshalb mit der klassischen Stichwortsuche; frag vor der Auswahl, ob ein Werkzeug das kann.

Fazit: Die KI antwortet nur so gut, wie die Suche vorher die richtigen Stellen findet.

Vier Einsatzfälle

Die Beispiele sind erfunden und zeigen typische Fragen, keine Erfahrungswerte aus bestimmten Unternehmen.

• Fragen an Handbücher und Richtlinien. Eine neue Mitarbeiterin im Lager fragt: „Wie verpacke ich Lithium-Akkus für den Versand?“ Die KI antwortet aus der Verpackungsrichtlinie und verweist auf den Abschnitt, statt dass sie drei Kolleg:innen fragt.
• Angebote und Mails entwerfen. Der Vertrieb lässt einen Angebotstext entwerfen, der Leistungsbeschreibungen und Bedingungen aus den aktuellen Vorlagen übernimmt. Der Mensch prüft und schickt ab.
• Protokolle durchsuchen. Die Geschäftsführung fragt: „Was haben wir mit dem Lieferanten X zu den Lieferzeiten vereinbart?“ Die KI findet die Stellen in den Besprechungsprotokollen der letzten Monate und fasst sie mit Datum zusammen.
• Verträge auslesen. Die Buchhaltung fragt nach Laufzeiten, Kündigungsfristen und Preisanpassungsklauseln in Lieferantenverträgen und bekommt eine Übersicht mit Fundstellen. Rechtlich bewerten muss das weiterhin ein Mensch.

Gemeinsam ist allen Fällen: Die KI ersetzt die Suche und den ersten Entwurf, nicht die Prüfung.

Fazit: Am besten eignen sich Fragen, deren Antwort schwarz auf weiß in deinen Unterlagen steht.

Welcher Weg passt zu deinem Unternehmen?

Für KI mit eigenen Dokumenten gibt es vier Werkzeugklassen. Sie unterscheiden sich vor allem darin, wie viel Rechtekonzept, Betrieb und Anpassung du selbst übernimmst.

Weg	Eignung	Aufwand
Dateianhang in einem Cloud-Assistenten	Einzelne Dokumente, ein kleiner Kreis, Test der Idee	gering; aber kein Index, keine Rechteübernahme, Upload je Gespräch oder Projekt
Wissensassistent im Microsoft- oder Google-Umfeld	Wenn Dokumente ohnehin in SharePoint, OneDrive oder Google Drive liegen	mittel; Lizenz, Aufräumen der Ablage und Rechte
Open-Source-Bausteine auf eigenem Server	Vertrauliche Bestände, wenn jemand Betrieb und Updates übernimmt	hoch bis mittel; Server, Wartung, Rechtekonzept in Eigenverantwortung
Individualentwicklung	Besondere Quellen, feste Fachprozesse, Einbindung in vorhandene Software	hoch; Entwicklung, Tests, Betrieb

Dateianhang in Cloud-Assistenten. Fast alle gängigen Assistenten erlauben, Dateien an ein Gespräch oder Projekt zu hängen. Das ist der schnellste Test, ob dein Material beantwortbar ist, ersetzt aber keine Wissensdatenbank: Die Dateien sind nicht an dein Rechtesystem gekoppelt, Mengen und Dateitypen sind begrenzt, und Änderungen musst du von Hand nachladen. Prüfe vorher, ob deine Eingaben fürs Training genutzt werden.

Wissensassistent im Microsoft- oder Google-Umfeld. Liegen deine Dokumente schon dort, ist das der kürzeste Weg zu einem Index mit Rechten. Laut Microsoft-Dokumentation zeigt Microsoft Copilot in Microsoft 365 nur Daten, auf die die einzelne Person mindestens Leserechte hat, und nutzt Prompts, Antworten und über Microsoft Graph abgerufene Daten nicht zum Training der Grundmodelle. Bei Gemini in Workspace gilt laut Google: Hat die Person keinen Zugriff auf ein Dokument, ruft Gemini es nicht ab. Der Haken liegt bei dir: Copilot und Gemini übernehmen die Rechte, die in deiner Ablage gelten. Sind die Freigaben dort zu weit gefasst, sind es die Antworten auch.

Open-Source-Bausteine auf eigenem Server. Frei verfügbare Plattformen wie Open WebUI lassen sich laut Projektseite selbst betreiben und bringen eine Wissensdatenbank mit. Das passt, wenn Dokumente dein Haus nicht verlassen sollen. Dann gehören Server, Updates, Datensicherung und das Rechtekonzept zu deinen Aufgaben; ein Modell brauchst du zusätzlich. Mehr dazu, was lokaler Betrieb bedeutet, findest du im Artikel KI-Server für Unternehmen.

Individualentwicklung. Sie lohnt, wenn Quellen wie Warenwirtschaft, Ticketsystem und Dokumentenablage gemeinsam durchsucht werden sollen. Dafür brauchst du Entwicklung, Tests und einen Verantwortlichen für den Betrieb; vergleiche vorher mit den fertigen Wegen.

Fazit: Wähle den einfachsten Weg, der deine Rechte übernimmt und die Daten dort lässt, wo sie sein dürfen.

Datenqualität: Was in den Index gehört

Die Antworten sind so gut wie deine Ablage. Vier Punkte entscheiden darüber.

• Scans: Eingescannte Verträge, Bilder und Tabellen in PDFs enthalten oft keinen lesbaren Text. Ohne Texterkennung bleiben sie für die Suche unsichtbar, und die KI meldet „nichts gefunden“, obwohl das Dokument im Ordner liegt.
• Tabellen: Preislisten und Stücklisten verlieren beim Auslesen leicht ihre Spaltenzuordnung. Wo Zahlen zählen, ist eine strukturierte Quelle verlässlicher als ein PDF.
• Versionen: Liegen drei Fassungen einer Preisliste im Ordner, kann die KI aus der falschen antworten. Archiviere Altversionen, bevor du den Ordner anschließt.
• Gültigkeit: Ein Dokument ohne Stand und Gültigkeitsdatum kann veraltet sein, ohne dass es jemand merkt. Schreibe Stand und Verantwortliche in jedes Dokument, das du anschließt.

Unsere Einschätzung: Leg die Wissensbasis nicht als Stapel PDFs an. Kurze Textdateien oder Frage-Antwort-Paare lassen sich leichter pflegen und prüfen als lange Dokumente, und unscharfe Kategorietexte kannst du mit wenig Aufwand schärfen. Ob das bei deinen Dokumenten besser wirkt, zeigen die Testfragen im Pilot.

Fazit: Räume auf, bevor du anschließt; jede Stunde Ordnung spart dir Fehlantworten.

Rechte im Index: Wer darf was finden?

Das BSI beschreibt, dass die Suche Informationen über ein Rechte- und Rollenkonzept selektiert nur bestimmten Nutzergruppen zur Verfügung stellen kann. Es empfiehlt, genau zu prüfen, wer worauf zugreifen darf, und rät davon ab, Rechte nur über Anweisungen im Prompt umzusetzen, weil das angreifbar ist. Auch OWASP führt Prompt Injection in der Ausgabe 2025 der Top 10 für Sprachmodell-Anwendungen als LLM01 an erster Stelle.

Unsere Empfehlung: Der Index übernimmt die Dateirechte aus Dateisystem oder Dokumentenmanagement, statt dass du sie ein zweites Mal pflegst. Daraus ergeben sich drei Fragen an jedes Werkzeug:

• Übernahme: Werden die Rechte je Dokument in die Suche übernommen, und wie schnell greift eine Änderung?
• Löschen: Verschwindet ein gelöschtes oder auf Anfrage zu löschendes Dokument auch aus dem Index und aus Zwischenspeichern?
• Protokoll: Lässt sich nachvollziehen, wer wann welche Frage gestellt hat und welche Dokumente dabei verwendet wurden?

Plane das Berechtigungskonzept als ersten Schritt, nicht als letzten. Unsere Einschätzung: Die Rechte für den KI-Zugriff auf interne Ordner können mehr Aufwand machen als gedacht und dann das ganze Vorhaben aufhalten.

Fazit: Wer die Rechte nicht in der Suche abbildet, baut eine Auskunftsmaschine für alle.

Wo es scheitert

Fehlende oder falsche Rechte. Wenn die Suche alle Dokumente sieht, kann eine Frage aus dem Vertrieb Inhalte aus Personalakten zutage fördern. Entziehst du jemandem den Zugriff auf einen Ordner, greift das in der Suche erst, wenn der Index die Änderung übernommen hat.

Erfundene Antworten. Findet die Suche nichts Passendes, kann das Modell trotzdem eine plausible Antwort formulieren. Laut BSI mildert es die Auswirkungen von Halluzinationen, wenn die zugrunde liegenden Textauszüge angezeigt werden. Achte darauf, dass dein System ohne Fundstelle sagt, dass es keine Antwort gefunden hat.

Manipulierte Inhalte. Wer Dokumente in die Wissensbasis einschleusen oder verändern kann, kann die KI gezielt zu falschen Antworten bringen; das BSI beschreibt das als Vergiften der Wissensbasis (Knowledge Poisoning). Außerdem können Drittquellen wie Dokumente versteckte Anweisungen enthalten, die das Modell als Befehl liest. Das BSI nennt das Indirect Prompt Injection, und OWASP hält fest, dass Verfahren wie RAG Prompt Injection nach bisheriger Forschung nicht vollständig verhindern. Kritisch wird das, wenn die KI nicht nur liest, sondern auch handeln darf. Wie du das im ERP absicherst, zeigt unser Artikel zu Prompt Injection im ERP.

Fazit: Die meisten Fehler entstehen in der Ablage und bei den Rechten, nicht im Sprachmodell.

Realistischer Pilotpfad mit Testfragen

Wir empfehlen für den Einstieg diesen Ablauf:

1. Einen Anwendungsfall wählen. Eine Abteilung, eine Frageart, ein Dokumentbestand, zum Beispiel die Lagerrichtlinien.
2. Bestand aufräumen. Altversionen raus, Scans mit Texterkennung, Zuständige benennen.
3. Rechte klären. Wer darf welche Dokumente sehen, und wo ist das festgehalten?
4. 20 bis 30 Testfragen sammeln. Echte Fragen aus dem Alltag, deren richtige Antwort ihr kennt, dazu einige, auf die es bewusst keine Antwort gibt.
5. Auswerten. Jede Antwort bewerten und die Fehler sammeln.
6. Entscheiden. Ausweiten, nachbessern oder lassen.

Bewerte jede Antwort: richtig mit Fundstelle, richtig ohne Fundstelle, teilweise richtig, falsch oder erfunden. Prüfe zusätzlich, ob das System bei Fragen ohne Antwort „nicht gefunden“ meldet und ob jemand Inhalte sieht, die er nicht sehen dürfte.

Unsere Empfehlung als Erfolgskriterium: Fast alle Antworten tragen eine richtige Fundstelle, keine Antwort verletzt ein Zugriffsrecht, und die Fehlantworten haben erkennbare Ursachen wie einen veralteten Stand oder einen Scan ohne Text. Eine feste Prozentzahl hängt von Bestand und Risiko ab; lege sie vor dem Test mit der Fachabteilung fest. Ausweiten lohnt, wenn die Fehler behebbar sind und die Fachabteilung den Nutzen sieht. Bei Verträgen, Preisen und Personalthemen bleibt die menschliche Prüfung Pflicht, auch bei guten Ergebnissen.

Zur Abgrenzung: Fine-Tuning verändert das Modell selbst und eignet sich für Stil und Aufgabenformat, nicht dafür, aktuelles Firmenwissen verlässlich nachzuschlagen; dafür ist RAG der übliche Weg.

Wenn du wissen willst, ob dein Vorhaben für einen Pilot reif ist, hilft dir der Eignungs-Check zur lokalen KI. Für das Team, das sicher mit KI arbeiten soll, gibt es unsere AI-Enablement-Workshops.

Fazit: Ein kleiner Pilot mit echten Fragen gibt dir mehr Sicherheit als jede Anbieterdemo.

Lokal oder Cloud?

Bei RAG liegen deine Dokumente an zwei Stellen: im Suchindex und, für jede Frage, als Ausschnitt beim Sprachmodell. Beides kann in der Cloud oder bei dir laufen.

Frage	Cloud-Dienst mit Unternehmensvertrag	Lokaler Betrieb
Wo liegt der Suchindex?	beim Anbieter, Region laut Vertrag	auf deinem Server
Wer sieht die Textausschnitte bei einer Frage?	der Anbieter verarbeitet sie; Umfang und Speicherung regelt der Vertrag	nur dein Server
Wer pflegt Modell und Software?	der Anbieter	du oder dein Dienstleister
Wann passt es?	allgemeine Dokumente, Handbücher, Vorlagen	Personalakten, Konstruktionsdaten, vertrauliche Mandantenunterlagen

Ein sinnvoller Einstieg ist ein Cloud-Dienst für unkritische Dokumente, während du den lokalen Betrieb für die Daten prüfst, die das Haus nicht verlassen sollen. Was ein eigener KI-Server bedeutet und wer ihn betreut, beschreibt der Artikel zum lokalen Betrieb auf eigener Hardware.

Fazit: Entscheide nach Datenklasse, nicht nach Bauchgefühl, und fang dort an, wo wenig auf dem Spiel steht.

Checkliste: Bevor du Dokumente anschließt

• Ordner festlegen, die angeschlossen werden, und Altversionen archivieren
• Datenklassen bestimmen: Was darf in die Cloud, was nur lokal, was gar nicht
• Zugriffsrechte aus Dateisystem oder Dokumentenmanagement übernehmen, nicht im Prompt nachbauen; Berechtigungskonzept zuerst planen
• Antworten nur mit Fundstelle zulassen; ohne Treffer ehrlich „nicht gefunden“
• Vertrag mit dem Anbieter prüfen (Auftragsverarbeitung, kein Training, Speicherort)
• KI nur lesen lassen, bis Freigaben für schreibende Aktionen geregelt sind
• Vor dem Start 20 bis 30 echte Fragen mit bekannter Antwort sammeln, auswerten und das Erfolgskriterium vorher festlegen
• Eingescannte Dokumente mit Texterkennung aufbereiten; Tabellen prüfen
• Wissensbasis als kurze Texte oder Frage-Antwort-Paare pflegen, wo es um Produkt- und Kategoriewissen geht
• Mit einem Team und einem Dokumentbestand starten, Fragen und Fehlantworten sammeln
• Verantwortliche Person für Ablage und Index benennen; Löschen und Protokoll klären

Quellen und Grenzen

• BSI, Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden, Version 2.0 vom 17.01.2025, insbesondere M14 Retrieval-Augmented Generation, R18 und R28, abgerufen am 07.11.2026
• Lewis u. a., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, arXiv 2005.11401 (2020), abgerufen am 07.11.2026
• OWASP GenAI Security Project, LLM01:2025 Prompt Injection, abgerufen am 07.11.2026
• Microsoft Learn, Data, Privacy, and Security for Microsoft Copilot, abgerufen am 07.11.2026
• Google, Generative AI in Google Workspace Privacy Hub, abgerufen am 07.11.2026
• Open WebUI, Dokumentation, abgerufen am 07.11.2026

Stand: 07.11.2026. Die genannten Produkte sind Beispiele für Werkzeugklassen, keine Empfehlung und keine Bewertung; Umfang, Lizenzen und Bedingungen ändern sich, prüfe sie vor einer Entscheidung bei den Herstellern. Wie gut ein System antwortet, hängt von Dokumenten, Einrichtung und Modell ab; belastbare Genauigkeitswerte für deinen Fall bekommst du nur aus einem eigenen Test. Der Artikel ersetzt keine Rechtsberatung; Datenschutz und Verträge mit Anbietern behandeln wir im Artikel KI und Datenschutz im Unternehmen.

Häufige Fragen

Wie kann eine KI meine eigenen Dokumente lesen?

Über eine vorgeschaltete Suche: Zu jeder Frage werden die passenden Abschnitte aus deinen Dokumenten gefunden und dem Sprachmodell mitgegeben. Das Modell antwortet aus diesen Abschnitten und zeigt die Quelle. Trainiert wird es dabei nicht.

Was ist RAG in einfachen Worten?

Retrieval-Augmented Generation heißt, dass eine KI vor dem Antworten in einer Wissensdatenbank nachschlägt. Sie kombiniert also eine Suche in deinen Unterlagen mit einem Sprachmodell, das die Fundstellen zu einer Antwort zusammenfasst.

Wo liegen meine Dokumente dabei?

An zwei Stellen: im Suchindex und, für jede Frage, als Ausschnitt beim Sprachmodell. Bei einem Cloud-Dienst liegt beides beim Anbieter, bei lokalem Betrieb auf deinem Server.

Kann die KI Antworten erfinden, obwohl sie meine Dokumente hat?

Ja, vor allem wenn die Suche nichts Passendes findet. Deshalb sollte jede Antwort ihre Fundstelle zeigen und das System ohne Treffer sagen, dass es keine Antwort gefunden hat.

Muss ich die KI mit meinen Dokumenten trainieren?

Nein. Bei RAG bleibt das Modell unverändert, geänderte Dokumente werden neu eingelesen und im Suchindex ersetzt.

Lassen sich Zugriffsrechte einschränken?

Ja, sofern der Index Rechteänderungen zeitnah übernimmt. Dann bekommt jede Person nur Antworten aus Dokumenten, die sie öffnen darf; kläre vorher, wie schnell dein System Änderungen übernimmt und ob es ein Protokoll führt.

Wie starte ich mit KI und meinen Dokumenten?

Mit einem Pilot: ein Team, ein aufgeräumter Dokumentbestand, geklärte Rechte und 20 bis 30 Testfragen mit bekannter Antwort. Danach entscheidest du anhand der Auswertung, ob du ausweitest.