← Zurück zum Blog
KI-BedrohungenMittel

RAG: Wie fremde Dokumente die Antworten einer Firmen-KI beeinflussen können

Eine interne Wissenssuche liefert nicht automatisch vertrauenswürdige Inhalte. Falsche Informationen und versteckte Anweisungen sind unterschiedliche Risiken.

Redaktioneller Stand:

Hintergrund & Quellenbefund

Bei Retrieval-Augmented Generation werden passende Inhalte abgerufen und dem Sprachmodell für seine Antwort bereitgestellt. OWASP beschreibt unter anderem ein Szenario, in dem manipulierte Dokumente aus einem Repository die Ausgabe verändern. Die Anweisung erreicht das Modell dann über eine vermeintliche Informationsquelle. [1]

Davon ist ein Dokument mit schlicht falschen Sachinformationen zu unterscheiden. Im einen Fall wird eine Steueranweisung eingeschleust, im anderen eine fehlerhafte Wissensgrundlage geliefert. Die DSK-Orientierungshilfe betont allgemein, dass Auswahl und Nutzung einer KI-Anwendung an ihrem konkreten Datenumgang zu prüfen sind. [2]

Einordnung & Grenzen

RAG garantiert weder richtige Antworten noch Schutz vor Prompt Injection. Gleichzeitig ist nicht jede falsche Antwort ein Beleg für einen gezielten Angriff. [1]

Einfach erklärt

Ein hypothetisches Handbuch enthält entweder eine falsche Arbeitsanweisung oder eine versteckte Aufforderung, alle bisherigen Regeln zu ignorieren. Beides kann schaden, erfordert aber unterschiedliche Prüfungen.

Empfehlungen für die Praxis

Unsere Empfehlung: Klären Sie, wer Dokumente importieren und ändern darf. Halten Sie Herkunft und Version wichtiger Unterlagen fest und testen Sie Änderungen vor ihrer breiten Verwendung. Trennen Sie Zugriffsrechte für verschiedene Nutzergruppen bereits beim Abruf. Lassen Sie Antworten nachvollziehbare Fundstellen anzeigen und prüfen Sie, ob diese die Aussage tatsächlich tragen. Eine Quellenangabe ist besonders dann hilfreich, wenn der Leser nicht nur einen Link, sondern den maßgeblichen Dokumentabschnitt wiederfinden kann.

Primärquelle / Referenz

  1. [1] OWASP LLM01:2025: Prompt Injection
  2. [2] DSK (06.05.2024): Künstliche Intelligenz und Datenschutz, Version 1.0