Morris II: Eine Forschungsdemonstration selbstverbreitender KI-Anweisungen
Morris II zeigt eine mögliche Angriffskette zwischen KI-Anwendungen. Die Studie untersucht bestimmte Voraussetzungen, keinen allgegenwärtigen KI-Virus.
Redaktioneller Stand:
Hintergrund & Quellenbefund
Cohen, Bitton und Nassi beschreiben in ihrer Arbeit einen selbstreplizierenden Prompt, den sie Morris II nennen. Er soll über indirekte Prompt Injection in verbundenen KI-Anwendungen weitergegeben werden. Untersucht wurden unter anderem E-Mail-Assistenten mit Retrieval-Augmented Generation, kurz RAG. Dabei fließen abgerufene Inhalte in die Modellanfrage ein. [1]
Die Autoren evaluierten, wie sich eine solche Kette zur Weitergabe vertraulicher Informationen einsetzen lässt. Sie untersuchten auch Einflussgrößen wie Kontextgröße, Einbettungsverfahren und Zahl der Weitergabeschritte. Die überarbeitete Veröffentlichung behandelt zusätzlich eine experimentelle Schutzmaßnahme gegen die Verbreitung. [1]
Einordnung & Grenzen
Das ist ein dokumentierter Forschungsaufbau. Die Arbeit belegt weder eine Infektion jedes E-Mail-Programms noch eine unkontrollierte weltweite Verbreitung dieses Angriffs. [1]
Einfach erklärt
Ein vereinfachter Vergleich ist ein Kettenbrief mit eingebauter Aufforderung zur Weitergabe. Gefährlich wird er erst dort, wo die angeschlossenen Abläufe die Anweisung übernehmen und tatsächlich weitertransportieren können.
Empfehlungen für die Praxis
Unsere Empfehlung: Betrachten Sie vernetzte Assistenten als zusammenhängenden Arbeitsablauf. Prüfen Sie, ob fremde Nachrichten automatisch in Suchindizes, Zusammenfassungen oder neue ausgehende Nachrichten gelangen. Legen Sie fest, welche Übergänge eine Freigabe benötigen. Bei Tests sollte nicht nur die erste Modellantwort bewertet werden, sondern auch, was ein nachgelagertes System mit ihr macht. So lassen sich ungewollte Weitergabeketten erkennen, bevor ein Assistent produktiv mit vertraulichen Postfächern verbunden wird.