Fine-Tuning: Weshalb Sicherheitsverhalten nach dem Nachtraining erneut geprüft werden muss
Eine Studie zeigte Sicherheitsverluste durch Nachtraining. Zehn Beispiele sind ein konkretes Versuchsergebnis und keine universelle Grenze.
Redaktioneller Stand:
Hintergrund & Quellenbefund
Qi und Mitautoren untersuchten 2023, wie zusätzliches Fine-Tuning das Sicherheitsverhalten bereits angepasster Sprachmodelle verändert. In einem beschriebenen Versuch genügten zehn gezielt konstruierte Beispiele, um das Verhalten eines damaligen GPT-3.5-Turbo-Modells deutlich zu beeinflussen. Die Studie betrachtet außerdem unbeabsichtigte Veränderungen durch gebräuchliche Nachtrainingsdaten. [1]
Der zentrale Befund lautet deshalb nicht, dass eine feste Zahl von Beispielen sämtliche Schutzmaßnahmen löscht. Vielmehr lässt sich die Sicherheitsbewertung eines Ausgangsmodells nicht unverändert auf jede individuell nachtrainierte Fassung übertragen. Die Anpassung selbst ist ein eigener sicherheitsrelevanter Verarbeitungsschritt. [1]
Einordnung & Grenzen
Die Versuche betreffen bestimmte Modelle, Daten und damalige Schnittstellen. Daraus folgt keine verlässliche Angriffsschwelle für beliebige heutige Produkte. [1]
Einfach erklärt
Als vereinfachter Vergleich: Eine bereits geprüfte Software erhält eine Änderung. Auch wenn diese nur einer Fachfunktion dienen soll, muss überprüft werden, ob andere Eigenschaften unbeabsichtigt mitverändert wurden.
Empfehlungen für die Praxis
Unsere Empfehlung: Versionieren Sie Nachtrainingsdaten und dokumentieren Sie den Zweck jeder Anpassung. Testen Sie die neue Modellfassung mit fachlichen und sicherheitsbezogenen Fällen, bevor Sie sie austauschen. Vergleichen Sie die Ergebnisse mit der vorherigen Version. Legen Sie vorab fest, welche Verschlechterungen eine Freigabe verhindern. Bewahren Sie eine Rückkehrmöglichkeit zur letzten geeigneten Fassung auf. Die bloße Übernahme eines bekannten Basismodells ersetzt diese Prüfung der tatsächlich eingesetzten Variante nicht.