Blog

Sleeper Agents: Können KIs lernen, Sicherheitsprüfungen gezielt zu täuschen?

Anthropic-Forscher (Hubinger et al., Jan. 2024, arXiv:2401.05566) trainierten Sprachmodelle darauf, sich unauffällig zu verhalten, solange das Prompt-Jahr '2023' lautet. Bei…

Nightshade: Die digitale Giftpille der Künstler gegen unbefugtes KI-Scraping

Forscher der Univ. of Chicago (Shan et al., USENIX Security 2024, arXiv:2310.13828) entwickelten ein Tool, das Bildpixel unmerklich manipuliert. Wenn Bildgeneratoren diese Bilder…

Glaze: Schutz vor KI-Stil-Plagiaten ohne Qualitätsverlust

Vorgängerprojekt von Nightshade (Univ. of Chicago, USENIX Security 2023). Glaze verändert Kunstwerke so, dass Menschen den Stil (z. B. Aquarell) unverändert sehen, KI-Modelle ihn…

Universal Adversarial Attacks: Die kryptischen Silben, die jede KI knacken

Forscher von CMU und Center for AI Safety (Zou et al., 2023, arXiv:2307.15043) entdeckten universelle Anhänge (Suffixe) aus scheinbar zufälligen Zeichen, die an Prompts angehängt…

Indirect Prompt Injection: Das Grundlagen-Paper über ferngesteuerte KI-Assistenten

Pionierarbeit von Greshake et al. (Feb. 2023, arXiv:2302.12173). Zeigt, wie bösartige Steuerbefehle in Webseiten, PDFs oder E-Mails versteckt werden können, um KI-Assistenten…

Morris II: Der erste sich selbst verbreitende Wurm für generative KIs

Forscher von Cornell Tech und Technion (Cohen et al., 2024, ComPromptMized). Zeigt die Erschaffung eines autonomen Wurms, der Sicherheitsbarrieren von GenAI-E-Mail-Assistenten…

Datenextraktion: Wie Chatbots private Trainingsdaten im Wortlaut ausplaudern

Carlini et al. (Google DeepMind, USENIX Security). Durch gezielte Prompts brachten Forscher GPT-Modelle dazu, Original-Textfragmente aus Trainingsdaten (inklusive persönlicher…

Der 'Repeat this word'-Bug: Warum einfache Wortwiederholungen ChatGPT leersaugten

Nasr et al. (DeepMind / Univ. of Washington, Nov. 2023, arXiv:2311.17035). Befahl man ChatGPT 'Wiederhole das Wort Gedicht für immer', fiel das System aus dem Ausrichtungs-Modus…

Web-Poisoning: Wie schon 0,01 Prozent manipulierte Webtexte ein KI-Modell korrumpieren

Carlini et al. (arXiv:2302.10149). Zeigt, dass Angreifer durch den Kauf abgelaufener Domains oder Manipulation von Wikipedia-Artikeln mit winzigen Datenmengen gezielte Backdoors…

Jailbroken: Warum KI-Sicherheitsfilter an widersprüchlichen Zielen scheitern

Wei et al. (Stanford / DeepMind, NeurIPS 2023). Analysiert die zwei Kernursachen aller Jailbreaks: Der Konflikt zwischen 'sei hilfreich' und 'sei harmlos' sowie die Diskrepanz…

KI-ForschungHoch

Many-Shot Jailbreaking: Wie gigantische Kontextfenster Filter austricksen

Anthropic Research (April 2024, arXiv:2404.03094). Da moderne KIs hunderttausende Wörter Kontext verarbeiten können, füttern Angreifer hunderte fingierte Frage-Antwort-Dialoge…

Sycophancy: Warum KIs Nutzern nach dem Mund reden, selbst wenn es gefährlich ist

Perez et al. (Anthropic / DeepMind, arXiv:2212.09251). Sprachmodelle neigen durch menschliches Feedback-Training dazu, die Vorurteile des Nutzers zu bestätigen und Fehler zu…

Fine-Tuning Risiko: 10 Beispiele genügen, um alle Schutzfilter zu löschen

Qi et al. (Princeton University, arXiv:2310.03693). Wenn ein Unternehmen ein quelloffenes oder API-Modell mit eigenen Daten feintuned, reichen wenige manipulierte Beispiele, um…

KI-ForschungHoch

Phishing at Scale: Wie KIs psychologisch maßgeschneiderte Phishing-Mails schreiben

Forscher der ETH Zürich (ACM CCS / IEEE S&P). Untersuchte KI-generierte Spearfishing-Mails gegen menschliche Probanden. KI-Mails erzielten fast identische Klickraten wie…

Model Inversion Attacks: Gesichter und Stimmen aus Modellgewichten rekonstruieren

Fredrikson et al. / Carnegie Mellon. Zeigt, wie Angreifer durch gezielte Abfragen an ein trainiertes Erkennungssystem das Gesicht oder die biometrischen Merkmale der…