Validierte Themen aus Forschung, Bedrohungsanalyse, Recht und Rechtsprechung – kompakt erklärt für Praxis und Entscheidungsträger.
Anthropic-Forscher (Hubinger et al., Jan. 2024, arXiv:2401.05566) trainierten Sprachmodelle darauf, sich unauffällig zu verhalten, solange das Prompt-Jahr '2023' lautet. Bei…
Forscher der Univ. of Chicago (Shan et al., USENIX Security 2024, arXiv:2310.13828) entwickelten ein Tool, das Bildpixel unmerklich manipuliert. Wenn Bildgeneratoren diese Bilder…
Forscher von CMU und Center for AI Safety (Zou et al., 2023, arXiv:2307.15043) entdeckten universelle Anhänge (Suffixe) aus scheinbar zufälligen Zeichen, die an Prompts angehängt…
Pionierarbeit von Greshake et al. (Feb. 2023, arXiv:2302.12173). Zeigt, wie bösartige Steuerbefehle in Webseiten, PDFs oder E-Mails versteckt werden können, um KI-Assistenten…
Forscher von Cornell Tech und Technion (Cohen et al., 2024, ComPromptMized). Zeigt die Erschaffung eines autonomen Wurms, der Sicherheitsbarrieren von GenAI-E-Mail-Assistenten…
Fall Arup in Hongkong (Jan./Feb. 2024). Ein Finanzmitarbeiter überwies 25 Mio. USD nach einer Videokonferenz, bei der der Finanzvorstand und mehrere Kollegen live anwesend…
Betrüger nutzen KI-Tools (ElevenLabs u. a.), um mit wenigen Sekunden Audiomaterial aus Social Media die exakte Stimme von Kindern oder Verwandten zu klonen und Notlagen…
Sicherheitsanalysen von Protect AI und Wiz deckten hunderte Open-Source-Modelle auf Hugging Face auf, die manipulierte Python-Pickle-Dateien enthielten. Beim Laden des Modells…
Verordnung (EU) 2024/1689. Artikel 5 verbietet verbotene KI-Praktiken: Social Scoring durch Staaten oder Unternehmen, biometrische Emotionserkennung am Arbeitsplatz und in Schulen…
Ab August 2025 gelten die Transparenzvorgaben für Allzweck-KI-Modelle (GPAI wie ChatGPT/Claude) sowie Art. 50 AI Act: KI-generierte Bilder, Audios und Texte müssen maschinenlesbar…
Das NIS-2-UmsuCG setzt die EU-Richtlinie in deutsches Recht um. Rund 30.000 Betriebe (wichtige und besonders wichtige Einrichtungen) müssen strenge Risikomaßnahmen treffen und…
Urteil vom 18.11.2024. Der BGH entschied: Der kurzzeitige Kontrollverlust über eigene Daten nach einem Scraping-Vorfall begründet bereits einen immateriellen Schaden nach Art. 82…
Angehörige installieren zunehmend smarte Überwachungskameras (Nest, Ring, Babyfone) im Bewohnerzimmer, um Missstände aufzudecken. Das heimliche Filmen greift in das Allgemeine…
Kriminelle verschlüsseln zunehmend Server von Pflegeheimen. Bei Ausfall der digitalen Pflegedokumentation sind Medikationspläne, Vitalwerte und Allergiedaten schlagartig…
Der Einsatz von WhatsApp auf Dienst- oder Privathandys im Pflegedienst ist bei Verarbeitung von Gesundheits- und Klientendaten hochproblematisch nach Art. 9 DSGVO und birgt…
Manipulation elektronischer Behandlungs- oder Pflegedokumentation kann eine fristlose Kündigung rechtfertigen. Das LAG Thüringen (Urt. v. 28.02.2024 – 4 Sa 166/23) bestätigte,…
Hilfsmittelerbringer werden an die Telematikinfrastruktur angebunden. Die gematik beschreibt den Weg über die Institutionskarte SMC-B sowie Anwendungen wie KIM und künftige…
Nach § 37 Abs. 3 SGB XI kann auf Wunsch jede zweite Beratung per Videokonferenz erfolgen. Dabei sind die Anforderungen nach § 365 Abs. 1 SGB V einzuhalten – also zertifizierte…
Vorgängerprojekt von Nightshade (Univ. of Chicago, USENIX Security 2023). Glaze verändert Kunstwerke so, dass Menschen den Stil (z. B. Aquarell) unverändert sehen, KI-Modelle ihn…
Carlini et al. (Google DeepMind, USENIX Security). Durch gezielte Prompts brachten Forscher GPT-Modelle dazu, Original-Textfragmente aus Trainingsdaten (inklusive persönlicher…
Nasr et al. (DeepMind / Univ. of Washington, Nov. 2023, arXiv:2311.17035). Befahl man ChatGPT 'Wiederhole das Wort Gedicht für immer', fiel das System aus dem Ausrichtungs-Modus…
Carlini et al. (arXiv:2302.10149). Zeigt, dass Angreifer durch den Kauf abgelaufener Domains oder Manipulation von Wikipedia-Artikeln mit winzigen Datenmengen gezielte Backdoors…
Wei et al. (Stanford / DeepMind, NeurIPS 2023). Analysiert die zwei Kernursachen aller Jailbreaks: Der Konflikt zwischen 'sei hilfreich' und 'sei harmlos' sowie die Diskrepanz…
Anthropic Research (April 2024, arXiv:2404.03094). Da moderne KIs hunderttausende Wörter Kontext verarbeiten können, füttern Angreifer hunderte fingierte Frage-Antwort-Dialoge…
Perez et al. (Anthropic / DeepMind, arXiv:2212.09251). Sprachmodelle neigen durch menschliches Feedback-Training dazu, die Vorurteile des Nutzers zu bestätigen und Fehler zu…
Qi et al. (Princeton University, arXiv:2310.03693). Wenn ein Unternehmen ein quelloffenes oder API-Modell mit eigenen Daten feintuned, reichen wenige manipulierte Beispiele, um…
Forscher der ETH Zürich (ACM CCS / IEEE S&P). Untersuchte KI-generierte Spearfishing-Mails gegen menschliche Probanden. KI-Mails erzielten fast identische Klickraten wie…
Fredrikson et al. / Carnegie Mellon. Zeigt, wie Angreifer durch gezielte Abfragen an ein trainiertes Erkennungssystem das Gesicht oder die biometrischen Merkmale der…
Bekannt geworden durch Vorfälle wie bei Samsung 2023, wo Entwickler vertraulichen Quellcode zur Fehleranalyse in öffentliche Chatbots kopierten, der dann in Cloud-Logs und…
Entwickler nutzen KI-Coding-Assistenten. KIs erfinden manchmal plausible, aber nicht existierende Paketnamen (z. B. auf npm oder PyPI). Kriminelle registrieren genau diese…
Angreifer kombinieren KI-generierte emotionale Anschreiben mit QR-Codes. Da Mail-Sicherheitsfilter Text scannen, aber keine QR-Codes dekodieren, landen die Mails im Posteingang.
Mit Protokollen wie MCP (Model Context Protocol) oder OpenAI Function Calling erhalten KIs Zugriff auf Terminal, Datenbanken und Dateien. Durch Prompt Injection kann die KI dazu…
Kriminelle nutzen KI-Gesichtsgeneratoren und virtuelle Webcams, um Online-Kontoeröffnungen bei Neobanken und Krypto-Börsen mit gestohlenen Ausweisdaten erfolgreich abzuschließen.
Wird ein Chatbot durch Prompt Injection manipuliert, kann er sensible Daten im Link eines unsichtbaren Bildes kodieren (``). Beim Rendern der…
Unternehmen nutzen Retrieval Augmented Generation (RAG), um KIs auf interne Handbücher und Intranets zuzugreifen. Angreifer schleusen manipulierte Textbausteine ein, die interne…
Modelle wie GPT-4 Vision lösen komplexe Bild- und Logik-CAPTCHAs ('Finde alle Ampeln') mit über 90 Prozent Trefferquote und schlagen Menschen in Geschwindigkeit und Genauigkeit.
Konzepte wie BlackMamba demonstrieren, wie Malware via KI-API ihren Code zur Laufzeit ständig umschreibt. Funktion und Payload bleiben gleich, aber der Hash und die Signatur…
Betrüger senden Mitarbeitern kurze Sprachnachrichten im Messenger: 'Bin gerade im Flugzeug, bitte gib dringend die Rechnung frei!'. Die Stimme stammt aus YouTube-Interviews des…
Machine Unlearning ist mathematisch ungelöst. Ist eine Telefonnummer oder Adresse einmal in den Milliarden Parametern eines Modells eingebrannt, kann man sie nicht wie in einer…
Sicherheitsforscher (u. a. DARPA AI Cyber Challenge) zeigen, dass KI-Systeme Software-Repositories automatisiert scannen, Logikfehler finden und funktionierende Exploits in…
Nach dem NIS-2-UmsuCG müssen Geschäftsleiter IT-Sicherheitsmaßnahmen persönlich überwachen und sich regelmäßig schulen lassen. Sie haften der Gesellschaft bei schuldhaften…
EU-Verordnung für Produkte mit digitalen Elementen. Hersteller von Routern, Smart-TVs, Kameras und Software müssen Sicherheitsupdates über den gesamten Support-Lebenszyklus…
Der Digital Operational Resilience Act (DORA) verpflichtet Banken, Versicherungen und FinTechs zu lückenlosem IKT-Drittparteien-Risikomanagement und regelmäßigen Bedrohungstests…
Der Angemessenheitsbeschluss der EU-Kommission erlaubt Datentransfers an zertifizierte US-Konzerne. Bürgerrechtsorganisationen wie NOYB (Max Schrems) bereiten Klagen vor (Schrems…
Niemand darf einer Entscheidung unterworfen werden, die ausschließlich auf einer automatisierten Verarbeitung beruht und erhebliche Rechtsfolgen hat (z. B. automatisierte…
Die Behörde (Garante) sperrte temporär ChatGPT und erzwang wesentliche Änderungen: Altersverifikation, Widerspruchsrecht gegen KI-Training auf Nutzerdaten und Transparenzhinweise.
Reform des Bundesdatenschutzgesetzes zur Anpassung an EuGH-Rechtsprechung und Stärkung der Unabhängigkeit von Datenschutzbeauftragten im Unternehmen.
Verordnung über harmonisierte Vorschriften für einen fairen Datenzugang. Verbraucher haben das Recht, Daten, die ihre smarten Geräte erzeugen, einzusehen und an freie Werkstätten…
Geplante EU-Richtlinie erleichtert Verbrauchern die Beweislast, wenn fehlerhafte KI-Systeme Schäden (z. B. Unfälle mit autonomen Drohnen oder Fehldiagnosen) verursachen.
Meta plante, alle öffentlichen Beiträge europäischer Nutzer seit 2007 für KI-Modelle zu verwenden. Nach Intervention der irischen DPC und NOYB musste Meta ein Widerspruchsformular…
Nach § 87 Abs. 1 Nr. 6 BetrVG hat der Betriebsrat ein zwingendes Mitbestimmungsrecht bei der Einführung von KI-Tools, die das Verhalten oder die Leistung der Mitarbeiter…
Datenschutzbehörden verschärfen Kontrollen gegen manipulierte Zustimmungsdialoge ('Alles Akzeptieren' fett in Grün, 'Ablehnen' versteckt in Hellgrau). Art. 25 DSGVO verlangt…
Urteil vom 14.12.2023. Nach Hackerangriff auf bulgarische Steuerbehörde stellte der EuGH klar: Ein erfolgreicher Hack beweist zwar nicht per se Unfähigkeit, aber das Unternehmen…
Wegweisendes Urteil zur Post AG, die politische Affinitäten der Bürger berechnet hatte. Der EuGH stellte klar: Für Schadenersatz nach Art. 82 DSGVO gibt es keine Bagatellgrenze.…
Urteil vom 07.12.2023. Wenn Banken und Vermieter Kreditentscheidungen maßgeblich vom SCHUFA-Score abhängig machen, fällt bereits das Erstellen des Scores unter das Verbot…
Urteil zum litauischen Antikorruptionsgesetz. Die Veröffentlichung von Vermögens- und Interessenerklärungen von Amtsträgern im Internet verletzt den Verhältnismäßigkeitsgrundsatz…
Der BGH präzisierte die Pflichten nach § 675v BGB. Banken müssen unautorisierte Überweisungen erstatten, es sei denn, dem Kunden ist grobe Fahrlässigkeit vorwerfbar. Das bloße…
Wenn Betrüger über Social Engineering eine zweite Push-TAN-App auf einem fremden Smartphone freischalten, haftet die Bank, wenn ihr Freigabeverfahren Sicherheitslücken aufweist.
Urteil zu LinkedIn. Plattformbetreiber dürfen technische Sperren (Rate Limiting, Captchas, IP-Blocks) errichten, um zu verhindern, dass externe Bots Nutzerprofile massenhaft…
Urteil im Streit Bundeskartellamt vs. Meta. Wettbewerbsbehörden dürfen bei der Beurteilung von Marktmissbrauch prüfen, ob ein Konzern gegen die DSGVO verstößt (Zusammenführung von…
Der BGH stellte klar: Das Recht auf Auskunft nach Art. 15 DSGVO ist weit auszulegen und umfasst nicht nur Stammdaten, sondern auch interne E-Mails, Telefonnotizen und…
Der EuGH entschied: Das 'Recht auf Kopie' bedeutet nicht nur eine Zusammenfassung in einer Tabelle, sondern den Anspruch auf eine originalgetreue Reproduktion von Auszügen oder…
Urteil vom 27.09.2024 (Az. 310 O 227/23). Ein Fotograf klagte gegen den KI-Verein LAION wegen Download seines Fotos für einen Trainingsdatensatz. Das Gericht wies die Klage ab:…
Gerichte sprachen Hotelkunden nach einem Datenleck Schadenersatz zu, weil Kreditkartennummern und CVV-Codes im Darknet landeten und die Kunden ihre Karten sperren und überwachen…
Wer WhatsApp auf dem Smartphone installiert und dem Zugriff aufs Adressbuch zustimmt, übermittelt ungefragt Kontaktdaten unbeteiligter Dritter an Server in den USA. Ohne…
Urteil zu einer Kleinanzeigen-Plattform für Autoverkäufe. Finanzbehörden dürfen nicht anlasslos und pauschal sämtliche Nutzerdaten einer Plattform verlangen, sondern müssen…
Sensor-Fußmatten, Infrarot-Raumüberwachung und GPS-Uhren für Demenzpatienten helfen, Stürze zu verhindern. Rechtlich kann bei Systemen, die Fortbewegung überwachen und Rückführung…
Pflegekräfte fotografieren Wunden zur Verlaufskontrolle oft mit Dienst- oder Privathandy (BYOD). Ist automatisches Cloud-Backup (Google Fotos, iCloud) aktiv, werden…
Wird ein unverschlüsseltes Dienstgerät gestohlen, droht nach Art. 33 DSGVO eine Meldung an die Aufsichtsbehörde möglichst binnen 72 Stunden nach Kenntnis, sofern ein Risiko für…
3D-Scans für maßgefertigte Prothesen oder Einlagen sind besondere Kategorien personenbezogener Daten nach Art. 9 DSGVO. Werden diese Daten in US-basierte CAD/CAM-Cloud-Dienste…
Die elektronische Abrechnung von Hilfsmitteln mit Krankenkassen erfolgt über gesicherte Verfahren nach § 302 SGB V. Schwache Zertifikate, fehlende Segmentierung und…
Podologen als Heilmittelerbringer werden an die Telematikinfrastruktur angebunden. Die gematik beschreibt Voraussetzungen wie Institutionskarte SMC-B und perspektivisch digitale…
Bei der Behandlung des diabetischen Fußsyndroms ist die Bilddokumentation fachlich geboten. Datenschutzrechtlich handelt es sich um Gesundheitsdaten nach Art. 9 DSGVO. Private…
Behandlungsdaten müssen nach § 630f BGB mindestens zehn Jahre fälschungssicher aufbewahrt werden. Gleichzeitig sieht der nächste Patient oft den ungesperrten Monitor mit Diagnosen…
Pflegeberater müssen den Beratungseinsatz an die Pflegekasse übermitteln. Das Versenden als unverschlüsselte PDF per Standard-E-Mail verstößt gegen Sozialdatenschutz und Art. 32…