KI und Medikamentendosierung: Warum eine plausible Antwort keine geprüfte Anordnung ist
Sprachmodelle können überzeugend falsche Angaben liefern. Welche Grenzen bei Arzneimittelfragen, Freigaben und fachlicher Gegenprüfung nötig sind.
Redaktioneller Stand:
Hintergrund & Quellenbefund
OWASP führt Fehlinformationen als eigenständiges Risiko von Sprachmodellen auf. Dazu zählen glaubwürdig wirkende, aber unzutreffende Aussagen und die Gefahr, dass Nutzer ihnen zu stark vertrauen. Für Arzneimittelfragen ist deshalb entscheidend, ob Angaben tatsächlich aus einer geeigneten aktuellen Fachquelle stammen und zum konkreten Fall passen. Eine höfliche und ausführliche Antwort ist dafür kein Nachweis. [1]
Bei Software für diagnostische oder therapeutische Entscheidungen ist außerdem die medizinprodukterechtliche Zweckbestimmung zu prüfen. Die MDCG-Leitlinie erläutert Regel 11 der MDR: Je nach Bedeutung der Information und möglichen Folgen einer Fehlentscheidung kommen unterschiedliche Risikoklassen in Betracht. Es gibt keine pauschale Klasse für sämtliche KI-Assistenten oder Dosierungsprogramme. [2]
Ein allgemeiner Textassistent wird nicht durch einen Warnhinweis zu einem validierten Dosierungswerkzeug. Umgekehrt ist die Behauptung, Sprachmodelle könnten grundsätzlich niemals rechnen, zu grob: Ausschlaggebend sind die nachgewiesene Eignung des konkreten Systems und sein freigegebener Einsatzzweck. [1], [2]
Einordnung & Grenzen
Der Beitrag nennt bewusst keine Dosierungen oder Umrechnungen und gibt keine individuelle Arzneimittelberatung. Er bewertet auch kein bestimmtes Präparat. Haftung und Strafbarkeit hängen vom tatsächlichen Verhalten und den rechtlichen Voraussetzungen ab; sie werden hier nicht vorweggenommen.
Einfach erklärt
Fiktives Praxisbeispiel: Eine Fachkraft erhält von einem allgemeinen Chatbot eine Mengenangabe. Statt sie zu übernehmen, prüft sie die verordnete Zubereitung und die maßgeblichen Fachinformationen über den freigegebenen Prozess. Bei Unklarheiten wird die zuständige ärztliche oder pharmazeutische Stelle einbezogen.
Empfehlungen für die Praxis
Unsere Empfehlung: Trennen Sie Formulierungshilfe, Recherche und konkrete Behandlungsentscheidung in Ihrer KI-Richtlinie. Geben Sie allgemeine Assistenten nicht als selbstständige Quelle für patientenbezogene Dosierungen frei. Halten Sie fest, welche geprüften Systeme und Fachinformationen dafür vorgesehen sind.
Prüfen Sie bei einem spezialisierten Produkt Zweckbestimmung, Anwendungsgrenzen und die relevanten Konformitätsunterlagen. Testen Sie Aktualität, Einheiten, Eingabefehler und den Umgang mit fehlenden Angaben in einer fachlich beaufsichtigten Umgebung mit erfundenen Fällen.
Ein Systemprompt, der Dosierungsfragen ablehnen soll, ist nur eine Schutzschicht. Kontrollieren Sie seine Wirkung und verhindern Sie, dass ungeprüfte Antworten unmittelbar in Anordnungen oder Ausführungslisten übernommen werden. Lassen Sie Mitarbeitende wissen, wie widersprüchliche Angaben ohne Zeitdruck eskaliert werden können.