Eine Studie der Universität Göteborg hat gezeigt, dass moderne Systeme der künstlichen Intelligenz trotz klarer Anzeichen für Fälschung in den Quelldaten absichtlich falsche medizinische Informationen reproduzieren und verbreiten können.
Experimentieren Sie mit einer nicht existierenden Krankheit
Die Forscherin Almira Osmanovic Thunström initiierte ein Experiment, bei dem zwischen März und Mai 2024 zwei gefälschte wissenschaftliche Arbeiten über die fiktive Krankheit „Bixonymanie“ – eine vermeintliche Form der periorbitalen Hyperpigmentierung, die mit der Exposition gegenüber blauem Licht in Verbindung gebracht wird – veröffentlicht und auf einen Vorabveröffentlichungsserver hochgeladen wurden.
Die Artikel wurden von einem fiktiven Forscher namens Lazljiv Izgubljenovic von der ebenfalls fiktiven Asteria Horizon University (Kalifornien) verfasst. Sie enthielten deutliche Hinweise auf ihren fiktiven Charakter: den Satz „Dieser Artikel ist frei erfunden“, ein Dank an „Professor Maria Boehm von der Sternenflottenakademie“ sowie Erwähnungen von Fördermitteln durch „Professor Sideshow Bobs Stiftung“ und „Die Universität der Gefährten des Rings und der Galaktischen Triade“.
Trotzdem behandelten große KI-Systeme „Bixonymanie“ nach ihrer Veröffentlichung mehrere Wochen lang als reale Erkrankung. Google Gemini beschrieb bereits am 13. April 2024 die Ursachen der Krankheit und empfahl eine augenärztliche Untersuchung. Am 27. April berichtete Perplexity über eine Prävalenz von einem Fall pro 90.000 Einwohner, und ChatGPT gab Nutzern am selben Tag Hinweise zu den Symptomen.
Falschmeldungen in einer wissenschaftlichen Publikation
Das Experiment wurde fortgesetzt, indem eine der Testarbeiten in eine von indischen Forschern begutachtete Publikation aufgenommen wurde. Die am 27. November 2024 in der Fachzeitschrift Cureus veröffentlichte Arbeit wurde am 30. März 2026 zurückgezogen.
Laut offizieller Mitteilung fanden die Herausgeber „drei irrelevante Verweise, darunter einen auf eine fiktive Krankheit“, die Zweifel an der Validität der Arbeit aufkommen ließen. Weitere Details finden sich in der DOI-Mitteilung zur Rücknahme. Die Autoren des Artikels waren jedoch mit der Entscheidung der Herausgeber nicht einverstanden.
Eine detaillierte Analyse des Experiments und seiner Folgen wurde am 7. April 2026 in der Fachzeitschrift Nature veröffentlicht.
Zunehmende KI-Nutzung im US-Gesundheitswesen
Parallel zu den identifizierten Risiken integrieren öffentliche und private Einrichtungen aktiv KI in medizinische Prozesse. Im Mai 2025 schloss die US-amerikanische Arzneimittelbehörde FDA das erste Pilotprojekt zur KI-gestützten wissenschaftlichen Begutachtung ab.
Im Juni desselben Jahres führte die Behörde das Tool Elsa ein, um die Prüfung klinischer Protokolle und die Sicherheitsbewertung zu beschleunigen. Im Dezember 2025 qualifizierte die FDA außerdem das erste KI-gestützte Tool zur Wirkstoffforschung, AIM-NASH, das für die Histologieanalyse im Rahmen von MASH eingesetzt wird.
Auch auf institutioneller Ebene werden radikale Veränderungen diskutiert. Am 25. März 2026 kündigte Mitchell H. Katz, CEO von NYC Health + Hospitals, die Möglichkeit an, einen erheblichen Teil der Radiologen durch KI-Algorithmen zu ersetzen, vorbehaltlich einer regulatorischen Genehmigung. Er verwies dabei auf die damit verbundenen erheblichen Kosteneinsparungen bei der Bildgebung.
Meinung der KI
Aus Sicht des maschinellen Lernens fügen sich solche Vorfälle mit gefälschten wissenschaftlichen Publikationen in ein breiteres Muster der Anfälligkeit von Sprachmodellen gegenüber autoritär wirkenden Quellen ein. Das System „versteht“ Glaubwürdigkeit nicht, sondern bewertet die Struktur und Plausibilität des Textes, wodurch nicht begutachtete Preprints ein potenziell gefährliches Inputmaterial für das Training und die Generierung von Antworten darstellen.