Wenn der Computer Krankheiten erfindet: KI-Schreibsysteme in Arztpraxen entpuppen sich als gefährliche Halluzinationsmaschinen

Es klingt nach dem Traum jeder überlasteten Arztpraxis: Eine künstliche Intelligenz lauscht dem Gespräch zwischen Arzt und Patient, transkribiert es und formuliert daraus säuberlich strukturierte medizinische Notizen. Stunden an lästiger Bürokratie sollen so verschwinden, mehr Zeit für den Menschen bleiben. So zumindest das Verkaufsversprechen. Die Realität jedoch, so zeigt nun ein erschütternder Sonderbericht des Rechnungsprüfers der kanadischen Provinz Ontario, sieht ganz anders aus – und sie ist regelrecht beängstigend.

Wenn die Maschine Medikamente verschreibt, die niemand erwähnt hat

Die sogenannten AI-Scribe-Systeme, die in Ontario bereits von rund 5.000 Ärzten genutzt würden, sollen Arzt-Patienten-Gespräche im klassischen SOAP-Format dokumentieren – Subjektiv, Objektiv, Assessment, Plan. Was dabei jedoch herauskomme, sei alles andere als verlässlich. Die Provinz hatte zwanzig zugelassene Anbieter mit simulierten Gesprächen auf die Probe gestellt. Das Ergebnis liest sich wie ein medizinischer Albtraum.

• Alle 20 Systeme wiesen mindestens eine Form der Ungenauigkeit auf.
• 9 von 20 Systemen (45 %) halluzinierten – sie erfanden plausibel klingende, aber schlicht nicht existente Informationen wie Therapien, Überweisungen oder Bluttests.
• 12 von 20 Systemen (60 %) erfassten schlicht falsche Medikamente.
• 17 von 20 Systemen (85 %) übersahen wichtige Hinweise auf psychische Erkrankungen.

Man stelle sich das vor: Ein Programm, das einem Patienten eine Krankheit andichtet, die er nie hatte, oder ihm ein Medikament in die Akte schreibt, das im Gespräch nie zur Sprache kam. Der Bericht warnt unmissverständlich, solche Ungenauigkeiten könnten zu unzureichenden oder sogar schädlichen Behandlungsplänen führen und die Gesundheit der Patienten gefährden.

Der eigentliche Skandal liegt in der Bürokratie

Doch der Rechnungsprüfer nimmt nicht allein die Technik ins Visier. Der wahre Skandal, so legt der Bericht nahe, sei die fahrlässige Beschaffung. Zahlreiche Anbieter hätten geforderte Sicherheits- und Auditnachweise – etwa Datenschutz-Folgenabschätzungen – schlicht nicht eingereicht und seien dennoch durchgewunken worden. Die Kriterien Genauigkeit, Datensicherheit und Verzerrungsprüfung wurden bei der Ausschreibung mit lächerlichen zwei bis vier Prozent gewichtet. Verpflichtende Live-Tests? Fehlanzeige.

Der KI-Boom überholt die Überprüfung – und der Mensch wird zum Versuchskaninchen eines digitalen Experiments, dessen Risiken niemand wirklich abschätzen will.

Hier zeigt sich ein Muster, das man auch aus Deutschland nur zu gut kennt: Eine politische Begeisterung für die schöne neue Digitalwelt, gepaart mit einer sträflichen Vernachlässigung der grundlegendsten Sicherheitsfragen. Hauptsache modern, Hauptsache fortschrittlich – die Konsequenzen tragen am Ende die Bürger.

Beschwichtigung statt Verantwortung

Die zuständige Politik reagierte erwartbar. Es gebe bislang keine bekannten Fälle von Patientenschäden, hieß es. Die Nutzung sei freiwillig, die Einwilligung der Patienten Pflicht, und ohnehin müsse jeder Arzt jede Notiz selbst prüfen und freigeben. Der zuständige Minister erklärte, die Fehler seien lediglich in der Testphase aufgetreten, die letzte Verantwortung trügen die Ärzte. Eine bequeme Argumentation – man verlässt sich darauf, dass der überlastete Mediziner schon jeden Fehler der Maschine ausbügeln werde. Doch genau dieser Zeitgewinn, mit dem das System beworben wird, lädt geradezu dazu ein, die Kontrolle schleifen zu lassen.

Kritiker sehen die Sache nüchterner. Die Forderung, solche Systeme erst dann flächendeckend einzusetzen, wenn sie sicher funktionierten, klingt vernünftig – doch sie verkennt womöglich ein grundlegendes Problem.

Halluzinieren ist kein Fehler, sondern das Wesen der Maschine

Denn das eigentlich Brisante ist: Diese sogenannte Künstliche Intelligenz versteht überhaupt nichts. Sie hat keinen Begriff von Krankheit, von Diagnose, von Therapie. Sie ist im Kern nichts anderes als ein gigantischer statistischer Rechenapparat, der aus Millionen gelernter Sprachmuster die wahrscheinlichste Wortfolge ableitet. Bedeutung entsteht nicht im Modell, sondern erst im Kopf des Lesers. Wer einer solchen Maschine in einem sicherheitskritischen Bereich wie der Medizin blind vertraut, spielt mit dem Leben von Menschen.

Auch aus den USA werden ähnliche Schwierigkeiten berichtet. Die Botschaft sollte uns auch hierzulande zu denken geben, wo digitale Heilsversprechen oft schneller umgesetzt als hinterfragt werden. Technologischer Fortschritt ist begrüßenswert – aber niemals auf Kosten der Sicherheit und Würde des Menschen.

Was bleibt: Vertrauen in das Echte

Die Lektion aus Ontario ist klar: Blindes Vertrauen in glänzende Technologie, deren Risiken man bewusst kleinredet, kann fatale Folgen haben. In einer Welt, in der immer mehr durch Algorithmen, Statistik und vermeintlich allwissende Systeme ersetzt werden soll, gewinnt das Greifbare, das physisch Vorhandene, das nicht Manipulierbare wieder an Wert. Was für medizinische Akten gilt, gilt im Übertragenen auch für das eigene Vermögen: Wer sich nicht allein auf digitale Versprechen verlassen möchte, schätzt die Beständigkeit echter, physischer Werte. Gold und Silber halluzinieren nicht, sie erfinden keine Zahlen und brauchen keinen Stromanschluss – sie sind seit Jahrtausenden das, was sie sind: verlässliche Sachwerte zur Sicherung des eigenen Vermögens.

Hinweis: Dieser Beitrag stellt keine Anlageberatung dar und gibt ausschließlich die Meinung unserer Redaktion sowie die uns vorliegenden Informationen wieder. Edelmetalle eignen sich nach unserer Auffassung als sinnvolle Beimischung zu einem breit gestreuten Portfolio. Jeder Anleger ist für seine Entscheidungen selbst verantwortlich und sollte eigenständig recherchieren oder fachkundigen Rat einholen.