Lesezeit: ca. 8 Minuten

Die Versprechen sind groß: KI erkennt den Herzinfarkt bevor der Arzt ihn sieht. KI schätzt Dringlichkeit besser ein als überlastete Notaufnahmen. KI entlastet das System, indem sie unnötige Konsultationen verhindert.

Diese Szenarien werden regelmäßig diskutiert, in Medien, auf Kongressen, in Pitchdecks. Und es ist genau dieser Bereich, in dem die aktuell vorliegende wissenschaftliche Evidenz am deutlichsten warnt.

Was Triage bedeutet und warum sie besonders anfällig ist

Triage ist die Einschätzung der medizinischen Dringlichkeit: Wer muss sofort behandelt werden? Wer kann warten? Welcher Zustand ist lebensbedrohlich?

Diese Einschätzung erfordert hohe Sicherheit. Ein Fehler in die eine Richtung, Übertriage, erzeugt unnötige Behandlungen und kostet Ressourcen. Ein Fehler in die andere Richtung, Untertriage, kann Leben kosten.

Generative Sprachmodelle sind probabilistische Systeme. Sie erzeugen die statistisch plausibelste Antwort, gegeben die vorliegenden Informationen. Das ist nicht dasselbe wie eine medizinisch korrekte Einschätzung. Und der Unterschied tritt genau dort zutage, wo er am gefährlichsten ist: an den Extremen.

Was die Evidenz zeigt

Eine im Jahr 2026 in Nature Medicine veröffentlichte Studie hat genau das untersucht: die Triage-Leistung von ChatGPT Health unter kontrollierten Bedingungen. Das Design war methodisch klar: 60 klinische Fallvignetten wurden unter 16 verschiedenen Bedingungen getestet, insgesamt 960 Antworten.

Das Ergebnis ist beunruhigend: Bei Gold-Standard-Notfällen, also Fällen, bei denen sofortiger Behandlungsbedarf eindeutig vorlag, wie etwa diabetische Ketoazidose oder drohende respiratorische Insuffizienz, wurde die Dringlichkeit in 52 Prozent der Fälle unterschätzt.

Gleichzeitig wurden nicht dringliche Fälle häufig übertriagiert. Das System traf also beide Fehler, und das besonders häufig an genau den Stellen, an denen ein Fehler besonders folgenreich ist.

Zusätzlich zeigte sich eine Empfindlichkeit gegenüber Kontextinformationen und Framing: Wie eine Situation beschrieben wurde, beeinflusste die Einschätzung. Das ist bei einem Sprachmodell strukturell zu erwarten, und im medizinischen Kontext problematisch.

Warum das strukturell zu erwarten war

Dieser Befund überrascht nicht, wenn man versteht, wie Sprachmodelle funktionieren.

Ein Large Language Model wurde darauf trainiert, Sprache zu modellieren, Texte zu erzeugen, die wahrscheinlich sind gegeben einem Kontext. Es hat kein internes Modell von medizinischer Wirklichkeit. Es hat keine Möglichkeit, einen Patienten zu sehen, zu hören oder zu untersuchen. Es operiert ausschließlich auf Basis von Text.

Klinische Einschätzung entsteht aus dem Zusammenspiel von Anamnese, körperlicher Untersuchung, Laborwerten, dem Gesamtbild des Patienten, und der klinischen Erfahrung, die bewertet, wenn etwas „nicht stimmt”, auch wenn alle Einzelwerte unauffällig sind. Das ist das, was medizinisch als „klinischer Blick” bezeichnet wird.

Diesen Blick hat kein Sprachmodell.

Warum trotzdem über KI in der Triage gesprochen wird

Die Frage ist berechtigt: Wenn die Evidenz so klar ist, warum wird dann trotzdem über KI-Triage diskutiert?

Zum einen gibt es tatsächlich Anwendungsfälle, in denen KI als Assistenzsignal, nicht als Entscheidungssystem, sinnvoll sein kann. Eine in JAMA Network Open veröffentlichte Studie untersuchte die Fähigkeit eines Sprachmodells, relative klinische Dringlichkeit zu klassifizieren. Solche Ergebnisse sind interessant als ergänzende Information innerhalb eines klinischen Workflows, nicht als autonome Einschätzung.

Zum anderen gibt es wirtschaftliche Interessen. Eine Technologie, die verspricht, Notaufnahmen zu entlasten und Fehleinschätzungen zu reduzieren, ist ökonomisch attraktiv. Das erklärt, warum Versprechen oft weiter reichen als die tatsächliche Evidenz.

Was das für die Nutzung bedeutet

Für alle, die KI-Produkte im Gesundheitsbereich entwickeln, einsetzen oder evaluieren, ergibt sich daraus eine klare Konsequenz: Der Intended Use, also der tatsächlich vorgesehene Zweck des Systems, muss ehrlich beschrieben werden.

Ein System, das Patienten hilft, ihre Symptome zu strukturieren und Fragen für den Arztbesuch vorzubereiten, ist nützlich. Ein System, das vorgibt, verlässliche Aussagen über medizinische Dringlichkeit zu liefern, ist gefährlich.

Die Grenze dazwischen ist nicht immer einfach zu ziehen. Aber sie muss gezogen werden. Im europäischen Regulierungsrahmen, MDR, AI Act, DSGVO, ist genau das vorgesehen: Der Intended Use bestimmt die regulatorische Einordnung. Und wer ein System als Triagesystem vermarktet, muss die damit verbundenen Anforderungen erfüllen.

Die größten Versprechen generativer KI im Gesundheitswesen liegen oft genau dort, wo ihre Grenzen beginnen. Das zu wissen, ist keine Technikskepsis. Es ist Grundlage für einen verantwortungsvollen Einsatz.

Dieser Artikel ist Teil der Serie „Generative KI im Gesundheitswesen” auf kuersatcifci.de.

Quellen: