Viele Produkte im Gesundheitswesen werben inzwischen mit künstlicher Intelligenz, von der Symptom-App bis zum Frühwarnsystem auf der Station. Meine Lesart ist, dass hinter einem Teil dieser Etiketten etwas anderes arbeitet, etwa ein Entscheidungsbaum oder ein Punktwert, den Fachleute festgelegt haben. Eine belastbare Zählung, wie groß dieser Teil ist, kenne ich nicht.

Das halte ich zunächst für kein technisches Problem. Ein sauber gebautes Regelwerk kann im Klinikalltag verlässlicher arbeiten als ein lernendes Modell. Schwierig wird das Etikett, wenn es falsche Erwartungen weckt. Von der Einordnung hängt ab, was man von einem Produkt erwarten darf, wie man es prüft, welches Risiko man eingeht und welche Regeln gelten.

Was die KI-Verordnung unter einem KI-System versteht

Artikel 3 Nummer 1 der europäischen KI-Verordnung beschreibt ein KI-System als maschinengestütztes System, das aus den erhaltenen Eingaben ableitet, wie es Ausgaben wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erzeugt. Das tragende Wort ist „ableiten“. Erwägungsgrund 12 nimmt Systeme aus, die „auf ausschließlich von natürlichen Personen definierten Regeln für das automatische Ausführen von Operationen beruhen“.

Die EU-Kommission hat dazu im Februar 2025 Leitlinien veröffentlicht, die förmliche Fassung stammt vom Juli 2025. Darin nennt sie Beispiele für Systeme außerhalb des Begriffs: Datenverarbeitung nach festen Regeln, rein beschreibende Statistik wie ein Dashboard mit Durchschnittswerten, klassische Heuristiken und einfache Vorhersagen, die im Kern einen Mittelwert fortschreiben.

Die Grenze verläuft dabei nicht einfach zwischen Statistik und KI. Dieselben Leitlinien zählen frühe Expertensysteme für die medizinische Diagnose ausdrücklich zu den KI-Systemen, weil sie aus kodiertem Wissen von Fachleuten Schlüsse aus den Symptomen eines Patienten ziehen. Außerdem halten sie fest, dass es keine abschließende Liste geben kann und jedes System nach seiner Architektur und Funktionsweise zu beurteilen ist. Verbindlich sind die Leitlinien nicht, das letzte Wort hat der Europäische Gerichtshof.

Für die Praxis folgt daraus, dass die Produktbeschreibung allein nicht klärt, ob ein Produkt rechtlich ein KI-System ist. Dafür braucht man Auskünfte darüber, wie es technisch arbeitet.

Ein Regelwerk ist kein Makel

Ein bekanntes Beispiel aus der Klinik ist der National Early Warning Score, kurz NEWS2. Das Royal College of Physicians in London hat die überarbeitete Fassung im Dezember 2017 veröffentlicht. Der Score vergibt Punkte für sechs Messwerte, nämlich Atemfrequenz, Sauerstoffsättigung, systolischen Blutdruck, Puls, Bewusstseinslage und Temperatur, und addiert sie. Wer zusätzlichen Sauerstoff braucht, um die Zielsättigung zu halten, bekommt zwei Punkte dazu.

NEWS2 wirbt nicht mit KI, und ich nenne ihn hier gerade deshalb. Jeder Wert lässt sich mit der Punktetabelle nachrechnen, und wer den Score anwendet, sieht, warum ein Patient auffällt. Solange niemand die Tabelle ändert, bleibt er, wie er ist. Würde ein Hersteller dieselbe Logik als KI vermarkten, bliebe das Produkt technisch gleich. Wer es kauft, würde dann aber Eigenschaften erwarten, die ein Punktwert nicht hat, etwa dass es aus neuen Daten lernt.

Was das Etikett verändert

Wer „KI“ liest, erwartet meist ein System, das aus Daten gelernt hat und vielleicht weiter lernt. Ein Regelwerk wird nur besser, wenn jemand die Regeln überarbeitet, und wer damit arbeitet, sollte das wissen.

Auch die Prüfung unterscheidet sich. Ein Regelwerk prüfe ich, indem ich die Regeln lese und mit der Leitlinie vergleiche. Ein lernendes Modell muss ich an Daten prüfen: an welchen Patientengruppen es entwickelt und getestet wurde, wie oft es danebenliegt und ob seine Leistung in der eigenen Einrichtung hält. Fehler zeigen sich ebenfalls anders. Eine Regel scheitert an Fällen, die niemand bedacht hat, und das lässt sich meist nachvollziehen. Ein Modell kann bei Gruppen, die in den Trainingsdaten selten waren, schlechter abschneiden, ohne dass es im Alltag auffällt. Für Hautbilder habe ich das am Beispiel meines AI Melanom Check beschrieben: Auf dunklerer Haut, die in gängigen Trainingsdaten selten vorkommt, fällt die Leistung solcher Modelle deutlich ab.

Bei der Regulierung schließlich gilt: Ist ein Produkt kein KI-System, greift die KI-Verordnung dafür nicht. Eine Symptom-App mit medizinischer Zweckbestimmung kann trotzdem ein Medizinprodukt sein, denn die Medizinprodukteverordnung nennt Software ausdrücklich und fragt nicht danach, ob KI darin steckt. Für KI-Systeme in Medizinprodukten, die als hochriskant gelten, greifen die zusätzlichen Pflichten der KI-Verordnung nach dem Digital Omnibus erst ab dem 2. August 2028.

Wenn das Etikett zur Irreführung wird

Die US-Börsenaufsicht SEC nennt falsche KI-Versprechen „AI washing“. Im März 2024 hat sie zwei Anlageberater belangt, die nach Feststellung der Behörde falsche und irreführende Angaben über ihren angeblichen Einsatz von KI gemacht hatten. Die Firmen zahlten zusammen 400.000 Dollar, ohne die Feststellungen anzuerkennen oder zu bestreiten.

Im September 2024 kündigte die Verbraucherschutzbehörde FTC unter dem Namen „Operation AI Comply“ fünf Verfahren an. Eines betraf einen Dienst, der sich als ersten Roboteranwalt der Welt bewarb. Nach Darstellung der FTC hatte das Unternehmen nicht geprüft, ob die Antworten seines Chatbots das Niveau eines menschlichen Anwalts erreichen, und selbst keine Anwälte beschäftigt. Beide Behörden stützten sich dabei auf bestehende Regeln gegen die Irreführung von Anlegern und Verbrauchern.

Was Artikel 4 damit zu tun hat

Seit dem 2. Februar 2025 gilt Artikel 4 der KI-Verordnung zur KI-Kompetenz. Mit dem Digital Omnibus wurde er im Juli 2026 neu gefasst. Anbieter und Betreiber müssen Maßnahmen ergreifen, um die Entwicklung der KI-Kompetenz ihres Personals zu unterstützen. Ein bestimmtes Niveau für jede einzelne Person müssen sie ausdrücklich nicht garantieren. Unter KI-Kompetenz versteht die Verordnung unter anderem die Fähigkeit, KI-Systeme sachkundig einzusetzen und sich ihrer Chancen und Risiken bewusst zu sein.

Für die Praxis heißt das: Wer nicht unterscheiden kann, ob vor ihm ein lernendes Modell oder ein Regelwerk liegt, kann dessen Risiken kaum einschätzen. Um genau diesen Unterschied zwischen Kompetenz und Begriffswissen ging es mir in AI Literacy ist kein Vokabeltest.

Prüffragen für Einkauf und Praxis

Mit diesen Fragen lässt sich ein KI-Versprechen hinterfragen, im Einkauf ebenso wie auf Station.

  • Lernt das System aus Daten, oder folgt es Regeln, die Menschen festgelegt haben? Beides ist legitim. Die Antwort sollte in zwei Sätzen möglich sein und schriftlich in die Unterlagen gehören.
  • Mit welchen Daten wurde es entwickelt und getestet? Gefragt sind Herkunft, Zeitraum, Altersgruppen, Geschlecht und Versorgungssetting. Passt das zu den eigenen Patientinnen und Patienten?
  • Wie wird die Leistung gemessen, und im Vergleich womit? Sensitivität und Spezifität sagen mehr als eine einzelne Genauigkeitszahl. Aufschlussreich ist der Vergleich mit dem bisherigen Verfahren oder mit einer einfachen Regel. Wenn ein lernendes Modell einen einfachen Punktwert nicht übertrifft, sollte der Hersteller erklären können, welchen Vorteil es sonst bringt.
  • Verändert sich das System nach dem Kauf? Wer entscheidet über Updates oder Nachtraining, und wie erfährt die Einrichtung davon?
  • Was passiert bei Fehlern? Wer bemerkt und meldet sie, und wie arbeitet das Team weiter, wenn das System ausfällt oder danebenliegt?

Ein Hersteller, der diese Fragen offen beantwortet, ist für mich ein guter Partner, auch wenn in seinem Produkt am Ende kein lernendes Modell steckt. Einrichtungen empfehle ich, die Fragen einmal im Team an einem echten Angebot durchzugehen und die Antworten abzulegen. Das lässt sich später auch als Maßnahme nach Artikel 4 belegen.

Quellen