Am Ende einer Schulung wird ein Bogen ausgeteilt. Wie hat Ihnen der Kurs gefallen, war das Tempo angemessen, würden Sie ihn weiterempfehlen. Die Auswertung ergibt 4,6 von 5, und damit gilt die Maßnahme als erfolgreich.
Gemessen wurde dabei Zufriedenheit. Über Kompetenz sagt sie nichts. Die beiden hängen nicht einmal zuverlässig zusammen: Ein Kurs, in dem viel erklärt und wenig verlangt wird, bekommt gute Noten. Ein Kurs, in dem Menschen an eigenen Fällen scheitern und daraus etwas mitnehmen, bekommt schlechtere.
Das ist keine Kleinigkeit, sondern die Stelle, an der ein Weiterbildungsbudget verschwindet, ohne dass jemand es merkt.
Der Unterschied, um den es geht
Teilnahme ist ein Ereignis. Jemand war anwesend, hat zugehört, hat unterschrieben. Das lässt sich mühelos dokumentieren, und genau deshalb wird es dokumentiert.
Kompetenz ist eine Disposition. Jemand handelt in einer Situation anders, als er es vorher getan hätte. Das lässt sich nur an der Situation zeigen, nicht an der Anwesenheit.
Die gängige Schulungsbescheinigung beweist das erste und wird für das zweite genommen. Wer eine KI-Kompetenzpflicht mit Teilnahmelisten belegen will, hat deshalb ein Papier, aber keinen Nachweis.
Was ein Wissenstest leistet und was nicht
Die naheliegende Antwort ist ein Test am Kursende. Zehn Fragen, sieben richtig, bestanden.
Solche Tests haben ihren Platz. Sie prüfen zuverlässig, ob Begriffe und Regeln bekannt sind: Welche Datenklasse ist das, welches System ist dafür freigegeben, wer muss vorher zustimmen. Das ist die unterste Stufe, und sie ist nicht wertlos.
Was sie nicht prüfen, ist die Fähigkeit, ein Ergebnis zu beurteilen. Wer die Definition einer erfundenen Quellenangabe auswendig kann, erkennt sie deshalb noch nicht in einem Text, der plausibel aussieht und den er selbst angefordert hat. Zwischen dem Wissen über einen Fehlertyp und dem Erkennen eines konkreten Falls liegt der ganze Unterschied, um den es bei Kompetenz geht. Warum ich standardisierten Kompetenztests grundsätzlich mit Vorbehalt begegne, habe ich in AI Literacy ist kein Vokabeltest beschrieben.
Vier Prüfformen, die tatsächlich etwas zeigen
Der fehlerhafte Fall. Vorgelegt wird ein echtes Modellergebnis mit eingebauten Mängeln: eine Quelle, die es nicht gibt, eine Zahl, die im Ausgangsmaterial nicht steht, eine Zusage, die so nicht gilt. Die Aufgabe lautet, die Stellen zu markieren und zu begründen. Das prüft Beurteilung, nicht Bedienung. Es ist die aussagekräftigste Form, die ich kenne, und sie funktioniert nur mit Fällen aus dem eigenen Haus.
Die Zuordnung mit Begründung. Fünf reale Arbeitsvorgänge, die Aufgabe lautet: Welche Datenklasse, welcher Weg, und warum. Die Begründung ist der Prüfgegenstand, nicht die Zuordnung. Wer richtig zuordnet und falsch begründet, hat geraten.
Die Abbruchentscheidung. Eine Situation wird geschildert, in der die Nutzung eines Systems naheliegt, aber nicht zulässig oder nicht sinnvoll ist. Geprüft wird, ob jemand die Grenze erkennt und benennt, an wen die Sache dann geht. Diese Form deckt am zuverlässigsten auf, ob eine Schulung nur Begeisterung erzeugt hat.
Die Arbeitsprobe nach einigen Wochen. Ein echtes Arbeitsergebnis, das unter Nutzung eines Systems entstanden ist, wird gemeinsam durchgegangen: Was wurde geprüft, was wurde übernommen, was wurde verworfen. Das ist die einzige Form, die Transfer misst, also das, was am Arbeitsplatz tatsächlich ankommt.
Keine dieser Formen braucht eine Prüfungsordnung. Sie brauchen Zeit und jemanden, der den Gegenstand beurteilen kann.
Die zweite Messung ist die wichtigere
Alles, was am Kursende gemessen wird, misst den Kurs. Ob sich Arbeit verändert hat, zeigt sich frühestens nach ein paar Wochen.
Dafür genügen erstaunlich einfache Größen, wenn man sie vorher festlegt. Wie viele der freigegebenen Anwendungsfälle werden tatsächlich genutzt und von wem. Wie viele Anfragen an die zuständige Stelle kommen und ob sich ihre Art verändert. Ob die Fälle, in denen jemand abgebrochen und nachgefragt hat, zunehmen, was ein gutes Zeichen ist und regelmäßig für ein schlechtes gehalten wird.
Wer diese Größen erst nach dem Kurs sucht, findet keine Ausgangswerte mehr. Deshalb gehört die Messung an den Anfang der Planung, nicht ans Ende.
Was mit den Ergebnissen nicht passieren darf
Eine Kompetenzmessung, die in die Personalbeurteilung wandert, zerstört sich selbst. Wer befürchten muss, dass ein schlechtes Ergebnis Folgen hat, zeigt im Test nicht, was er nicht kann. Dann bleibt genau die Information aus, für die gemessen wurde.
Praktisch heißt das: Die Auswertung erfolgt auf Gruppenebene. Der Einzelfall bleibt zwischen der Person und der Lernbegleitung. Und Ergebnisse, die zeigen, dass etwas nicht angekommen ist, sind ein Befund über das Curriculum, nicht über die Teilnehmenden.
Das ist unbequem für alle, die eine Maßnahme als erfolgreich melden müssen. Es ist die Voraussetzung dafür, dass die Messung überhaupt etwas wert ist.
Was das für den Nachweis nach Artikel 4 bedeutet
Die KI-Verordnung verlangt von Anbietern und Betreibern, für ein ausreichendes Maß an KI-Kompetenz beim Personal zu sorgen. Sie schreibt kein Format vor und knüpft an Artikel 4 keinen eigenen Bußgeldtatbestand.
Für die Nachweisfrage folgt daraus etwas anderes, als der Weiterbildungsmarkt nahelegt. Wer belegen will, dass er seiner Pflicht nachgekommen ist, hat mit einer Teilnahmeliste das schwächste aller Dokumente. Stärker ist die Beschreibung, welche Rollen welches Risiko tragen, welche Fähigkeiten daraus abgeleitet wurden und woran geprüft wurde, dass sie vorliegen. Das ist mehr Arbeit als ein Zertifikat und es ist das Einzige, was der Sache entspricht.
Wie dieser Aufbau von der Rolle zum Lernziel entsteht, habe ich im Beitrag über den Aufbau eines KI-Curriculums beschrieben. Ein fertiges Gerüst liegt bei den Werkzeugen, im Volltext und ohne Formular.