Kurzfassung: Eine Abschlussquote zeigt, wie viele Personen den vorgesehenen Kursweg beendet haben. Lernerfolg wird sichtbar, wenn Teilnehmende eine passende Aufgabe besser bearbeiten können. Prüfen Sie Teilnahme, Leistung und Anwendung getrennt und verwenden Sie vorher festgelegte Kriterien.
Nach dem Rollout meldet das LMS eine hohe Abschlussquote. Die Personalentwicklung ist zufrieden, die Fachabteilung sieht im Arbeitsalltag noch wenig Veränderung. Beide Beobachtungen können gleichzeitig stimmen. Es wurden unterschiedliche Dinge gemessen.
Vier Fragen statt einer Kennzahl
| Frage | Möglicher Nachweis | Was damit offen bleibt |
|---|---|---|
| Wurde das Angebot erreicht? | Zugang und tatsächliche Nutzung | ob gelernt wurde |
| Wurde etwas verstanden? | neue Frage mit begründeter Antwort | ob die Anwendung gelingt |
| Kann die Person die Aufgabe bearbeiten? | Arbeitsprobe oder Fallaufgabe | ob es im Alltag eingesetzt wird |
| Wird es in der Arbeit angewendet? | beobachtete Anwendung und Arbeitsprodukt | welcher Anteil einer Veränderung auf den Kurs zurückgeht |
Wählen Sie Nachweise passend zum Lernziel. Bei einer Bedienung ist die Ausführung interessant. Bei einer Beurteilung brauchen Sie die Begründung. Ein Wissensquiz ist für manche Grundlagen hilfreich, kann aber nicht jede Kompetenz abbilden.
Ein Bewertungsraster vor dem Kurs erstellen
Angenommen, Mitarbeitende sollen eine KI-Zusammenfassung prüfen. Das folgende Raster ist ein fiktiver Entwurf zur Anpassung:
| Kriterium | 0: fehlt | 1: teilweise | 2: nachvollziehbar |
|---|---|---|---|
| Quellenabgleich | keine Prüfung erkennbar | einzelne Aussagen geprüft | relevante Aussagen mit Textstellen abgeglichen |
| Fehlererkennung | zentrale Fehler übersehen | ein Teil erkannt | zentrale unbelegte Aussagen erkannt |
| Begründung | bloßes Urteil | unscharfe Erklärung | Bezug zu konkretem Kriterium |
| nächste Handlung | ungeprüft weitergegeben | Problem benannt | passende Korrektur oder Klärung vorgeschlagen |
Die Punkte dienen der strukturierten Rückmeldung. Eine Mindestpunktzahl sollte erst festgelegt werden, wenn fachlich geklärt ist, welche Fehler tolerierbar sind und wie konsistent bewertet wird. Bei kritischen Kriterien kann ein einzelner Fehler wichtiger sein als die Summe.
Vorher und nachher vergleichbar prüfen
Wenn Sie einen Ausgangsstand erfassen, verwenden Sie nach dem Kurs einen anderen Fall mit ähnlicher Schwierigkeit. Dieselbe Aufgabe kann einen Erinnerungseffekt erzeugen. Unterschiedlich schwere Aufgaben können dagegen eine Veränderung vortäuschen oder verdecken.
Halten Sie Hilfsmittel und Arbeitsbedingungen möglichst vergleichbar. Dokumentieren Sie, ob die Personen mit Quellen, Checklisten oder Kolleginnen arbeiten dürfen. Eine Aufgabe ohne Hilfe misst etwas anderes als eine realistische Arbeitsaufgabe mit erlaubten Hilfsmitteln.
Wichtig: Ein Vorher-Nachher-Unterschied allein beweist keine kausale Kurswirkung. Erfahrung, Unterstützung oder andere Veränderungen können ebenfalls beitragen. Für die praktische Verbesserung ist der Vergleich trotzdem nützlich, wenn seine Grenzen offenbleiben.
Feedback so erfassen, dass es weiterhilft
Fragen Sie nach konkreten Hindernissen: Welcher Auftrag war unklar? Welche Erklärung hat bei der Bearbeitung geholfen? Wo blieb die Person hängen? Solche Antworten führen zu anderen Änderungen als die pauschale Bewertung „gut“ oder „schlecht“.
Ergänzen Sie die Rückmeldung durch Arbeitsprodukte. Wenn viele dieselbe falsche Begründung geben, sollte das Konzept an dieser Stelle geprüft werden. Ein weiteres Video ist nur dann eine passende Reaktion, wenn tatsächlich eine Erklärung fehlt.
Transfer nach der ersten Anwendung besprechen
Vereinbaren Sie schon im Kurs, wann die Fähigkeit gebraucht wird und welches Ergebnis besprochen werden kann. Der Nachweis sollte ohne sensible Daten auskommen. Fiktive Vergleichsfälle, bereinigte Arbeitsproben oder eine Beschreibung des Vorgehens können dafür geeignet sein.
Fragen Sie auch nach Bedingungen: Hatte die Person Zeit, Zugang und Entscheidungsspielraum? Fehlender Transfer kann an der Organisation liegen. Eine erneute Schulung löst fehlende Berechtigungen oder widersprüchliche Arbeitsvorgaben nicht.
Was das LMS leisten kann
Ein LMS kann Kursaktivitäten, Testwerte und konfigurierte Abschlüsse dokumentieren. Welche Kriterien gelten, muss eingerichtet und getestet werden. Moodle dokumentiert beispielsweise unterschiedliche Bedingungen für einen Kursabschluss. Das technische Signal ist deshalb nur im Kontext dieser Konfiguration verständlich. Moodle: Course completion settings.
Erheben Sie nur die Daten, die für den vereinbarten Lernzweck benötigt werden. Wer individuelle Ergebnisse sehen darf und wie lange diese aufbewahrt werden, gehört vor der Einführung geklärt.
Eine kleine Auswertungsroutine
Notieren Sie nach jedem Pilot: das häufigste Missverständnis, die schwierigste Aufgabe, die nützlichste Rückmeldung und die nächste Änderung. Prüfen Sie in der nächsten Runde, ob diese Änderung das konkrete Problem verringert hat. So wird die Messung zu einem Arbeitsinstrument für bessere Kurse.
Für den speziellen KI-Anwendungsfall ergänzt der bestehende Beitrag KI-Kompetenz prüfen diese allgemeine Vorgehensweise.
Passend weiterarbeiten
Alle Anleitungen zu Lernprogrammen
Sie möchten Lehrplan, Lernmedien und Plattform gemeinsam entwickeln? Individuelle Lernprogramme für Ihr Unternehmen verbinden Konzeption, Lernvideoproduktion und Praxisbegleitung.