Die Vorbereitung einer digitalen Prüfung beginnt häufig mit Fragen wie “Welchen Aufgabentyp soll ich verwenden? Welche Darstellungsmöglichkeiten habe ich?“. Die Prüfungsplattform bietet hier vielfältige Aufgabentypen (Drop-Down, Multiple-Choice, Freitext u. v. m.) und zahlreiche Gestaltungsmöglichkeiten wie das Einfügen von Abbildungen. Die Wahl des Aufgabentyps und der Aufgabenstellung hängt dabei von den Lernzielen und den zu prüfenden Kompetenzen ab. Um Lernziele zu konkretisieren, bieten sich Lernzieltaxonomien an, welche die abstrakten Kompetenzen mithilfe von Operatoren und Wissensdomänen operationalisieren.

Im Universitätskontext weit verbreitet ist die Lernzieltaxonomie von Anderson et al.(2014)*, welche aufgrund ihrer vielen Kategorien komplex ist. Eine Vereinfachung stellt die CELG-Taxonomievon Mayer, Hertnagel & Weber (2009)**dar.

Im FU-Wiki zu E-Examinations finden Sie ausführliche Informationen zu Lernzieltaxonomien und ihrer Anwendung.

* Anderson, L. et al. (2014). A Taxonomy for Learning, Teaching, and Assessing. A Revisionof Bloom’s. Harlow: Pearson.
** Mayer, H. O., Hertnagel, J., & Weber, H. (2009). Lernzielüberprüfung im eLearning: Oldenburg. S. 59

Das elektronische Prüfungsformat bietet im Gegensatz zu konventionellen Prüfungen die Möglichkeit, die Reihenfolge der Prüfungsaufgaben nach verschiedenen Parametern individuell für jeden Prüfling zu verändern. Lehrende haben dabei die Wahl, eine vollständig randomisierte Anzeige aller Aufgaben vorzunehmen oder Aufgaben nur innerhalb von Themenblöcken zu vertauschen. Zusätzlich kann die Reihenfolge der Antwortoptionen bei Multiple-Choice-Aufgaben per Zufall erfolgen.

Neben der randomisierten Anordnung von Aufgaben ist es möglich, elektronische Prüfungen aus einem größeren Aufgabenpool zusammenzustellen. Lehrende legen hier mehr Aufgaben an, als in der Prüfung abgefragt werden. Das Prüfungssystem zieht dann aus diesem Pool die gewünschte Zahl an Aufgaben und stellt die Prüfung individuell zusammen. Lehrende können die Auswahl der Aufgaben dabei steuern, bspw. eigene Aufgabenpools für verschiedene Themenbereiche oder Schwierigkeitsgrade der Aufgaben erstellen und das System anhand dieser Parameter die Aufgabenziehung vornehmen lassen.

Somit ist es möglich, hoch-individualisierte Prüfungen zusammenzustellen, welche dennoch vergleichbare Kompetenzen und Schwierigkeitsniveaus abprüfen.

Geschlossene Aufgabenformate werden aufgrund der automatisierten Auswertung durch das Prüfungssystem gerne vor allem bei Großkohorten eingesetzt. Bei komplexer Aufgabenstellung können zudem verschiedene Taxonomiestufen abgebildet werden. Bei diesem Aufgabenformat besteht jedoch eine inhärente Wahrscheinlichkeit, die richtige Antwort zu raten. Sie beträgt bei einer Multiple-Choice-Aufgabe mit vier Antwortmöglichkeiten 25%, bei „Richtig-Falsch“-Aufgaben sogar 50%. Eine Erhöhung der Distraktorenzahl führt nicht zwingend zu einer Reduktion der Ratewahrscheinlichkeit, denn plausible Distraktoren zu formulieren, fällt bei zunehmender Anzahl immer schwerer.

Eine bessere Möglichkeit, die Ratewahrscheinlichkeit zu berücksichtigen, stellt die Anpassung der Notengrenzen dar. Diese können um die Ratewahrscheinlichkeit korrigiert werden, um so das Kompetenzlevel auch bei geschlossenen Aufgabenformaten valide zu erfassen. Zur Berechnung der korrigierten Notengrenzen kann bspw. das Tool der Universität Halle genutzt werden. Weitere Erläuterungen und Literatur finden Sie hier. 

Die Prüfungsplattform bietet Lehrenden die Möglichkeit, durchgeführte Prüfungen durch Berechnung von Aufgabenschwierigkeit und Trennschärfe auf ihre Güte hin zu analysieren. Eine solche Analyse der Prüfungsaufgaben unterstützt Lehrende z. B. dabei, missverständliche Formulierungen oder unerwartet schwierige Aufgaben zu erkennen und dies bei der Bewertung und zukünftigen Erstellung von Prüfungen zu berücksichtigen.

Aufgabenschwierigkeit:
Die Aufgabenschwierigkeit bildet den Lösungsanteil einer Aufgabe ab (Wert zwischen 0 und 1). Aufgaben lassen sich in leichte (Lösungshäufigkeit > 0.8), mittelschwere (Lösungshäufigkeit zwischen 0.8 und 0.2) und schwere Kategorien (Lösungshäufigkeit < 0.2) einordnen. Eine Prüfung sollte dabei Aufgaben aller Kategorien beinhalten, um zwischen verschiedenen Leistungsniveaus differenzieren zu können.

Trennschärfe:
Die Trennschärfe gibt an, inwiefern das Ergebnis einer einzelnen Aufgabe mit den Ergebnissen des restlichen Aufgabensets korreliert (Wert zwischen -1 und +1). Korreliert eine Aufgabe hoch mit dem Ergebnis der restlichen Aufgaben (Wert nahe +1), misst sie höchstwahrscheinlich die gleiche Kompetenz. Besteht keine (Wert nahe 0) oder eine negative Korrelation (Wert nahe -1), ist es wahrscheinlich, dass das Item missverständlich formuliert wurde bzw. eine nicht gewünschte Kompetenz erfasst.

E-Assessment Alliance im Gespräch: „Spannungsfeld digitale Distanzprüfungen – zwischen Chancengleichheit und Datenschutz“

Am 24.06.2021 von 14 bis 16 Uhr veranstaltet die E-Assessment Alliance ein digitales Symposium zu rechtlichen Perspektiven auf digitale Distanzprüfungen. Es sprechen drei Experten aus den Bereichen Prüfungsrecht, Datenschutz und Prüfungsausschuss. Die Teilnahme ist kostenlos.

Weitere Informationen und das Anmeldeformular finden Sie hier.