Online-Lehre an der Freien Universität: Praxistipp 6 (E-Examinations)

News vom 21.05.2021

Liebe Lehrende,
liebe Kolleginnen und Kollegen,

seit der Einführung des Distanzprüfungskonzepts E-Examinations@Home im Juni 2020 wurden bereits über 27.000 digitale Einzelprüfungen erfolgreich absolviert. Auch für das Sommersemester 2021 haben sich wieder viele Lehrende für E-Examinations@Home entschieden. Doch wie können Prüfungen erstellt werden, die in Distanz die gewünschten Kompetenzen erfassen und welche technischen Möglichkeiten für die Prüfungsdurchführung bietet das Prüfungssystem? Nachdem im Praxistipp #12 des letzten Semesters eine Einführung in die Thematik, den Ablauf, die rechtliche und technische Sicherheit sowie praktische Informationen für Lehrende und Studierende gegeben wurden, bietet der aktuelle Praxistipp didaktisch-technische und praktische Tipps für die Konzeption und Auswertung digitaler Distanzprüfungen.

E-Examinations@Home

Nutzung von Lernzieltaxonomien


Die Vorbereitung einer digitalen Prüfung beginnt häufig mit Fragen wie “Welchen Aufgabentyp soll ich verwenden? Welche Darstellungsmöglichkeiten habe ich?“. Die Prüfungsplattform bietet hier vielfältige Aufgabentypen (Drop-Down, Multiple-Choice, Freitext u. v. m.) und zahlreiche Gestaltungsmöglichkeiten wie das Einfügen von Abbildungen. Die Wahl des Aufgabentyps und der Aufgabenstellung hängt dabei von den Lernzielen und den zu prüfenden Kompetenzen ab. Um Lernziele zu konkretisieren, bieten sich Lernzieltaxonomien an, welche die abstrakten Kompetenzen mithilfe von Operatoren und Wissensdomänen operationalisieren.

Im Universitätskontext weit verbreitet ist die Lernzieltaxonomie von Anderson et al.(2014)*, welche aufgrund ihrer vielen Kategorien komplex ist. Eine Vereinfachung stellt die CELG-Taxonomievon Mayer, Hertnagel & Weber (2009)**dar.

Im FU-Wiki zu E-Examinations finden Sie ausführliche Informationen zu Lernzieltaxonomien und ihrer Anwendung.

* Anderson, L. et al. (2014). A Taxonomy for Learning, Teaching, and Assessing. A Revisionof Bloom’s. Harlow: Pearson.
** Mayer, H. O., Hertnagel, J., & Weber, H. (2009). Lernzielüberprüfung im eLearning: Oldenburg. S. 59

Randomisierung der Aufgabenanordnung

 

Das elektronische Prüfungsformat bietet im Gegensatz zu konventionellen Prüfungen die Möglichkeit, die Reihenfolge der Prüfungsaufgaben nach verschiedenen Parametern individuell für jeden Prüfling zu verändern. Lehrende haben dabei die Wahl, eine vollständig randomisierte Anzeige aller Aufgaben vorzunehmen oder Aufgaben nur innerhalb von Themenblöcken zu vertauschen. Zusätzlich kann die Reihenfolge der Antwortoptionen bei Multiple-Choice-Aufgaben per Zufall erfolgen.

Zufallsziehung von Aufgaben
 

Neben der randomisierten Anordnung von Aufgaben ist es möglich, elektronische Prüfungen aus einem größeren Aufgabenpool zusammenzustellen. Lehrende legen hier mehr Aufgaben an, als in der Prüfung abgefragt werden. Das Prüfungssystem zieht dann aus diesem Pool die gewünschte Zahl an Aufgaben und stellt die Prüfung individuell zusammen. Lehrende können die Auswahl der Aufgaben dabei steuern, bspw. eigene Aufgabenpools für verschiedene Themenbereiche oder Schwierigkeitsgrade der Aufgaben erstellen und das System anhand dieser Parameter die Aufgabenziehung vornehmen lassen.

Somit ist es möglich, hoch-individualisierte Prüfungen zusammenzustellen, welche dennoch vergleichbare Kompetenzen und Schwierigkeitsniveaus abprüfen.

Beispiele für Aufgabenziehungen nach bestimmten Kriterien finden Sie hier
Ratewahrscheinlichkeit bei geschlossenen Aufgabenformaten

 

Geschlossene Aufgabenformate werden aufgrund der automatisierten Auswertung durch das Prüfungssystem gerne vor allem bei Großkohorten eingesetzt. Bei komplexer Aufgabenstellung können zudem verschiedene Taxonomiestufen abgebildet werden. Bei diesem Aufgabenformat besteht jedoch eine inhärente Wahrscheinlichkeit, die richtige Antwort zu raten. Sie beträgt bei einer Multiple-Choice-Aufgabe mit vier Antwortmöglichkeiten 25%, bei „Richtig-Falsch“-Aufgaben sogar 50%. Eine Erhöhung der Distraktorenzahl führt nicht zwingend zu einer Reduktion der Ratewahrscheinlichkeit, denn plausible Distraktoren zu formulieren, fällt bei zunehmender Anzahl immer schwerer.

Eine bessere Möglichkeit, die Ratewahrscheinlichkeit zu berücksichtigen, stellt die Anpassung der Notengrenzen dar. Diese können um die Ratewahrscheinlichkeit korrigiert werden, um so das Kompetenzlevel auch bei geschlossenen Aufgabenformaten valide zu erfassen. Zur Berechnung der korrigierten Notengrenzen kann bspw. das Tool der Universität Halle genutzt werden. Weitere Erläuterungen und Literatur finden Sie hier

Auswertung der Aufgabenschwierigkeit und -trennschärfe

 

Die Prüfungsplattform bietet Lehrenden die Möglichkeit, durchgeführte Prüfungen durch Berechnung von Aufgabenschwierigkeit und Trennschärfe auf ihre Güte hin zu analysieren. Eine solche Analyse der Prüfungsaufgaben unterstützt Lehrende z. B. dabei, missverständliche Formulierungen oder unerwartet schwierige Aufgaben zu erkennen und dies bei der Bewertung und zukünftigen Erstellung von Prüfungen zu berücksichtigen.

Aufgabenschwierigkeit:
Die Aufgabenschwierigkeit bildet den Lösungsanteil einer Aufgabe ab (Wert zwischen 0 und 1). Aufgaben lassen sich in leichte (Lösungshäufigkeit > 0.8), mittelschwere (Lösungshäufigkeit zwischen 0.8 und 0.2) und schwere Kategorien (Lösungshäufigkeit < 0.2) einordnen. Eine Prüfung sollte dabei Aufgaben aller Kategorien beinhalten, um zwischen verschiedenen Leistungsniveaus differenzieren zu können.

Trennschärfe:
Die Trennschärfe gibt an, inwiefern das Ergebnis einer einzelnen Aufgabe mit den Ergebnissen des restlichen Aufgabensets korreliert (Wert zwischen -1 und +1). Korreliert eine Aufgabe hoch mit dem Ergebnis der restlichen Aufgaben (Wert nahe +1), misst sie höchstwahrscheinlich die gleiche Kompetenz. Besteht keine (Wert nahe 0) oder eine negative Korrelation (Wert nahe -1), ist es wahrscheinlich, dass das Item missverständlich formuliert wurde bzw. eine nicht gewünschte Kompetenz erfasst.

E-Examination-Symposium & -Kontakt
 

E-Assessment Alliance im Gespräch: „Spannungsfeld digitale Distanzprüfungen – zwischen Chancengleichheit und Datenschutz“

Am 24.06.2021 von 14 bis 16 Uhr veranstaltet die E-Assessment Alliance ein digitales Symposium zu rechtlichen Perspektiven auf digitale Distanzprüfungen. Es sprechen drei Experten aus den Bereichen Prüfungsrecht, Datenschutz und Prüfungsausschuss. Die Teilnahme ist kostenlos.

Weitere Informationen und das Anmeldeformular finden Sie hier.

Sie wünschen Beratung oder haben eine Frage? Melden Sie sich gerne unter e-examinations@fu-berlin.de bzw. (030)-838-51838.

Bildquellen: CeDiS und Alexander Sperl: 83 und 70 freie Illustrationen für E-Learning-Materialien; CC BY-SA 4.0

Sie haben eine Frage? Schreiben Sie gerne an digitale-lehre@fu-berlin.de oder teilen Sie Ihre Erfahrungen im Community-Blog.

Ihr Center für Digitale Systeme (CeDiS) an der Universitätsbibliothek

Consulting & Support

Consulting
Vom CeDiS Consulting erhalten Sie individuelle Beratung und Unterstützung bei der Konzeption Ihrer digitalen Lehr- und Forschungsvorhaben. 
Kontakt: consulting@cedis.fu-berlin.de

Support
Der CeDiS Support beantwortet Ihre Nutzeranfragen zur Bedienung der folgenden zentralen Systeme der Freien Universität: Blackboard, CMS, FU-Wikis, FU-Blogs.
Kontakt: support@cedis.fu-berlin.de
Hotline: +49 30 838-54900 (Mo–Fr: 11–13 und 14–17 Uhr)