Am Thementisch „Kompetenzveränderung“ wurde diskutiert, welche Kompetenzen an einer Universität durch den Einsatz von ChatGPT in Zukunft wichtiger werden und welche Konsequenzen sich daraus für Lehre, Studium, Forschung und Verwaltung ergeben.
Zum Einstieg wurden exemplarisch drei Kompetenzen vorgestellt und in Bezug auf ihre wachsende Bedeutung bewertet: „Kritisches Denkvermögen“, „Anpassungsfähigkeit“ sowie „Gestaltungskompetenz und Kreativität“. Erstere wurde von den Teilnehmenden am wichtigsten eingeschätzt. „Kritisches Denkvermögen“ sei eine wissenschaftliche Kernkompetenz: Da Chatbots zum einen sprachlich hochqualitative Texte produzieren könnten, zum anderen dabei stereotype, diskriminierende Sprache und Vorstellungen reproduzieren könnten (Stichwort Bias von LLMs), werde das kritische Hinterfragen der bereitgestellten Informationen umso wichtiger.
Die Teilnehmenden befürworteten einen aktiven Umgang mit KI-Tools, um eine gemeinsame Diskussion und Reflexion über deren Einsatzmöglichkeiten anzustoßen, damit verbundene Chancen und Risiken frühzeitig erkennen und dafür erforderliche Kompetenzen weiterentwickeln zu können. Dafür müssten indes größere didaktische Handlungsspielräume und flexiblere Rahmenbedingungen für die Lehre geschaffen werden.

• Ergebnisdokumentation 1
• Ergebnisdokumentation 2

Welche Kompetenzen sollen im Format Hausarbeit vermittelt werden? Welche Kompetenzen setzt der Einsatz von LLM-Tools bei der wissenschaftlichen Textproduktion eigentlich voraus? Und wie lässt sich der Einsatz textgenerativer Werkzeuge mit den Grundsätzen guter wissenschaftlicher Praxis zusammenbringen? Diese und angrenzende Fragen wurden am Thementisch „Hausarbeit“ diskutiert.

Als Grundvoraussetzung für die Verwendung KI-gestützter Chatbots und LLMs in Hausarbeiten wurde zunächst die Kenntnis der Möglichkeiten und Grenzen dieser Technologie erachtet: Es handele sich dabei nicht um Wissens-, sondern vor allem um Sprachmodelle, die zumeist nur zu einem geringen Anteil mit fachwissenschaftlichen Textdaten trainiert würden. Daher setze die Bewertung der faktischen Inhalte KI-generierter Texte Fachkompetenzen wie Methodenkompetenz und Fachwissen, aber auch Recherchekompetenz und fachspezifisches Textsortenwissen voraus. Somit würden neben die klassische Anforderung fachspezifischer Kenntnisse des wissenschaftlichen Arbeitens spezifische Kompetenzen im Umgang mit KI-basierten Tools treten, z.B. prompt engineering oder Kenntnisse über die Funktionsweise von LLMs.
Neben der Vertiefung und Weiterentwicklung dieser Basiskompetenzen soll das Format Hausarbeit nach Meinung der Teilnehmenden den Studierenden vor allem eigenständiges, kritisches Denken sowie die selbständige, strukturierte Darstellung eines fachlichen Sachverhalts vermitteln.
Rahmenbedingung für die Nutzung von ChatGPT und Co. in Hausarbeiten sei vor allem ein kritisch-reflektierter Umgang mit KI-generierten Texten und deren Inhalten. Die Nutzung von LLM-Tools bei der Texterstellung müsse außerdem gut dokumentiert sowie Art und Umfang des Einsatzes offengelegt werden.
Eine missbräuchliche Verwendung KI-basierter Tools in Hausarbeiten – so ein weiteres Ergebnis des Thementisches – könne ggf. durch eine anspruchsvolle Gestaltung der Fragestellungen und die Möglichkeit einer Kombination mit einer mündlichen Aussprache / Referat zumindest unattraktiv gemacht werden.

• Ergebnisdokumentation 1
• Ergebnisdokumentation 2

Am Thementisch Prüfungen wurde anhand konkreter Beispielkonversationen zwischen Nutzenden und KI-gestützten Chatbots diskutiert, welchen Einfluss der Einsatz KI-basierter Tools aus Perspektive der Lehrenden und Studierenden auf unterschiedliche Prüfungsformate haben könnte.
Die Teilnehmenden konnten sich z.B. vorstellen, dass KI-Tools von Studierenden in Zukunft unterstützend für die Quellenrecherche, Strukturierung und als Formulierungshilfe für schriftliche Prüfungsarbeiten eingesetzt werden könnten. Auch die Unterstützung von Lehrenden bei der Prüfungskonzeption und -vorbereitung wurde als mögliches Einsatzszenario gesehen.
Lehrende stehen künftig vor der Herausforderung, wie Prüfungen gestaltet werden sollten, wenn KI-gestützte Tools zunehmend Prüfungsaufgaben lösen können und gleichzeitig der Erwerb bestimmter Fachkompetenzen geprüft werden soll. Die Diskussion kreiste auch um das Thema, ob und wie KI-generierte Texte in Prüfungen erkannt werden könnten.

• Beispielkonversation 1
• Beispielkonversation 2

Am vierten Thementisch wurden aktuelle Arbeiten aus dem vom BMBF geförderten Verbundprojekt „IMPACT – Implementierung von KI-basiertem Feedback und Assessment mit Trusted Learning Analytics in Hochschulen“ vorgestellt, in dessen Rahmen an fünf deutschen Universitäten textbasierte KI-Verfahren in verschiedenen Szenarien entlang des Student Life Cycles anwendungsorientiert erprobt werden. Im Fokus des Thementisches stand ein von der Freien Universität verantwortetes Teilvorhaben, welches auf die Entwicklung eines KI-basierten Chatbots zur Unterstützung von Studieninteressierten zielt.
Die Teilnehmenden erhielten konkrete Einblicke in technische Lösungsstrategien, die aktuell erprobt werden. Dazu gehören z.B. Ansätze, die das GPT-Basismodell so erweitern, dass sich Antworten ausschließlich auf der Grundlage selbst kuratierter Daten generieren lassen. Diese Methode bietet das Potenzial, die Dialogfähigkeit des ursprünglichen GPT-Modells zu erhalten und gleichzeitig die Präzision und Zuverlässigkeit der Antworten zu verbessern. Die Teilnehmenden diskutierten vor diesem Hintergrund Einsatzmöglichkeiten in der Lehre, wie z.B. ein Chatbot zur Unterstützung von Studierenden in großen Einführungsveranstaltungen.

• Weitere Informationen über das Projekt

Sie hatten keine Möglichkeit, an dem Workshop teilzunehmen, interessieren sich aber dafür, wie ChatGPT und Co. in der Lehre eingesetzt werden könnten? Dann besuchen Sie gerne unsere Sprechstunde!

Der Bereich E-Learning und E-Examinations bietet interessierten Lehrenden jeden Freitag in der Zeit von 13:00-14:00 Uhr die Möglichkeit, sich über Anwendungsmöglichkeiten, Vor- und Nachteile sowie potenzielle Herausforderungen von KI-gestützten Chatbots beim Lehren, Lernen und Prüfen zu informieren und auszutauschen.

Jede Sprechstunde beginnt mit einem kurzen thematischen Input.

Termine:

• 23.06.2023: Einsatzszenarien von ChatGPT & Co. in der Lehre
• 30.06.2023: Datenschutz und Urheberrecht
• 07.07.2023: Verwendung von ChatGPT in Hausarbeiten
• 14.07.2023: Einsatzszenarien von ChatGPT & Co. in der Lehre
• 21.07.2023: Datenschutz und Urheberrecht
  
  
• Hier geht’s zur Sprechstunde

Das Berliner Netzwerk Hybride Lehre lädt Lehrende ALLER Berliner Hochschulen (und darüber hinaus) zu einer hybriden Veranstaltungsreihe mit Information, Diskussion und kollegialem Austausch ein. Das E-Learning- und E-Examinations-Team der FUB freut sich, diese Reihe mitzugestalten. Die Veranstaltungen finden im Rahmen des #LunchTalksLehre der HU statt.

Termine:

• 05.07.23, 13:00-13:55, Teil 1: Medientechnik für hybride Lehre – vom kleinen Seminarraum bis zum großen Hörsaal
• 30.08.23, 13:00-13:55, Teil 2: Didaktische Ansätze für Hybrides Lehren und Lernen – Austausch und Zusammenarbeit stärken
• 13.09.23, 13:00-13:55 Teil 3: Entscheidungshilfen zu Formaten digitaler Lehre
  
  
• Weitere Infos auf den Seiten des BZHL