Seit Wochen wird diskutiert, was das Sprachmodell chatGPT leisten kann. Prof. Dr. Florian Schatz vom Fachbereich Medien hat es ausprobiert und die KI mit der Klausur „Grundlagen IT“ aus dem ersten Semester Multimedia Production (MMP) auf die Probe gestellt.
Die Klausur war eine Herausforderung für das Sprachmodell. Die Aufgaben wurden chatGPT von Prof. Schatz per Copy & Paste zur Verfügung gestellt, ohne jeglichen Kontext oder Vorkenntnisse. Das Modell musste sein Wissen und Fähigkeiten nutzen, um die Aufgaben zu verstehen und zu lösen. Es gab Aufgaben im Bereich von PHP-Code, Multiple-Choice-Fragen und offene Fragen.
chatGPT hatte Schwierigkeiten bei logischen Ausdrücken, beim Verstehen komplexer Fehler im Code, bei der Anwendung von PHP-Code und bei der Beantwortung offener Fragen. Ob das Ergebnis etwas über die Art der Klausur aussage, beantwortet Prof. Dr. Florian Schatz gelassen: „Man muss in meinen Klausuren nichts auswendig lernen. Das heißt, dass ich keine Aufgaben zum Anforderungsbereich I (Reproduzieren) habe. Man muss also immer Wissen anwenden. Man möchte in den ersten Semestern Grundlagen schaffen, die für das gesamte Studium sinnvoll sind. Das ist schon allgemeines Wissen und für chatGPT dadurch hilfreich. Wie es in höheren Semestern ausfällt, ist abzuwarten.“
Auf die Frage, ob chatGPT die Klausur noch besser hätte bestehen können, antwortet Prof. Dr. Schatz, dass sicherlich noch fünf bis zehn Prozentpunkte herausgeholt hätten werden können, wenn die Prompts (oder auch die Klausuraufgaben) mehr Kontext hätten - was natürlich aber auch für das Ergebnis der Studierende gelten würde. Für Lehrende gibt er zu bedenken: Prüfungsformen, die nicht in Präsenz stattfinden, müssten ggf. angepasst werden, wenn sie nicht reflektiver Art sind.
Prof. Dr. Florian Schatz sieht die Möglichkeiten von chatGPT und Co als große Chance für die Lehre und die Vorbereitung der Studierenden auf die Arbeitswelt: „Sei es für Recherchen, Kreativformate, Content Creation oder das Challengen von Problemstellungen. chatGPT und andere Systeme eignen sich dafür wunderbar.“
