Seminarkonzept für Lehrende

Das Problem

Eine zu Hause geschriebene Hausarbeit zeigt nicht mehr verlässlich, was Studierende können. Mit einem LLM, also einem Sprachmodell wie ChatGPT oder Claude, entsteht in unter einer Stunde ein sprachlich sauberer und fachlich plausibler Text von 2500 Wörtern, ohne dass sich jemand mit dem Thema befasst haben muss.

Erkennen, Verbieten und Bestätigenlassen helfen nicht weiter. Die Erkennung von LLM-Texten ist unzuverlässig, ein Verbot lässt sich nicht durchsetzen, und eine Eigenständigkeitserklärung prüft nichts. Alle drei Ansätze fragen außerdem, ob ein Text mit einem LLM entstanden ist. Für die Bewertung zählt eine andere Frage: ob die Person beim Schreiben Urteilsvermögen entwickelt hat.

Die Idee

Das Format erlaubt LLMs in allen Phasen und bewertet drei Fähigkeiten zu drei Gelegenheiten:

Das Format unterscheidet damit nicht zwischen Studierenden mit und ohne LLM, sondern zwischen solchen, die sich mit ihrem Text auseinandergesetzt haben, und solchen, die es nicht getan haben. Wer ein LLM zum Entwerfen und Überarbeiten nutzt und das Ergebnis versteht, tut, was das Seminar vermitteln soll, und wird nicht anders bewertet als jemand, der ohne LLM gearbeitet hat.

Ablauf

Das Seminar braucht 13 Sitzungen und eine sitzungsfreie Schreibwoche. Es ist für fünf bis acht Teilnehmende ausgelegt.

Die Bausteine im Einzelnen

Themen

Die Lehrperson stellt vor Semesterbeginn eine Liste eng umrissener Themen zusammen. Ein Thema eignet sich, wenn es sich nicht trivial erklären lässt, wenn 2500 Wörter dafür ausreichen und wenn es sich von den anderen Themen so weit unterscheidet, dass die Studierenden kein Material teilen können. Breite Themen wie „TLS“ oder „Differential Privacy“ eignen sich nicht: Sie sind zu groß, und ein LLM schreibt darüber ohne Mühe einen brauchbaren Überblick. Geeignet ist ein einzelner Befund oder Mechanismus, etwa die Frage, warum Unternehmen Passkeys kaum einführen, obwohl sie sicherer sind als Passwörter.

Das Referat über einen fremden Entwurf

Das Referat ist die größte Abweichung vom üblichen Seminar. Es prüft, ob jemand einen Fachtext genau lesen, einschätzen und öffentlich besprechen kann. Wer das eigene Thema beherrscht, aber ungenau liest, schneidet hier schlecht ab.

Die referierende Person wählt einen von drei Zugängen: eine nachvollziehende Darstellung für einen soliden Entwurf, eine Kritik mit Gegenvorschlag für einen Entwurf mit substanziellen Problemen, oder drei offene Fragen für einen interessanten, aber unvollständigen Entwurf. Die Wahl wird mitbewertet, weil sie zeigt, ob der Entwurf richtig eingeschätzt wurde.

Ring statt Paare

Bei der Zuordnung der Referate liest Person 1 den Entwurf von Person 2, Person 2 den von Person 3, und die letzte Person den von Person 1. Lesen sich zwei Personen gegenseitig, haben beide einen Anreiz, einander zu schonen; im Ring entfällt er. Die Zuordnung wird erst bekanntgegeben, wenn die revidierten Fassungen abgegeben sind, damit niemand für eine bestimmte Leserin oder einen bestimmten Leser schreibt. Anonym ist die Zuordnung nicht: In einer Gruppe dieser Größe wüssten ohnehin bald alle, wer was geschrieben hat.

Das Pair Editing davor läuft dagegen in Paaren. Es ist unbenotetes Feedback, und die Partnerin oder der Partner ist eine andere Person als die, die später referiert.

Das Gutachten

Die Lehrperson liest jede revidierte Fassung und schreibt dazu ein kurzes Gutachten mit genau zwei Punkten: einer Frage zu Klarheit oder Aufbau, die sich in 30 bis 45 Minuten bearbeiten lässt, und einem inhaltlichen Einwand, der Nachdenken verlangt, etwa ein Gegenargument oder ein fehlender Gesichtspunkt. Die Studierenden sehen das Gutachten erst in der letzten Sitzung.

Die Begrenzung auf zwei Punkte hält die letzte Sitzung für die Studierenden machbar und den Aufwand der Lehrperson überschaubar. Das Gutachten ist die Hauptgrundlage der Überarbeitung, das Feedback aus dem Referat kommt hinzu. So entsteht niemandem ein Nachteil, dessen Entwurf ein schwaches Referat bekommen hat.

Notizen bleiben im Raum

Während des Referats über ihren Entwurf macht sich die schreibende Person Notizen auf Papier, das die Lehrperson austeilt, anschließend einsammelt und erst in der letzten Sitzung zurückgibt. Die Notizen lassen sich so nicht zu Hause mit einem LLM zu einem Überarbeitungsplan ausbauen. Über die Kritik nachdenken können die Studierenden weiterhin, und das sollen sie auch.

Betreute Überarbeitung

Die Studierenden schreiben auf dem eigenen Laptop, der offline bleibt. Sie dürfen ihre Quellen als lokale Dateien und einen Ausdruck ihrer revidierten Fassung mitbringen, aber keine vorbereiteten Textbausteine. Die Lehrperson beantwortet organisatorische Fragen, keine inhaltlichen.

Bonus

Studierende können schlecht geschriebene Absätze aus veröffentlichten Texten einreichen und in einem eigenen Absatz erklären, was daran schlecht ist. Ein guter Beitrag verbessert die Note um eine Stufe, höchstens zwei Beiträge zählen. Die Beiträge dienen in späteren Semestern als Material für die Übungssitzungen.

Bewertungsschema

In den Sitzungen geht es um Geschmack: die Fähigkeit, gute Fachtexte von schlechten zu unterscheiden. Benotet wird aber nach Kriterien, die sich einzeln begründen lassen.

Was das Format erschwert und was nicht

Das Format macht strategisches Verhalten nicht unmöglich. Es macht oberflächliches Arbeiten aufwendiger:

• Wer einen Entwurf erzeugen lässt, ohne ihn zu verstehen, kann in der letzten Sitzung die beiden Punkte des Gutachtens kaum bearbeiten.
• Wer ein Referat mit einem LLM vorbereitet und nur vorträgt, hat es in der Diskussion und bei der spontanen Verbesserungsaufgabe schwer.
• Wer zu Hause einen Überarbeitungsplan vorbereitet, kennt das Gutachten nicht, auf das die Überarbeitung antworten muss.
• Auch ein guter Entwurf muss überarbeitet werden, weil das Gutachten zu jedem Entwurf zwei Punkte benennt.

Nicht erfasst wird, wer ein LLM durchgehend benutzt und dabei versteht, was entsteht. Das ist beabsichtigt.

Verworfene Alternativen

• Nur bestanden oder nicht bestanden. Löst das Bewertungsproblem, gibt aber die Differenzierung auf.
• Ein praktisches Projekt statt eines Textes. Ergibt ein anderes Lehrformat: Ein Seminar soll das Lesen wissenschaftlicher Literatur und das Schreiben wissenschaftlicher Texte vermitteln.
• Mündliche Prüfungen zu jeder Arbeit. Die Prüfungsform sieht ein Referat mit Diskussion vor, keine mündliche Prüfung; zusätzliche Prüfungsteile machen Noten angreifbar.
• Anonyme Zuordnung der Entwürfe. In einer Gruppe von fünf bis acht Personen wirkungslos. Sie vermittelt außerdem, dass gründliche Kritik Anonymität braucht.
• Gegenseitiges Lesen in Paaren. Lädt zur gegenseitigen Schonung ein; daher der Ring.
• Finale Fassung mit 48 Stunden Frist nach der betreuten Sitzung. Es entstünden zwei Texte, und eine ehrliche Überarbeitung ließe sich nicht mehr von nachträglicher Politur durch ein LLM unterscheiden.

Aufwand für die Lehrperson

Die folgenden Werte sind Planungswerte für fünf bis acht Teilnehmende.

Grenzen

• Die letzte Sitzung misst auch Tempo und Ausdauer. Wer gründlich, aber langsam überarbeitet, ist im Nachteil. Die Begrenzung auf zwei Punkte mildert das, hebt es aber nicht auf.
• Das Format ist für kleine Gruppen gebaut. Bei mehr als acht Teilnehmenden reichen zwei Referatssitzungen nicht, und der Aufwand für die Gutachten wächst mit jeder Person.
• Es setzt Studierende voraus, die sich das Schreiben in der Seminarsprache zutrauen. Für Gruppen mit sehr unterschiedlichen Sprach- oder Fachkenntnissen müsste das Format angepasst werden.
• Das Referat prüft Lesen, nicht Themenwissen. Das sollte in der Ankündigung stehen, damit die Studierenden mit der richtigen Erwartung kommen.

Fragen zum Format und Erfahrungen aus eigenen Durchläufen sind willkommen.