Das System

psi-exam ist ein digitales Prüfungssystem, das seit dem Sommersemester 2023 am Lehrstuhl für Privatsphäre und Sicherheit in Informationssystemen aufgebaut wird. Das System wurde mit klaren Designzielen entwickelt: elektronische Prüfungen in großen Lehrveranstaltungen mit möglichst wenigen Aufsichten durchführen zu können, bei hoher Zuverlässigkeit und Sicherheit.

An der Universität Bamberg können wir damit E-Prüfungen mit bis zu 320 Studierenden in einem Raum durchführen, wobei keine fest installierte Infrastruktur erforderlich ist. Auf unserem mit speziell präpariertem Debian Linux ausgerüsteten Lenovo T14 Laptops wurden im Jahr 2025 jährlich an etwa 20 Tagen E-Prüfungen mit insgesamt mehr als 600 Prüfungsteilnehmenden in etwa 10 Kursen geprüft.

Erklärvideo und Erläuterungen für Studierende

Das folgende Video (englisch) zeigt alle Schritte vor, während und nach der Prüfung:

Die folgende Anleitung für Studierende steht auch auf dem Prüfungslaptop zur Verfügung:

Vorteile

Kernfunktionen

Pseudonyme Korrektur

Ein zentrales Merkmal von psi-exam ist die Möglichkeit der pseudonymen Bewertung. Statt der echten Namen werden zufällig zugewiesene Tiernamen wie “Blauer Elefant” oder “Grüne Giraffe” angezeigt. Dies ermöglicht eine vorurteilsfreie Bewertung und schützt die Privatsphäre der Studierenden. Durch Kryptographie kann das Organisationsteam sicherstellen, dass die echten Namen den Prüfenden erst nach Abschluss der Korrektur bekannt werden.

Effiziente Korrekturprozesse

Die Korrektur erfolgt aufgabenweise statt personenweise: Prüferinnen und Prüfer sehen dabei für jede Teilaufgabe die Antworten aller Prüflinge, was konsistentere Bewertungen ermöglicht. Ähnliche Antworten können gruppiert werden. Eine Filterung nach bestimmten Schlüsselwörtern ist ebenso möglich wie eine Sortierung nach Länge oder vergebener Punktzahl. Nachträgliche Punkteanpassungen sind dadurch einfacher möglich, was es erlaubt, bei Änderungen alle betroffenen Klausuren gleich zu behandeln.

Flexible Aufgabentypen und Hilfsmittel

psi-exam unterstützt verschiedene Prüfungs- und Aufgabenformate:

• Freitext-Antworten ein- oder mehrzeilig
• Praktische Programmieraufgaben in realen Entwicklungsumgebungen
• Systemanalyse und Debugging mit Visual Studio Code, Datenauswertung mit R Studio
• komplexe mathematische Notationen (LaTeX-Notation) in Aufgabenstellungen und Antworten

Multiple-Choice-Aufgaben werden aktuell nicht explizit unterstützt, können aber über Freitext-Antworten abgebildet werden.

Auf den Laptops können – bei ausreichend Vorlauf – weitere Linux-Programme oder Webseiten als zugelassene Hilfsmittel für die Prüfung bereitgestellt werden.

Weniger gut geeignet ist das System für Aufgaben, die Zeichnungen oder Skizzen erfordern. Solche Aufgaben lassen sich besser auf Papier lösen, was unabhängig von der E-Prüfung möglich ist.

Feedback während der Prüfung

Ein besonderes Feature ist die Möglichkeit, Studierenden bei einzelnen Aufgaben während der Prüfung einen Hinweis zu geben, ob ihre Antwort richtig war – besonders zu Beginn einer Prüfung kann dies helfen, den Prüfungsstress zu reduzieren.

Frühe digitale Einsicht

Ein besonderes Feature ist die Früheinsicht: Studierende können ihre korrigierten Klausuren digital einsehen, bevor die endgültigen Noten feststehen. Dies ermöglicht es, Fehler in der Korrektur frühzeitig zu identifizieren und zu beheben. Die Erfahrung zeigt, dass dieses transparente Verfahren das Vertrauen in die Bewertung stärkt und von vielen Studierenden in Anspruch genommen wird.

Technische Umsetzung

Infrastruktur

Für die Prüfungen verwenden wir etwa 380 Lenovo T14 Laptops mit Blickschutzfiltern, die speziell für Prüfungszwecke konfiguriert sind. Die Laptops laufen während der Prüfung autark im Akkubetrieb ohne Strom- und Netzwerkanschluss.

Die Prüfungsanwendung psi-exam läuft browser-basiert auf einem angepassten Debian-Linux-Betriebssystem

Die Vorbereitung der Laptops (Aufladen und Softwareverteilung) erfolgt im Vorfeld. Die während der Prüfung zur Verfügung gestellten Programme und Entwicklungsumgebungen sind auf den Laptops vorinstalliert. Aufgabenstellungen und zusätzliches Material werden über ein temporäres, vom Internet getrenntes WLAN bezogen.

Die Prüfungsaufgaben müssen aktuell noch als HTML-Seiten erstellt werden. Ein Authoring-Tool ist in Planung.

Sicherheitsaspekte

Verschiedene Sicherheitsmaßnahmen gewährleisten Vertraulichkeit, Integrität und Verfügbarkeit:

• Eingaben werden lokal gespeichert und zusätzlich als Backup auf SD-Karten in den Rechnern
• Bei technischen Problemen kann der aktuelle Bearbeitungsstand mit der SD-Karte schnell auf ein Ersatzgerät übertragen werden.
• Digitale Signaturen und verschlüsselte Nachrichten schützen die Daten
• Prüfsummen für Prüflinge und Aufsicht erlauben es menschliche Fehler zu erkennen
• effiziente Übertragung der Lösungen nach Prüfungsende über temporäres WLAN (Fallback: SD-Karten)

Die sicherheitsrelevanten Designentscheidungen haben wir in einer peer-reviewten Veröffentlichung erläutert: Kirsch, Andreas; Herrmann, Dominik (2024): Reliable and secure on-premise e-assessment with psi-exam. Sicherheit 2024. DOI: 10.18420/sicherheit2024_012.

Erfahrungen und Perspektiven

Frühe Erfahrungen

psi-exam wurde erstmals im Sommersemester 2023 für drei Prüfungen mit jeweils bis zu 250 angemeldeten Prüflingen eingesetzt. Seitdem werden jedes Semester weitere Erfahrungen gesammelt, die in die Weiterentwicklung einfließen.

Frühe Erfahrungen mit dem System und der Gestaltung von Prüfungen unter praxisnahen Bedingungen haben wir auf E-Prüfungssymposium 2023 an der RWTH Aachen diskutiert. Es gibt es eine Aufzeichnung des Vortrags:

Aktueller Stand

Aktuell können Prüfungen mit bis zu 320 Prüflingen mit psi-exam durchgeführt werden. Das System ist derzeit in etwa 10 Modulen im Einsatz. Pro Jahr werden aktuell über 600 Prüfungsteilnehmende damit geprüft.

Zukünftige Entwicklungen

Geplante Erweiterungen umfassen außerdem verbesserte Statistik-Funktionen und ein benutzerfreundlicheres Authoring-Tool, sodass Prüfungsfragen zukünftig auch ohne HTML-Kenntnisse erstellt werden können.

psi-exam ist derzeit ein funktionsfähiger Prototyp, der aus PSI-eigene Mittel und durch Drittmittel finanziert wird. Im Rahmen des BaKuLe-Projekts wird seit Oktober 2025 an der Überführung in einen regulären Universitätsdienst gearbeitet. Mittelfristig soll psi-exam universitätsweit zur Verfügung gestellt werden, wenn genügend Erfahrungen zur Nutzung gesammelt wurden und Fragen der Betreuung geklärt sind. Die Veröffentlichung des Systems unter einer Open-Source-Lizenz ist geplant

Häufige Fragen

Implementierung und Kontakt

Für andere Lehreinheiten: psi-exam ist eine Aktivität des Lehrstuhls PSI. Um weitere Erfahrungen mit der Lösung zu sammeln, bieten wir – in begrenztem Umfang – an, auch Prüfungen anderer Lehreinheiten damit durchzuführen und sie bei der technischen Durchführung zu unterstützen.

Für andere Hochschulen: Das psi-exam System wurde mit dem Ziel entwickelt, auch anderen Hochschulen zur Verfügung zu stehen. Die technische Dokumentation und Implementierungshilfen sind in Vorbereitung.

Interessensbekundung: Hochschulen, die psi-exam implementieren möchten, können sich direkt an Prof. Dr. Dominik Herrmann wenden.