Ralf Gundelach, Michael Mühlhauser, Dominik Herrmann · Full Paper, ARES 2026, 24.–27. August 2026, Linköping (Schweden)

Kurzfassung

Viele Websites setzen Bot-Erkennung ein, die automatisierte Browser blockiert – genau die Werkzeuge, mit denen die Forschung Datenschutz- und Sicherheitspraktiken im Web misst. Unser Literatursurvey zeigt, dass 83 % von 81 Measurement-Papern an Top-Venues (2020–2025) dieses Problem nicht berichten. In einer Messstudie über die Tranco Top 10.000 (vier Browser-Konfigurationen, 40.000 Seitenaufrufe) quantifizieren wir den Effekt: Chromium headless wird auf 15,2 % der Sites geblockt, die übrigen Konfigurationen auf 6,8–7,2 %; 82 % der Blocks sind auf Bot-Erkennung zurückführbar. Der resultierende Stichprobenverlust ist nicht zufällig, sondern korreliert mit dem Infrastruktur-Anbieter – und lässt sich daher nicht durch stratifiziertes Sampling korrigieren.

Kernzahlen

Taxonomie der Detection-Techniken

Das Paper klassifiziert client-seitige Bot-Detection auf zwei Achsen: nach der Aussagekraft der abgefragten Signale und nach der Messmethode, mit der sich diese Zugriffe beobachten lassen.

Die 28 identifizierten Tier-1-Signale verteilen sich auf acht Framework-Familien (WebDriver API, PhantomJS, NightmareJS, WebDriver Protocol, Selenium, Chrome DevTools, Awesomium, ChromeDriver). Kommerzielle Anbieter kombinieren sie mit Fingerprinting in bis zu acht Kategorien (Canvas, Audio, WebGL, Speech, Fonts, Dimensions, Permissions, Plugins).

Selbsttest: Sieht Ihr Browser wie ein Bot aus?

Der Test prüft direkt in Ihrem Browser einen Ausschnitt der client-seitig sichtbaren Signale aus der Taxonomie oben. Er läuft vollständig lokal – es werden keine Daten übertragen oder gespeichert.

Browser jetzt prüfen

Empfehlungen für Measurement-Studien

Zitieren

Camera-Ready-Version und DOI erscheinen zur Konferenz; bis dahin bitte den Preprint zitieren:

@misc{gundelach2026botdetection,
  title         = {Detecting Bot Detection: Prevalence, Techniques, and
                   Implications for Web Measurement Research},
  author        = {Gundelach, Ralf and M{\"u}hlhauser, Michael and Herrmann, Dominik},
  year          = {2026},
  eprint        = {2606.14525},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CR},
  note          = {Angenommen bei ARES 2026}
}

Crawler, Datensatz, Analyse-Notebooks und die Kodierungen des Literatursurveys sind offen verfügbar: doi.org/10.5281/zenodo.20334022 (Screenshots aus Urheberrechtsgründen ausgenommen).