Zum Inhalt springen
· 6 Min. Lesezeit

Bot Traffic im A/B-Test: Verzerrte Ergebnisse vermeiden

Bot Traffic im A/B-Test kann einen wirtschaftlich relevanten Gewinner verdecken oder sogar die Richtung des Effekts umkehren. Das passiert vor allem dann, wenn automatisierte Zugriffe ungleich auf Kontrolle und Variante fallen. Selbst bei gleichmäßiger Verteilung verlängern Bots die Laufzeit, weil sie den Umsatz pro Besucher (ARPU) verwässern. Ohne klare Filterregeln riskierst Du einen falschen Rollout oder verwirfst eine profitable Änderung.

Bot Traffic im A/B-Test kostet Testkapazität

Ein Bot kauft normalerweise nichts, zählt im Testing Tool aber möglicherweise als Besucher. Dadurch sinken Conversion Rate und ARPU. Treffen die Zugriffe beide Varianten gleichmäßig, bleibt der geschätzte Effekt oft unverzerrt. Die zusätzliche Varianz senkt jedoch die statistische Power. Du brauchst mehr Besucher und wartest länger auf vollständig auswertbare Tests.

Problematischer wird eine ungleiche Verteilung. Manche Bots akzeptieren keine Cookies, führen JavaScript nur teilweise aus oder rufen direkt bestimmte URLs auf. Andere greifen über Rechenzentren auf Produktseiten zu. Eine Variante mit verändertem Rendering, anderer URL oder zusätzlichem Skript kann deshalb eine andere Botquote erhalten.

Das Testing Tool sieht dann zwei unterschiedlich zusammengesetzte Gruppen. Es vergleicht nicht mehr sauber Kontrolle gegen Variante. Es vergleicht zusätzlich verschiedene Anteile menschlicher und automatisierter Besucher.

Ein auffälliges Verhältnis zwischen den Varianten kann außerdem auf einen Sample Ratio Mismatch hinweisen. Ein SRM beweist keinen Bot Traffic, liefert aber einen wichtigen Anlass für die technische Prüfung.

Welche automatisierten Zugriffe das Ergebnis beeinflussen

Nicht jeder automatisierte Zugriff stellt dasselbe Risiko dar. Suchmaschinen Crawler, Monitoring Systeme, Preisvergleichsdienste, App Crawler und schädliche Bots verhalten sich unterschiedlich. Für die Auswertung zählt vor allem, ob das Testing Tool ihnen eine Variante zuordnet und sie in den Nenner der Zielmetrik aufnimmt.

  • Suchmaschinen Crawler rufen häufig viele Seiten ohne Bestellung auf.
  • Monitoring Systeme besuchen dieselben URLs in kurzen Abständen und mit festen Zeitmustern.
  • Preis Crawler konzentrieren sich auf Produktseiten und Varianteninformationen.
  • Automatisierte Browser führen JavaScript aus und ähneln dadurch echten Sitzungen.
  • Interne Tests, Theme Previews und QA Systeme können ebenfalls künstliche Besucher erzeugen.

Eine einfache Regel wie null Sekunden Sitzungsdauer reicht deshalb nicht aus. Datenschutzmechanismen, blockierte Skripte und schnelle Absprünge erzeugen bei echten Nutzern ähnliche Signale. Ich kombiniere mehrere Merkmale und dokumentiere die Filterlogik vor der Auswertung.

So erkennst Du Bot Traffic in Shopify Experimenten

Die Prüfung beginnt bei den Rohdaten der Variantenzuordnung. Aggregierte Dashboard Zahlen reichen dafür selten aus. Du brauchst mindestens Experiment, Variante, Zeitstempel, pseudonyme Besucherkennung, Landingpage und technische Informationen zur Anfrage. Datenschutzrechtlich unnötige Rohdaten solltest Du nicht speichern.

Diese Muster verdienen eine genauere Prüfung:

  • Viele Besuche treten in exakt gleichen Zeitabständen auf.
  • Ein Besucher ruft in wenigen Sekunden ungewöhnlich viele Produktseiten auf.
  • Große Traffic Spitzen erzeugen keine Warenkörbe, Checkouts oder Bestellungen.
  • Bestimmte Netzwerke oder technische Clients liefern fast ausschließlich Besucher ohne Interaktion.
  • Kontrolle und Variante zeigen deutlich unterschiedliche Quoten verdächtiger Zugriffe.
  • Das Testing Tool meldet wesentlich mehr Besucher als Shopify, obwohl beide Systeme denselben Zeitraum und dieselben Seiten erfassen.

Ich prüfe zusätzlich die Verteilung nach Stunde, Landingpage, Gerät, Land und Quelle. Bot Traffic bildet häufig schmale Cluster. Ein abrupter Anstieg aus einer einzelnen Quelle ist leichter zu erkennen als ein dauerhaftes Grundrauschen.

Vor dem ersten produktiven Experiment hilft ein A/A-Test im A/B-Testing. Er zeigt, ob Zuweisung, Persistenz und Metriken ohne inhaltliche Änderung stabil arbeiten.

Schritt für Schritt zu belastbaren Filterregeln

  1. Lege fest, welche Systeme Besucher zählen. Testing Tool, Shopify und Analytics brauchen denselben Untersuchungszeitraum und eine vergleichbare Zeitzone.
  2. Exportiere die Variantenzuordnungen auf Besucherebene. Verknüpfe sie über eine pseudonyme Kennung mit Sitzungen, Warenkörben und Bestellungen.
  3. Markiere bekannte Crawler anhand dokumentierter technischer Signale. Verlasse Dich nicht allein auf den User Agent, da automatisierte Browser ihn verändern können.
  4. Suche nach Verhaltensmustern wie extrem hoher Aufruffrequenz, identischen Intervallen oder fehlender Navigation.
  5. Vergleiche die Botquote zwischen Kontrolle und Variante. Prüfe außerdem, ob der Ausschluss das Zuteilungsverhältnis verändert.
  6. Definiere die endgültige Filterregel vor dem Blick auf den Varianteneffekt. Damit reduzierst Du das Risiko, unbewusst eine günstige Regel auszuwählen.
  7. Führe die Auswertung einmal mit allen Besuchern und einmal mit dem vorab definierten Filter durch. Große Abweichungen verlangen eine Ursachenanalyse.
  8. Behebe die technische Ursache und starte den Test neu, wenn die Bots Varianten ungleich treffen. Ein nachträglich korrigiertes Ergebnis rechtfertigt dann keinen Rollout.

Diese Regeln gehören in die Dokumentation Deines Testing Programms. Das Team muss für jeden Test dieselbe Logik anwenden. Sonst entstehen Ergebnisse, die sich über mehrere Experimente kaum vergleichen lassen.

Mini Case: Bot Traffic dreht das Ergebnis um

Ein Shopify Test verteilt jeweils 50.000 gemessene Besucher auf Kontrolle und Variante. Die Kontrolle erzielt 126.000 EUR Umsatz. Die Variante erzielt 129.000 EUR.

Ohne Filter liegt der ARPU der Kontrolle bei 2,52 EUR. Die Variante erreicht 2,58 EUR. Das entspricht einem gemessenen Plus von rund 2,4 Prozent.

Die Prüfung zeigt jedoch 8.000 automatisierte Besucher in der Kontrolle und 2.000 in der Variante. Diese Zugriffe erzeugen keinen Umsatz. Nach Anwendung der vorher festgelegten Filterregel bleiben 42.000 menschliche Besucher in der Kontrolle und 48.000 in der Variante.

  • Kontrolle: 126.000 EUR geteilt durch 42.000 Besucher ergibt 3,00 EUR ARPU.
  • Variante: 129.000 EUR geteilt durch 48.000 Besucher ergibt rund 2,69 EUR ARPU.
  • Der bereinigte Punktschätzer liegt damit rund 10,4 Prozent unter der Kontrolle.

Der scheinbare Gewinner wird zum deutlichen Verlierer. Trotzdem würde ich die Kontrolle nicht allein auf Basis der nachträglichen Bereinigung zum nachgewiesenen Gewinner erklären. Die ungleiche Botquote zeigt, dass die Randomisierung oder Messung beschädigt ist. Ich behebe zuerst die Ursache und wiederhole das Experiment.

Wann Du einen Test ausschließen oder wiederholen solltest

Eine kleine und gleichmäßige Botquote macht einen Test nicht automatisch unbrauchbar. Sie verlängert oft nur die benötigte Laufzeit. Entscheidend sind die Differenz zwischen den Varianten und die Stabilität der Ergebnisse.

Ich wiederhole einen Test, wenn mindestens eine dieser Situationen vorliegt:

  • Die Botquote unterscheidet sich materiell zwischen den Varianten.
  • Mehrere plausible Filterregeln führen zu entgegengesetzten Entscheidungen.
  • Der Ausschluss verursacht einen deutlichen Sample Ratio Mismatch.
  • Die technische Ursache trat erst während des Experiments auf.
  • Das System kann Variantenzuordnung und Bestellung nicht zuverlässig verbinden.

Bei Shopify A/B-Testing sollte die Filterung Teil der Messarchitektur sein. Im Managed A/B-Testing prüfe ich deshalb vor dem Start Zuweisung, Metriken und Ausschlussregeln. Das schafft direkte Verantwortung für Tests, deren Ergebnisse wirtschaftliche Entscheidungen tragen.

Häufige Fragen

Entfernen A/B-Testing Tools Bot Traffic automatisch?

Viele Tools filtern bekannte Crawler und verdächtige User Agents. Automatisierte Browser können diese Filter jedoch umgehen. Prüfe deshalb, welche Zugriffe das Tool ausschließt und ob Shopify sowie Dein Analytics System dieselbe Definition nutzen.

Verzerrt Bot Traffic immer den gemessenen Effekt?

Nein. Gleichmäßig verteilter Bot Traffic verwässert meist die Metriken und erhöht die notwendige Stichprobe. Eine ungleiche Verteilung kann den Varianteneffekt dagegen deutlich verzerren oder seine Richtung umkehren.

Darf ich Bots nach Ende des Tests herausfiltern?

Du kannst eine Sensitivitätsanalyse durchführen. Definiere Filterregeln jedoch möglichst vor dem Blick auf das Ergebnis. Wenn der Ausschluss die Entscheidung verändert oder Varianten ungleich betrifft, behebe die Ursache und wiederhole den Test.

Welche Metrik reagiert besonders empfindlich auf Bots?

Besucherbasierte Metriken wie ARPU und Conversion Rate reagieren direkt, weil Bots den Nenner vergrößern. Bestellbasierte Kennzahlen wie der durchschnittliche Bestellwert bleiben häufig stabiler, beantworten aber eine andere wirtschaftliche Frage.

Kann ein A/A-Test Bot Traffic sichtbar machen?

Ein A/A-Test kann ungleiche Zuteilung, instabile Metriken und technische Unterschiede sichtbar machen. Er identifiziert die Ursache nicht automatisch. Dafür brauchst Du Rohdaten, technische Merkmale und eine Prüfung der Traffic Quellen.

Du willst in deinem Shop testen statt raten? Wenn du eine D2C-Brand ab 200.000 EUR Monatsumsatz führst, zeige ich dir in einem kostenlosen Testing-Audit in 30 Minuten, wo dein größter Hebel liegt. Termin buchen. Wenn du noch nicht so weit bist, starte mit meinen kostenlosen Frameworks und Checklisten.

Nicolai Clöß

Nicolai Clöß

Founder von Socivolve. Übernimmt das A/B-Testing von Shopify-D2C-Brands vollständig, von der ersten Beobachtung bis zum dauerhaft ausgerollten Gewinner. Trier.

Bevor du den nächsten Artikel liest:

Mein A/B-Test-Playbook fasst zusammen, was hier über viele Artikel verteilt steht: Testaufbau, Stichprobenberechnung, Auswertungsregeln und mein Priorisierungs-Framework. Kostenlos, kein Newsletter-Zwang.

Playbook laden (PDF)

Weiterlesen