Zum Inhalt springen
· 5 Min. Lesezeit

Multiple Testing im A/B-Test: Fehlalarme begrenzen

Ein falscher Gewinner kostet Umsatz, Entwicklungszeit und Vertrauen in Dein Testing. Multiple Testing im A/B-Test erhöht dieses Risiko, sobald Du mehrere Varianten, Metriken oder Segmente gleichzeitig prüfst. Bei zehn unabhängigen Auswertungen mit jeweils fünf Prozent Fehlerniveau liegt die Chance auf mindestens einen zufälligen Treffer bereits bei rund 40 Prozent. Du brauchst deshalb vor dem Start klare Entscheidungsregeln. Sonst liefert Dir fast jeder umfangreiche Report irgendwo ein scheinbar signifikantes Ergebnis.

Multiple Testing im A/B-Test betrifft mehr als Varianten

Das Problem entsteht durch mehrere statistische Chancen auf einen Treffer. Jede zusätzliche Hypothese öffnet eine weitere Möglichkeit für einen Fehlalarm. Das gilt auch dann, wenn alle Berechnungen technisch korrekt laufen.

In Shopify Tests begegnet mir Multiple Testing vor allem in vier Situationen:

  • Du vergleichst mehrere Varianten mit derselben Kontrollgruppe.
  • Du bewertest Conversion Rate, Bestellwert, Umsatz pro Besucher (ARPU), Warenkorbrate und Checkout Rate gleichrangig.
  • Du analysierst nach dem Test zahlreiche Geräte, Kanäle, Länder oder Kundengruppen.
  • Du prüfst dieselbe Idee auf mehreren Templates und suchst anschließend das beste Ergebnis.

Bei einer einzelnen Prüfung mit einem Fehlerniveau von fünf Prozent akzeptierst Du eine Wahrscheinlichkeit von fünf Prozent für einen falsch positiven Befund. Bei zehn unabhängigen Prüfungen steigt die Wahrscheinlichkeit für mindestens einen Fehlalarm auf:

1 minus 0,95 hoch 10 = 40,1 Prozent

Shopify Metriken hängen häufig zusammen. Conversion Rate und ARPU sind beispielsweise nicht unabhängig. Die konkrete Fehlalarmrate kann deshalb von 40,1 Prozent abweichen. Das Grundproblem bleibt bestehen: Je mehr Ergebnisse Du nach einem Treffer durchsuchst, desto leichter findest Du Zufall.

Wann Du eine Korrektur brauchst

Du musst nicht jede Zahl in Deinem Dashboard gemeinsam korrigieren. Entscheidend ist, welche Ergebnisse eine Entscheidung auslösen dürfen.

Wenn Du vor dem Start eine Primärmetrik und einen geplanten Variantenvergleich festlegst, bleibt diese Prüfung eigenständig. Sekundäre Metriken können das Ergebnis erklären oder Risiken zeigen. Sie entscheiden aber nicht nachträglich darüber, ob die Variante gewinnt. Wie Du diese Rangfolge festlegst, liest Du im Beitrag zur A/B-Test Primärmetrik.

Eine Korrektur ist sinnvoll, wenn Du aus mehreren gleichrangigen Möglichkeiten irgendeinen Gewinner auswählen willst. Das betrifft zum Beispiel drei neue Produktseiten gegen eine Kontrolle. Es betrifft ebenso fünf Metriken, falls jede einzelne einen Rollout rechtfertigen darf.

Explorative Analysen brauchen eine andere Kennzeichnung. Du darfst Segmente durchsuchen, um neue Hypothesen zu entwickeln. Du solltest einen zufälligen Segmenttreffer aber nicht als nachgewiesenen Gewinner behandeln. Der Beitrag zur Segmentanalyse im A/B-Test zeigt, wie Du diese Befunde sauber einordnest.

Bonferroni und Holm praktisch einsetzen

Die Bonferroni Korrektur teilt das gewünschte Fehlerniveau durch die Anzahl der geplanten Prüfungen. Bei fünf Vergleichen und einem gemeinsamen Fehlerniveau von fünf Prozent muss jeder einzelne Vergleich einen p Wert unter 0,01 erreichen.

0,05 geteilt durch 5 = 0,01

Bonferroni lässt sich leicht erklären und vorab planen. Die Methode reagiert jedoch konservativ. Sie kann echte Effekte übersehen, besonders bei kleinen Stichproben und vielen Vergleichen.

Die Holm Methode kontrolliert ebenfalls die Wahrscheinlichkeit für mindestens einen Fehlalarm innerhalb einer Testfamilie. Sie nutzt die vorhandenen p Werte aber effizienter:

  1. Sortiere alle p Werte vom kleinsten zum größten Wert.
  2. Vergleiche den kleinsten p Wert mit 0,05 geteilt durch die Anzahl aller Prüfungen.
  3. Falls er die Grenze unterschreitet, prüfe den nächsten Wert mit einer etwas größeren Grenze.
  4. Sobald ein Wert seine Grenze verfehlt, gelten auch alle folgenden Ergebnisse nicht als bestätigt.

Für viele operative A/B-Tests bietet Holm einen guten Ausgangspunkt. Die Methode bleibt nachvollziehbar und gibt stärkeren Effekten mehr Raum als eine einheitliche Bonferroni Grenze.

Mini Case mit fünf gleichrangigen Metriken

Eine Shopify Brand testet eine neue Produktseitenstruktur. Das Team hat keine Primärmetrik festgelegt. Fünf Metriken dürfen laut Testplan einen Rollout auslösen. Nach Ablauf der geplanten Laufzeit liefert die Auswertung diese sortierten p Werte:

  • ARPU erreicht 0,008.
  • Conversion Rate erreicht 0,018.
  • Bestellwert erreicht 0,026.
  • Warenkorbrate erreicht 0,041.
  • Checkout Rate erreicht 0,200.

Die Holm Grenzen lauten der Reihe nach 0,010, 0,0125, 0,0167, 0,025 und 0,050. ARPU unterschreitet mit 0,008 die erste Grenze. Die Conversion Rate verfehlt mit 0,018 bereits die zweite Grenze von 0,0125. Damit endet die bestätigende Prüfung. Nur das ARPU Ergebnis übersteht die Korrektur.

Die übrigen Kennzahlen bleiben nützlich. Sie helfen bei der wirtschaftlichen Interpretation und können mögliche Ursachen erklären. Sie liefern in diesem Test jedoch keinen eigenständigen Nachweis.

Hätte die Brand ARPU vor dem Start als einzige Primärmetrik festgelegt, hätte sie diese Metrik direkt gegen das vorab definierte Fehlerniveau geprüft. Die übrigen Kennzahlen hätten als sekundäre Metriken gedient. Genau deshalb verbessert ein klarer Analyseplan sowohl die Aussagekraft als auch die Geschwindigkeit der Entscheidung.

Der p Wert allein reicht für den Rollout trotzdem nicht. Ich prüfe zusätzlich Effektgröße, Konfidenzintervall, Guardrails, Tracking Qualität und die vorab geplante Mindestlaufzeit. So entstehen vollständig auswertbare Tests statt isolierter Signifikanzmeldungen.

So baust Du Multiple Testing in Deinen Prozess ein

Die beste Korrektur beginnt vor dem Test. Nachträgliche Statistik kann einen unklaren Entscheidungsprozess nur begrenzt reparieren.

  1. Formuliere eine konkrete Hypothese und den erwarteten wirtschaftlichen Effekt.
  2. Bestimme genau eine Primärmetrik, sofern der Test eine zentrale Entscheidung beantworten soll.
  3. Lege fest, welche Variantenvergleiche gleichrangig sind.
  4. Ordne Metriken in Primärmetrik, Guardrails und erklärende Kennzahlen ein.
  5. Definiere eine Testfamilie für alle Ergebnisse, die denselben Rollout auslösen können.
  6. Wähle vor dem Start eine Korrekturmethode und dokumentiere sie.
  7. Kennzeichne nachträgliche Segmentanalysen ausdrücklich als explorativ.

Ein Testing Programm sollte diese Angaben in jedem Briefing erfassen. Das reduziert Diskussionen nach dem Test und verhindert, dass Teams die Entscheidungsregel an das attraktivste Ergebnis anpassen. Eine passende Struktur findest Du auf der Seite zum Testing Programm aufbauen.

Bei meinem Managed A/B-Testing übernehme ich die direkte Verantwortung für Planung, Implementierung und Auswertung. Vor dem Start legen wir gemeinsam fest, welche Metrik entscheidet und welche Vergleiche zur selben Testfamilie gehören. Dadurch bleibt der spätere Rollout an den ursprünglichen wirtschaftlichen Zweck gebunden.

Häufige Fragen

Muss ich jede sekundäre Metrik korrigieren?

Nein, solange sekundäre Metriken keine eigenständige Gewinnerentscheidung auslösen. Nutzt Du eine sekundäre Kennzahl nachträglich als Grund für den Rollout, gehört sie faktisch zur bestätigenden Testfamilie.

Brauche ich bei zwei Varianten eine Korrektur?

Bei einer Kontrolle, einer Variante und einer vorab festgelegten Primärmetrik brauchst Du normalerweise keine Korrektur für Multiple Testing. Wiederholtes Prüfen während der Laufzeit erzeugt jedoch ein anderes Problem, das Du mit festen Laufzeiten oder Sequential Testing lösen musst.

Welche Methode eignet sich für mehrere Varianten?

Holm eignet sich häufig für wenige geplante Vergleiche mit derselben Kontrolle. Bei komplexeren Designs sollte die Auswertung zusätzlich berücksichtigen, dass alle Varianten dieselbe Kontrollgruppe verwenden.

Darf ich Segmente nach dem Test analysieren?

Ja, explorative Segmentanalysen liefern wertvolle Ideen für Folgetests. Behandle einen auffälligen Segmenteffekt als neue Hypothese und bestätige ihn mit einem geplanten Test oder einer Replikation.

Senkt eine Korrektur die Testgeschwindigkeit?

Eine strengere Entscheidungsgrenze verlangt häufig mehr Daten. Eine klare Primärmetrik reduziert dafür unnötige Vergleiche und kann den Datenbedarf deutlich begrenzen. Plane Varianten und Metriken deshalb nach ihrem Entscheidungswert.

Du willst in deinem Shop testen statt raten? Wenn du eine D2C-Brand ab 200.000 EUR Monatsumsatz führst, zeige ich dir in einem kostenlosen Testing-Audit in 30 Minuten, wo dein größter Hebel liegt. Termin buchen. Wenn du noch nicht so weit bist, starte mit meinen kostenlosen Frameworks und Checklisten.

Nicolai Clöß

Nicolai Clöß

Founder von Socivolve. Übernimmt das A/B-Testing von Shopify-D2C-Brands vollständig, von der ersten Beobachtung bis zum dauerhaft ausgerollten Gewinner. Trier.

Bevor du den nächsten Artikel liest:

Mein A/B-Test-Playbook fasst zusammen, was hier über viele Artikel verteilt steht: Testaufbau, Stichprobenberechnung, Auswertungsregeln und mein Priorisierungs-Framework. Kostenlos, kein Newsletter-Zwang.

Playbook laden (PDF)

Weiterlesen