A/B-Test Stichprobengröße: So planst du valide Tests

Eine falsch geplante A/B-Test Stichprobengröße kostet Umsatz und Entwicklungszeit. Ist die Stichprobe zu klein, übersiehst du relevante Effekte oder erklärst Zufall zum Gewinner. Ist sie unnötig groß, blockiert der Test deinen Kalender. Deshalb lege ich Stichprobengröße und Laufzeit fest, bevor ich Varianten baue.

A/B-Test Stichprobengröße schützt deine Entscheidungen

Die Stichprobengröße legt fest, wie viele Besucher jede Variante benötigt. Sie hängt von deiner Ausgangslage, dem kleinsten relevanten Effekt, der Streuung deiner Zielmetrik und dem gewünschten Fehlerniveau ab.

Viele Teams starten einen Test und beobachten täglich die angezeigte Wahrscheinlichkeit oder Signifikanz. Sobald das Dashboard einen grünen Wert zeigt, stoppen sie. Dieses Vorgehen erhöht die Gefahr eines falsch positiven Ergebnisses. Ein früher Ausschlag kann verschwinden, sobald weitere Besucher und vollständige Wochenzyklen in den Test einfließen.

Eine vorab definierte Stichprobe schafft dagegen eine klare Entscheidungsgrundlage. Du weißt bereits vor dem Start, welchen Effekt der Test erkennen soll und wie lange er voraussichtlich läuft. Das erleichtert auch die Planung deines Testing Programms.

Diese vier Eingaben bestimmen den Trafficbedarf

Für die Planung brauchst du vier Werte. Nutze dafür historische Daten aus einem Zeitraum ohne ungewöhnliche Rabattaktionen, technische Ausfälle oder starke saisonale Verschiebungen.

Die primäre Zielmetrik

Lege vor dem Test genau eine primäre Zielmetrik fest. Für viele D2C Shops eignet sich der Umsatz pro Besucher (ARPU), weil er Conversion Rate und Bestellwert gemeinsam abbildet. Bei einem Test im Checkout kann auch die abgeschlossene Bestellrate sinnvoll sein.

Zusätzliche Kennzahlen dienen als Diagnose. Wenn du nach dem Start zwischen mehreren primären Metriken wechselst, erhöhst du deinen Entscheidungsspielraum und damit das Fehlerrisiko.

Der Ausgangswert und seine Streuung

Bei einer Conversion Rate benötigst du die bisherige Rate. Für ARPU brauchst du zusätzlich die Streuung der Umsätze auf Besucherebene. Diese fällt meist hoch aus, weil viele Besucher keinen Umsatz erzeugen und wenige Bestellungen weit über dem Durchschnitt liegen.

Der kleinste relevante Effekt

Der Minimum Detectable Effect, kurz MDE, beschreibt den kleinsten Effekt, den dein Test zuverlässig erkennen soll. Ein MDE von zehn Prozent bedeutet bei einem ARPU von 2,40 EUR eine absolute Veränderung von 0,24 EUR.

Ein kleinerer MDE verlangt mehr Besucher. Lege ihn deshalb anhand des wirtschaftlichen Nutzens und des Umsetzungsaufwands fest. Eine kaum sichtbare Anpassung braucht oft eine größere Stichprobe als ein substanzieller Eingriff in Angebot, Preis oder Seitenstruktur.

Fehlerniveau und Teststärke

Ein verbreiteter frequentistischer Plan nutzt ein Signifikanzniveau von fünf Prozent und eine Teststärke von 80 Prozent. Das begrenzt das Risiko eines falsch positiven Ergebnisses und gibt dem Test eine definierte Chance, den geplanten Effekt zu erkennen.

So berechnest du Stichprobe und Laufzeit

Gehe bei jedem Test in derselben Reihenfolge vor. So erhältst du vergleichbare Planungen und vollständig auswertbare Tests.

1. Definiere die primäre Zielmetrik und dokumentiere die Berechnungslogik.
2. Ermittle Ausgangswert und Streuung aus mehreren repräsentativen Wochen.
3. Lege den wirtschaftlich relevanten MDE fest.
4. Bestimme Signifikanzniveau und Teststärke.
5. Berechne die benötigten Besucher je Variante.
6. Teile die Gesamtstichprobe durch den täglich testfähigen Traffic.
7. Runde die Laufzeit auf vollständige Wochen auf.

Für eine kontinuierliche Kennzahl wie ARPU liefert die folgende Normalapproximation eine erste Orientierung:

Besucher je Variante = 2 × (1,96 + 0,84)² × Standardabweichung² ÷ MDE²

ARPU Daten folgen selten einer sauberen Normalverteilung. Ausreißer und viele Nullwerte prägen die Verteilung. Deshalb prüfe ich die erste Berechnung mit historischen Besucherdaten und einer Bootstrap Simulation. Die Simulation zieht wiederholt Stichproben aus echten Daten und zeigt, wie häufig der geplante Test den Zielwert erkennt.

Gute Statistik kann eine unklare Hypothese nicht retten. Vor der Berechnung solltest du deshalb eine konkrete Veränderung, einen erwarteten Mechanismus und eine Zielmetrik festhalten. Eine Vorlage dafür findest du im Beitrag zu A/B-Testing Hypothesen.

Mini Case: ARPU Test für einen Shopify Shop

Ein Shopify Shop erzielt aktuell einen ARPU von 2,40 EUR. Die historische Standardabweichung auf Besucherebene liegt bei 11,50 EUR. Das Team möchte eine Veränderung von mindestens zehn Prozent erkennen. Der absolute MDE beträgt damit 0,24 EUR.

Mit fünf Prozent Signifikanzniveau und 80 Prozent Teststärke ergibt die Normalapproximation:

2 × 2,80² × 11,50² ÷ 0,24²
= 2 × 7,84 × 132,25 ÷ 0,0576
= rund 36.000 Besucher je Variante

Der Test benötigt insgesamt rund 72.000 testfähige Besucher. Der Shop erreicht täglich 3.600 Besucher, welche die getestete Seite sehen und alle technischen Einschlusskriterien erfüllen. Bei einer gleichmäßigen Verteilung braucht der Test rechnerisch 20 Tage.

Ich würde die geplante Laufzeit auf 21 vollständige Tage setzen. Dadurch enthält die Stichprobe drei komplette Wochenzyklen. Zugleich prüfe ich mit einer Simulation, ob die schiefe Umsatzverteilung mehr Traffic verlangt.

Falls der Shop lediglich 1.200 testfähige Besucher pro Tag erreicht, steigt die rechnerische Laufzeit auf 60 Tage. Dann lohnt sich eine neue Priorisierung. Wir können einen größeren MDE akzeptieren, eine stärkere Variante entwickeln oder den Test auf einen Bereich mit mehr Traffic verlagern. Der Rechner sollte jedoch nicht nachträglich an das gewünschte Enddatum angepasst werden.

Was du nach dem Teststart kontrollieren musst

Die Stichprobenplanung löst nur einen Teil der Aufgabe. Während der Laufzeit kontrolliere ich zusätzlich die Datenqualität und die Umsetzung.

• Das Testing Tool verteilt Besucher dauerhaft im geplanten Verhältnis.
• Ein Besucher bleibt bei wiederholten Sitzungen in derselben Variante.
• Tracking und Umsatzzuordnung funktionieren in beiden Varianten identisch.
• Interne Nutzer, Bots und technisch ungeeignete Sitzungen folgen vorab definierten Regeln.
• Größere Kampagnen, Rabatte und Shop Änderungen fließen in die spätere Interpretation ein.

Eine starke Abweichung zwischen den geplanten Gruppengrößen kann auf ein Sample Ratio Mismatch hinweisen. Bei einem geplanten Verhältnis von 50 zu 50 prüfe ich deshalb, ob die beobachtete Verteilung statistisch plausibel bleibt. Ein auffälliger Unterschied kann durch fehlerhafte Weiterleitungen, langsame Skripte oder ungleiches Tracking entstehen.

Nach Erreichen der Stichprobe werte ich die primäre Zielmetrik, Unsicherheit, Guardrail Metriken und relevante Segmente aus. Erst danach entscheide ich über Rollout, Folgeexperiment oder Verwerfung. Im Managed A/B-Testing übernehme ich dafür die direkte Verantwortung von der Planung bis zur Auswertung.

Häufige Fragen

Wie viele Besucher braucht ein A/B-Test mindestens?

Eine pauschale Mindestzahl gibt es nicht. Ausgangswert, Streuung, MDE, Signifikanzniveau und Teststärke bestimmen den Bedarf. Berechne die Stichprobe deshalb für jeden Test neu.

Kann ich einen Test stoppen, sobald er signifikant ist?

Bei einem klassischen frequentistischen Test solltest du die geplante Stichprobe erreichen und die vorab definierten Stoppregeln einhalten. Wiederholtes Prüfen mit spontanem Stopp erhöht dein Fehlerrisiko. Sequenzielle Verfahren erlauben Zwischenanalysen, brauchen dafür aber passende statistische Grenzen.

Warum sollte ein Test vollständige Wochen laufen?

Kaufverhalten und Trafficmix unterscheiden sich häufig zwischen Werktagen und Wochenende. Vollständige Wochen verhindern, dass einzelne Wochentage eine Variante überproportional prägen. Bei starken saisonalen Effekten brauchst du eventuell einen längeren Zeitraum.

Sollte ich Conversion Rate oder ARPU als Zielmetrik nutzen?

ARPU bildet den wirtschaftlichen Effekt meist direkter ab. Die Conversion Rate eignet sich, wenn die Änderung klar auf Bestellabschlüsse zielt und keine relevanten Auswirkungen auf den Bestellwert zu erwarten sind. Lege die Entscheidung vor dem Start fest.

Was passiert, wenn der Test die geplante Stichprobe erreicht und kein Gewinner feststeht?

Dann hat der Test keinen ausreichend großen Effekt für die geplante Entscheidungsgrenze gezeigt. Das macht ihn nicht wertlos, denn du kannst Varianten mit unzureichender Wirkung aussortieren und die nächste Hypothese präzisieren. Einen Rollout als nachgewiesener Gewinner solltest du daraus nicht ableiten.

Du willst in deinem Shop testen statt raten? Wenn du eine D2C-Brand ab 200.000 EUR Monatsumsatz führst, zeige ich dir in einem kostenlosen Testing-Audit in 30 Minuten, wo dein größter Hebel liegt. Termin buchen. Wenn du noch nicht so weit bist, starte mit meinen kostenlosen Frameworks und Checklisten.