A/B-Test Laufzeit: Shopify Tests belastbar planen

Eine realistische A/B-Test Laufzeit schützt deinen Umsatz vor vorschnellen Rollouts und verhindert, dass Tests wochenlang ohne Entscheidung laufen. Viele Shopify Teams planen nur mit dem gesamten Shop Traffic. Entscheidend sind jedoch die erreichbaren Besucher, die gewünschte Testpower und dein Umsatz pro Besucher (ARPU). Erst aus diesen Größen entsteht ein belastbarer Zeitplan für vollständig auswertbare Tests.

A/B-Test Laufzeit beginnt mit dem wirtschaftlichen Ziel

Eine gute Laufzeitplanung beantwortet zuerst eine wirtschaftliche Frage: Welchen Effekt muss ein Test erkennen, damit sich die Umsetzung und der spätere Rollout lohnen?

Ein sehr kleiner Effekt benötigt meist eine große Stichprobe. Ein größerer Effekt lässt sich mit weniger Besuchern erkennen. Wenn du jeden Test auf minimale Veränderungen auslegst, blockierst du deine Roadmap möglicherweise mehrere Wochen. Wenn du nur große Effekte suchst, übersiehst du wirtschaftlich relevante Verbesserungen.

Deshalb lege ich vor dem Start die Hauptmetrik, den relevanten Effekt und die benötigte Stichprobe fest. Für Shopify Shops nutze ich häufig ARPU als Hauptmetrik. Conversion Rate, durchschnittlicher Bestellwert und weitere Funnel Metriken helfen bei der Interpretation.

Die statistische Grundlage dafür ist der Minimal Detectable Effect. In meinem Beitrag zum Minimal Detectable Effect für Shopify Tests zeige ich, wie du eine wirtschaftlich sinnvolle Effektgrenze festlegst.

Vier Größen bestimmen die tatsächliche Laufzeit

Der monatliche Shop Traffic reicht für eine Laufzeitprognose nicht aus. Ich berücksichtige vier Größen.

1. Benötigte Stichprobe. Die historische Streuung deiner Hauptmetrik, das Signifikanzniveau, die Testpower und der relevante Effekt bestimmen die erforderliche Anzahl an Besuchern.
2. Erreichbarer Traffic. Ein Produktseitentest erreicht nur Besucher auf den betroffenen Produktseiten. Besucher auf Startseite, Collections oder nicht einbezogenen Märkten tragen nichts zur Stichprobe bei.
3. Traffic Split. Bei einer Aufteilung von 50 zu 50 erhalten beide Varianten ähnlich viele Besucher. Ein vorsichtiger Start mit 90 zu 10 verlängert den Aufbau der Stichprobe in der kleineren Variante deutlich.
4. Geschäftszyklen. Wochentage, Payday Effekte, Kampagnen und Bestandsänderungen beeinflussen den Besuchermix. Die Laufzeit sollte relevante Zyklen vollständig abdecken.

Zusätzlich prüfe ich, ob andere Tests dieselben Besucher oder Seitenelemente beeinflussen. Der Beitrag zu A/B-Test Interaktionen erklärt, wann parallele Experimente die Auswertung erschweren.

So berechnest du die A/B-Test Laufzeit

Mit den folgenden Schritten übersetzt du die benötigte Stichprobe in Kalendertage.

1. Bestimme anhand historischer Daten, wie viele Besucher jede Variante benötigt.
2. Ermittle die Anzahl der täglich erreichbaren und testfähigen Besucher.
3. Teile diesen Traffic anhand des geplanten Splits auf die Varianten auf.
4. Dividiere die erforderliche Stichprobe durch den täglichen Traffic der langsamsten Variante.
5. Runde die Laufzeit so auf, dass der Test vollständige Wochenzyklen enthält.
6. Prüfe den Kalender auf Aktionen, Feiertage, große Kampagnen und geplante Theme Änderungen.

Die langsamste Variante entscheidet über die Mindestdauer. Bei einem Split von 80 zu 20 sammelt die kleinere Variante nur ein Viertel der Besucher der größeren Variante. Dadurch kann ein vermeintlich risikoarmer Split die Laufzeit stark verlängern.

Ich plane außerdem einen Puffer für Traffic Schwankungen ein. Eine Prognose auf Basis eines starken Kampagnenmonats fällt sonst zu optimistisch aus. Ein Median aus mehreren vergleichbaren Wochen liefert meist eine bessere Grundlage als ein einzelner Monatswert.

Mini Case: Laufzeit für einen Produktseitentest

Ein Shopify Shop erreicht 120.000 eindeutige Besucher pro Monat. Der geplante Test verändert die Darstellung von Bundle Optionen auf ausgewählten Produktseiten. Aus der historischen Analyse ergibt sich eine benötigte Stichprobe von 24.000 Besuchern pro Variante.

Nur 70 Prozent aller Besucher öffnen eine einbezogene Produktseite. Damit erreicht der Test monatlich 84.000 Besucher. Bei 30 Tagen entspricht das durchschnittlich 2.800 erreichbaren Besuchern pro Tag.

Mit einem Split von 50 zu 50 erhält jede Variante etwa 1.400 Besucher pro Tag:

120.000 Besucher × 70 Prozent Exposure = 84.000 Testbesucher
84.000 ÷ 30 Tage = 2.800 Testbesucher pro Tag
2.800 ÷ 2 Varianten = 1.400 Besucher pro Variante und Tag
24.000 ÷ 1.400 = 17,1 Tage

Die reine Stichprobenrechnung ergibt rund 18 Tage. Ein Ende nach 18 Tagen würde jedoch mitten in der dritten Woche liegen. Ich plane deshalb 21 Tage ein. So enthält der Test drei vollständige Wochenzyklen und erreicht voraussichtlich rund 29.400 Besucher pro Variante.

Bei einem Split von 80 zu 20 bekäme die kleinere Variante nur 560 Besucher pro Tag. Sie würde ihre Stichprobe erst nach knapp 43 Tagen erreichen. Dieses Beispiel zeigt, warum der Traffic Split eine direkte wirtschaftliche Entscheidung ist.

Wann du einen Test stoppen, verlängern oder abbrechen solltest

Vor dem Launch definiere ich klare Entscheidungsregeln. So entsteht kein Druck, ein attraktives Zwischenergebnis vorschnell als nachgewiesenen Gewinner zu behandeln.

Planmäßig stoppen

Der Test kann enden, wenn beide Varianten die geplante Stichprobe erreicht haben, die Mindestlaufzeit abgelaufen ist und keine bekannten Datenprobleme vorliegen. Danach werte ich Hauptmetrik, Guardrails und relevante Diagnosen gemeinsam aus.

Laufzeit verlängern

Eine Verlängerung ist sinnvoll, wenn der Traffic unter der Prognose liegt oder ein kurzfristiges Ereignis den Besuchermix stark verändert hat. Ich lege die neue Grenze anhand der ursprünglichen Entscheidungsregel fest. Ein knappes Ergebnis allein rechtfertigt keine beliebige Verlängerung.

Technisch abbrechen

Ich stoppe einen Test, wenn ein Implementierungsfehler die Nutzererfahrung beschädigt, das Tracking ausfällt oder die Zuordnung der Varianten nicht zuverlässig funktioniert. Ein deutliches Sample Ratio Mismatch kann auf genau solche Probleme hinweisen.

Das tägliche Beobachten eines klassischen Signifikanzwerts führt leicht zu falschen Entscheidungen. Wie du feste Stop Regeln setzt, erkläre ich im Beitrag über A/B-Test Peeking.

Laufzeitplanung als Teil des Testing Programms

Eine einzelne Laufzeitprognose hilft bei einem Test. Ein verlässlicher Prozess verbessert die gesamte Roadmap. Ich dokumentiere für jeden Test die erwartete Stichprobe, das Exposure, den Traffic Split, den geplanten Zeitraum und mögliche Kalendereffekte.

Dadurch lässt sich vorab erkennen, wie viele Tests ein Shop pro Quartal realistisch abschließen kann. Ein Shop mit ausreichend Gesamttraffic kann trotzdem einen niedrigen Durchsatz haben, wenn Tests nur kleine Seitensegmente erreichen oder zu viele Varianten enthalten.

In einem strukturierten Testing Programm fließen diese Prognosen direkt in Priorisierung und Kapazitätsplanung ein. Beim Managed A/B-Testing übernehme ich die Planung, technische Umsetzung und Auswertung in direkter Verantwortung. Wir legen Ziele und Entscheidungsregeln vor dem Start gemeinsam fest.

Häufige Fragen

Wie lange sollte ein Shopify A/B-Test mindestens laufen?

Viele Tests sollten mindestens einen oder zwei vollständige Wochenzyklen abdecken. Die konkrete Mindestdauer hängt jedoch von Stichprobe, Exposure und Geschäftsrhythmus ab. Eine pauschale Laufzeit von 14 Tagen ersetzt keine Berechnung.

Kann ich einen Test stoppen, sobald er signifikant ist?

Bei einem klassischen Testdesign solltest du die vorher geplante Stichprobe und Mindestlaufzeit einhalten. Frühes Stoppen erhöht sonst das Risiko eines falschen Gewinners. Sequenzielle oder bayesianische Verfahren benötigen eigene, vorab definierte Regeln.

Zählen Sessions oder Besucher für die Laufzeit?

Die Einheit muss zu deiner Randomisierung passen. Ordnet das Tool Besucher dauerhaft einer Variante zu, solltest du die Planung auf eindeutigen zugeordneten Besuchern aufbauen. Sessions können die verfügbare Stichprobe überschätzen, weil wiederkehrende Personen mehrfach erscheinen.

Was passiert, wenn der Traffic während des Tests sinkt?

Dann benötigt der Test mehr Kalendertage, um die geplante Stichprobe zu erreichen. Ich aktualisiere die Prognose mit dem tatsächlich beobachteten Exposure. Die statistische Zielgröße ändere ich dabei nicht nachträglich.

Sollte ein Test während einer Aktion laufen?

Das kann sinnvoll sein, wenn die Aktion zum normalen Geschäftsmodell gehört und beide Varianten gleichzeitig betrifft. Du solltest die Aktion vorab in der Planung berücksichtigen. Bei einmaligen Sondereffekten kann ein separater Testzeitraum leichter interpretierbare Ergebnisse liefern.

Du willst in deinem Shop testen statt raten? Wenn du eine D2C-Brand ab 200.000 EUR Monatsumsatz führst, zeige ich dir in einem kostenlosen Testing-Audit in 30 Minuten, wo dein größter Hebel liegt. Termin buchen. Wenn du noch nicht so weit bist, starte mit meinen kostenlosen Frameworks und Checklisten.