Zum Inhalt springen
· 6 Min. Lesezeit

A/B-Test Laufzeit: Enddatum wirtschaftlich planen

Eine falsch geplante A/B-Test Laufzeit kostet Umsatzpotenzial. Beendest du einen Test zu früh, riskierst du einen falschen Rollout. Lässt du ihn unnötig lange laufen, blockierst du den nächsten Testslot. Gerade bei Shopify Shops mit stark schwankendem Wochenverlauf reicht ein Blick auf Signifikanz oder Kalenderdauer deshalb nicht aus.

A/B-Test Laufzeit aus dem wirtschaftlichen Ziel ableiten

Die passende Laufzeit beginnt mit der Frage, welchen Effekt du zuverlässig erkennen möchtest. Für einen Shopify Shop eignet sich häufig der Umsatz pro Besucher (ARPU) als primäre Zielmetrik. Der ARPU verbindet Conversion Rate und Bestellwert in einer Kennzahl.

Vor dem Start legst du vier Größen fest:

  • Die primäre Zielmetrik, zum Beispiel ARPU.
  • Den kleinsten wirtschaftlich relevanten Effekt.
  • Das gewünschte Signifikanzniveau und die statistische Power.
  • Den täglich verfügbaren Traffic für das Experiment.

Aus diesen Angaben ergibt sich die benötigte Stichprobe. Erst danach übersetzt du die Stichprobe in Kalendertage. Der umgekehrte Weg führt häufig zu schwachen Tests. Eine Laufzeit von zwei Wochen klingt übersichtlich, sagt aber ohne Traffic und Effektgröße wenig aus.

Wenn du den kleinsten relevanten Effekt noch nicht festgelegt hast, hilft dir mein Beitrag zum Minimum Detectable Effect. Dort zeige ich, wie du statistische Anforderungen mit dem wirtschaftlichen Wert eines Tests verbindest.

Stichprobe und Kalendertage gemeinsam planen

Die statistische Stichprobe bildet nur den ersten Teil der Planung. Shopify Umsätze folgen oft einem deutlichen Wochenmuster. Newsletter, Zahltage, Kampagnen und Wochenenden verändern den Besuchermix und das Kaufverhalten.

Nutze für die erste Laufzeitberechnung diese einfache Formel:

Laufzeit in Tagen = benötigte Besucherzahl / qualifizierte Besucher pro Tag

Als qualifiziert zählen nur Besucher, die am Test teilnehmen können. Ein Produktseitentest sollte zum Beispiel nicht mit dem gesamten Shop Traffic rechnen. Relevant sind die Besucher, die tatsächlich eine betroffene Produktseite öffnen und technisch einer Variante zugeordnet werden.

Runde das Ergebnis anschließend auf vollständige Wochen auf. Dadurch enthält jede Variante vergleichbare Wochentage. Ein Test mit 16 Tagen kann sonst zwei Samstage, aber nur einen Sonntag enthalten. Bei ausgeprägten Tagesmustern verschiebt das den gemessenen ARPU.

Diese Zeitpuffer gehören in den Plan

  • Mindestens ein vollständiger Geschäftszyklus, meistens sieben Tage.
  • Zusätzliche Wochenzyklen, wenn der Shop an einzelnen Tagen stark schwankt.
  • Ein Puffer für geringeren Traffic als erwartet.
  • Zeit für die abschließende Datenprüfung und Auswertung.
  • Ein klarer Abstand zu großen Aktionen, Theme Releases oder Sortimentswechseln.

Der Testplan sollte sowohl eine Mindeststichprobe als auch eine Mindestdauer nennen. Ich beende den Test erst, wenn er beide Bedingungen erfüllt.

Mini Case: Laufzeit für einen Shopify Test berechnen

Ein Shop möchte eine neue Darstellung der Produktvorteile testen. Das Experiment erreicht voraussichtlich 120.000 qualifizierte Besucher pro Monat. Historische Daten zeigen einen durchschnittlichen ARPU von 2,80 EUR.

Wir legen einen relativen Effekt von 5 Prozent als kleinsten wirtschaftlich relevanten Unterschied fest. Das entspricht einem Zielwert von 2,94 EUR. Die Berechnung mit der historischen ARPU Varianz, 5 Prozent Signifikanzniveau und 80 Prozent Power ergibt eine benötigte Stichprobe von insgesamt 96.000 Besuchern.

  1. Der Shop erreicht rund 4.000 qualifizierte Besucher pro Tag.
  2. Die Traffic Allocation verteilt jeweils 50 Prozent auf Kontrolle und Variante.
  3. 96.000 geteilt durch 4.000 ergeben 24 Tage.
  4. Ich runde die Laufzeit auf vier vollständige Wochen auf.
  5. Der geplante Auswertungszeitpunkt liegt damit nach 28 Tagen.

Jede Gruppe sammelt in diesem Zeitraum voraussichtlich 56.000 Besucher. Damit liegt der Test oberhalb der geforderten Stichprobe. Gleichzeitig deckt er vier vollständige Wochenzyklen ab.

Die Differenz zwischen 2,80 EUR und 2,94 EUR dient in diesem Beispiel als Planungsschwelle. Sie ist keine Prognose für das tatsächliche Ergebnis. Erst die Auswertung zeigt, ob die Variante ein nachgewiesener Gewinner ist.

Eine unnötige Verlängerung auf sechs Wochen würde zwei zusätzliche Wochen blockieren. Bei durchgehend verfügbaren Testslots sinkt die theoretische Jahreskapazität dadurch von etwa 13 vierwöchigen Tests auf rund 9 sechswöchige Tests. Das zeigt, warum die Laufzeit direkten Einfluss auf den Output eines Testing Programms hat.

Warum tägliches Prüfen die Entscheidung verzerrt

Viele Teams öffnen das Dashboard täglich und beenden den Test, sobald ein statistisch positives Ergebnis erscheint. Diese Vorgehensweise erhöht bei klassischen frequentistischen Tests das Risiko eines Fehlalarms. Zufällige Schwankungen können an einzelnen Tagen wie ein stabiler Effekt aussehen.

Lege den Auswertungszeitpunkt deshalb vor dem Start fest. Während der Laufzeit prüfe ich nur die technische Qualität. Dazu gehören die Zuweisung der Varianten, Event Ausfälle, ungewöhnliche Traffic Quellen und deutliche Verteilungsfehler. Ich nutze Zwischenstände nicht für eine vorgezogene Gewinnerentscheidung.

Wenn dein Team bewusst flexible Stoppregeln benötigt, solltest du ein dafür geeignetes statistisches Verfahren einsetzen. Mein Beitrag zu Sequential Testing im A/B-Test erklärt, wie geplante Zwischenanalysen funktionieren.

Wann du einen laufenden Test verlängern oder abbrechen solltest

Eine Verlängerung ergibt Sinn, wenn der Test die geplante Stichprobe wegen niedrigerem Traffic noch nicht erreicht hat. Prüfe dabei keine Effektrichtung. Verlängere stattdessen nach einer vorher festgelegten Regel, zum Beispiel bis zum Ende der nächsten vollständigen Woche.

Technische Fehler können einen Abbruch rechtfertigen. Dazu zählen eine fehlerhafte Variantenzuweisung, fehlende Bestellungen im Tracking oder eine Variante, die zentrale Shop Funktionen beschädigt. Ich dokumentiere den Grund und starte nach der Korrektur einen neuen Test. Fehlerhafte Daten lassen sich durch zusätzliche Laufzeit nicht reparieren.

Auch ein ungeplanter Kampagnenwechsel kann die Interpretation erschweren. Eine große Rabattaktion verändert Besuchermix, Kaufmotivation und Warenkorb. In diesem Fall entscheide ich anhand des vorab definierten Scopes, ob die Aktionsphase zum Experiment gehört. Ich entferne einzelne Tage nicht nachträglich, nur weil das Ergebnis ungünstig aussieht.

Für vollständig auswertbare Tests braucht es damit mehr als ausreichend Traffic. Du brauchst stabile Technik, klare Entscheidungsregeln und direkte Verantwortung für die Auswertung. Beim Managed A/B-Testing plane, baue und betreibe ich diesen Prozess für Shopify D2C Brands.

Häufige Fragen

Wie lange sollte ein Shopify A/B-Test mindestens laufen?

Der Test sollte mindestens einen vollständigen Geschäftszyklus und die geplante Stichprobe abdecken. Für viele Shops bedeutet das mindestens zwei vollständige Wochen. Starke Wochenschwankungen oder kleinere Effekte erfordern häufig mehr Zeit.

Kann ich einen Test beenden, sobald er signifikant ist?

Bei einem klassischen Test mit festem Auswertungszeitpunkt solltest du das nicht tun. Warte bis zur vorab geplanten Stichprobe und Mindestdauer. Für frühere Entscheidungen brauchst du ein Verfahren mit kontrollierten Zwischenanalysen.

Sollte ein Test immer an einem Montag starten?

Ein Start am Montag erleichtert die Planung vollständiger Wochen. Entscheidend bleibt jedoch, dass Kontrolle und Variante gleichzeitig laufen und dieselben Wochentage abdecken. Ein Start an einem anderen Tag funktioniert ebenfalls, wenn du das Enddatum passend setzt.

Was passiert, wenn der Traffic während des Tests sinkt?

Prüfe zunächst, ob ein Trackingfehler oder eine Kampagnenänderung den Rückgang verursacht. Bei einem normalen Rückgang verlängerst du den Test bis zur geplanten Stichprobe. Lege diese Regel bereits vor dem Start fest.

Darf ein A/B-Test über Black Friday laufen?

Das hängt von der Hypothese ab. Ein Test für reguläres Kaufverhalten sollte nicht ungeplant eine außergewöhnliche Rabattphase überqueren. Ein gezielter Aktionstest darf diese Phase einschließen, wenn du Zielgruppe, Zeitraum und Entscheidungsregel vorher definierst.

Du willst in deinem Shop testen statt raten? Wenn du eine D2C-Brand ab 200.000 EUR Monatsumsatz führst, zeige ich dir in einem kostenlosen Testing-Audit in 30 Minuten, wo dein größter Hebel liegt. Termin buchen. Wenn du noch nicht so weit bist, starte mit meinen kostenlosen Frameworks und Checklisten.

Nicolai Clöß

Nicolai Clöß

Founder von Socivolve. Übernimmt das A/B-Testing von Shopify-D2C-Brands vollständig, von der ersten Beobachtung bis zum dauerhaft ausgerollten Gewinner. Trier.

Bevor du den nächsten Artikel liest:

Mein A/B-Test-Playbook fasst zusammen, was hier über viele Artikel verteilt steht: Testaufbau, Stichprobenberechnung, Auswertungsregeln und mein Priorisierungs-Framework. Kostenlos, kein Newsletter-Zwang.

Playbook laden (PDF)

Weiterlesen