Poweranalyse im A/B-Test: Stichprobe wirtschaftlich planen
Eine Poweranalyse im A/B-Test zeigt dir vor dem Start, ob dein Shopify Shop genug Traffic für eine belastbare Entscheidung hat. Ohne diese Rechnung laufen Tests häufig zu kurz, suchen nach unrealistisch kleinen Effekten oder blockieren einen Testslot länger als wirtschaftlich sinnvoll. Das Ergebnis sind breite Unsicherheitsbereiche und offene Fragen beim Rollout. Mit einer geplanten Stichprobe kannst du dagegen vollständig auswertbare Tests aufsetzen und deine Testkapazität gezielt einsetzen.
Poweranalyse im A/B-Test beginnt mit der wirtschaftlichen Schwelle
Die wichtigste Zahl ist nicht die erwartete Verbesserung. Entscheidend ist der kleinste Effekt, der eine Änderung wirtschaftlich rechtfertigt. Statistiker nennen diese Grenze den minimal erkennbaren Effekt, häufig als MDE abgekürzt.
Angenommen, dein aktueller Umsatz pro Besucher (ARPU) liegt bei 2,50 EUR. Eine Steigerung um 0,03 EUR klingt positiv. Sie kann für deinen Shop trotzdem zu klein sein, wenn Entwicklung, Qualitätssicherung und Pflege der Änderung mehr Ressourcen binden als der Effekt rechtfertigt. Eine Schwelle von 0,25 EUR kann dagegen relevant genug sein, um einen dauerhaften Rollout zu prüfen.
Lege den MDE deshalb anhand deiner wirtschaftlichen Entscheidung fest. Berücksichtige erwarteten Umsatz, Retouren, variable Kosten, Entwicklungsaufwand und die Opportunitätskosten des belegten Testslots. Die prozentuale Darstellung hilft bei der Kommunikation. Für die Berechnung brauchst du jedoch den absoluten Unterschied in der Primärmetrik.
Warum ARPU für viele Shopify Tests besser passt als die Conversion Rate, erkläre ich ausführlich im Beitrag zur A/B-Test Primärmetrik.
Diese vier Angaben bestimmen die nötige Stichprobe
Eine Poweranalyse verbindet vier Annahmen. Jede davon beeinflusst, wie viele Besucher du pro Variante brauchst.
- Der Ausgangswert beschreibt das aktuelle Niveau deiner Primärmetrik.
- Der MDE legt fest, welchen kleinsten Unterschied der Test zuverlässig erkennen soll.
- Das Signifikanzniveau begrenzt das Risiko eines Fehlalarms. Viele Teams verwenden fünf Prozent für einen zweiseitigen Test.
- Die statistische Power beschreibt die Chance, einen tatsächlich vorhandenen Effekt in Höhe des MDE zu erkennen. Ein verbreiteter Planungswert liegt bei 80 Prozent.
Für kontinuierliche Metriken wie ARPU brauchst du zusätzlich die Standardabweichung. Sie beschreibt, wie stark die Besucherwerte streuen. Da viele Besucher nichts kaufen und einzelne Bestellungen hohe Warenkörbe enthalten, streut ARPU meist deutlich stärker als sein Mittelwert vermuten lässt.
Du solltest die Standardabweichung aus historischen Daten auf Besucherebene bestimmen. Nutze dafür genau die Zielgruppe, die später am Experiment teilnimmt. Ein Test auf Produktseiten braucht beispielsweise Daten von Besuchern dieser Produktseiten und nicht von sämtlichen Shop Sessions.
Mini Case: Stichprobe für einen ARPU Test berechnen
Eine Shopify Brand möchte eine neue Darstellung ihres Bundles testen. Die Änderung betrifft 75.000 berechtigte Besucher pro Monat. Historische Daten zeigen einen ARPU von 2,50 EUR und eine Standardabweichung von 8,00 EUR.
Wir legen gemeinsam einen MDE von 0,25 EUR fest. Das entspricht zehn Prozent des bisherigen ARPU. Die Planung verwendet ein zweiseitiges Signifikanzniveau von fünf Prozent und eine Power von 80 Prozent.
Für eine angenäherte Berechnung mit zwei gleich großen Varianten gilt:
Besucher pro Variante = 2 × (1,96 + 0,84)² × Standardabweichung² ÷ MDE²Mit den Werten aus dem Beispiel ergibt sich:
2 × 7,84 × 8² ÷ 0,25² = 16.056 Besucher pro VarianteDer Test braucht damit rund 32.112 berechtigte Besucher. Bei durchschnittlich 2.500 berechtigten Besuchern pro Tag entspricht das knapp 13 Tagen. Ich plane zusätzlich zehn Prozent Reserve für Trackingausfälle, Ausschlüsse und Traffic Schwankungen ein. Dafür muss der Shop rund 35.680 Besucher sammeln.
Weil 14 Tage die Reserve nur knapp abdecken, würde ich für die operative Planung bis zu 21 Tage vorsehen. Der Test endet trotzdem erst, wenn er die geplante Stichprobe erreicht und die vorab festgelegten Qualitätsprüfungen besteht.
Der wirtschaftliche Kontext erklärt die gewählte Schwelle. Falls der tatsächliche Effekt 0,25 EUR beträgt und nach einem Rollout für alle 75.000 monatlichen Besucher gilt, entspricht das 18.750 EUR zusätzlichem Bruttoumsatz pro Monat. Diese Rechnung ist keine Prognose. Sie zeigt, welche Größenordnung der Test erkennen soll.
ARPU Streuung realistisch vorbereiten
Eine ungenaue Standardabweichung macht auch eine sauber gerechnete Poweranalyse unzuverlässig. Besonders einzelne Großbestellungen können die historische Streuung stark erhöhen. Entfernst du solche Bestellungen nachträglich und ohne feste Regel, veränderst du das Ergebnis zugunsten einer kleineren Stichprobe.
Definiere deshalb vor dem Test, wie du Stornos, Retouren, Großbestellungen und interne Bestellungen behandelst. Wenn du extreme Werte begrenzen möchtest, dokumentiere die Grenze vorab. Mein Beitrag zur Winsorisierung im A/B-Test zeigt, wie du ARPU robuster auswertest, ohne unliebsame Daten nachträglich auszusortieren.
Varianzreduktion kann den Stichprobenbedarf senken. CUPED nutzt Informationen aus der Zeit vor dem Experiment, sofern diese Informationen mit der Zielmetrik zusammenhängen. Schätze den erwarteten Effekt konservativ mit historischen Daten und ändere die Methode nicht während des Tests. Eine Einführung findest du im Beitrag zu CUPED im A/B-Test.
So wird aus der Rechnung ein ausführbarer Testplan
Die berechnete Stichprobe allein reicht nicht. Ich überführe sie in einen Plan, der Traffic, Technik und Geschäftszyklen berücksichtigt.
- Ich definiere die berechtigte Zielgruppe und prüfe ihren tatsächlichen Traffic.
- Wir legen Primärmetrik, MDE, Signifikanzniveau und Power fest.
- Ich berechne die Stichprobe mit historischen Daten auf der richtigen Einheit.
- Ich ergänze eine Reserve für Ausschlüsse, Consent Verluste und technische Ausfälle.
- Ich prüfe, ob der Test mindestens vollständige Wochentage und relevante Kampagnenphasen abdeckt.
- Ich dokumentiere Stoppregel, Qualitätsprüfungen und Entscheidungskriterien vor dem Start.
Bei Managed A/B-Testing übernehme ich die direkte Verantwortung für Planung, technische Umsetzung und Auswertung. Der Kunde gibt Zielmetrik und wirtschaftliche Schwelle frei und sieht den laufenden Test im Dashboard. So verbindet der Prozess statistische Anforderungen mit einer klaren Geschäftsentscheidung.
Diese Planungsfehler verzerren die Entscheidung
Ein zu kleiner MDE lässt die benötigte Stichprobe stark wachsen. Halbierst du bei gleichbleibender Streuung den MDE, vervierfacht sich die ungefähre Stichprobe. Kleine Effekte brauchen deshalb überproportional viel Traffic.
Auch eine Poweranalyse auf Basis der Conversion Rate hilft wenig, wenn du später ARPU als Primärmetrik auswertest. Beide Metriken haben andere Verteilungen und benötigen unterschiedliche Annahmen. Plane und analysiere immer dieselbe Primärmetrik.
Vermeide außerdem eine nachträgliche Powerberechnung mit dem beobachteten Testergebnis. Sie liefert kaum zusätzliche Information und verleitet zu falscher Sicherheit. Das Konfidenzintervall zeigt dir nach dem Test direkt, welche positiven und negativen Effekte noch mit den Daten vereinbar sind.
Schließlich ersetzt die geplante Stichprobe keine Datenkontrolle. Ein Sample Ratio Mismatch, fehlerhaftes Exposure Tracking oder wechselnde Variantenzuordnungen kann auch einen ausreichend großen Test unbrauchbar machen. Ein strukturiertes Testing Programm verbindet deshalb Powerplanung, Qualitätssicherung und dokumentierte Entscheidungen.
Häufige Fragen
Welche Power sollte ein A/B-Test haben?
80 Prozent sind ein verbreiteter Ausgangspunkt. Bei besonders riskanten Rollout Entscheidungen kann eine höhere Power sinnvoll sein, sie verlangt jedoch mehr Besucher. Lege den Wert vor dem Test fest.
Kann ich die Stichprobe mit der Conversion Rate berechnen?
Ja, wenn die Conversion Rate deine vorab definierte Primärmetrik ist. Wenn du anhand von ARPU entscheiden möchtest, musst du die Verteilung des Besucherumsatzes für die Planung verwenden.
Was mache ich, wenn mein Shop zu wenig Traffic hat?
Du kannst einen größeren MDE wählen, stärkere Änderungen testen oder die berechtigte Zielgruppe erweitern. Du solltest jedoch keine unpassenden Seiten oder Länder zusammenfassen, wenn du dort unterschiedliche Effekte erwartest.
Muss ein Test nach der berechneten Laufzeit enden?
Nein. Die Laufzeit ist eine Schätzung auf Basis des erwarteten Traffics. Maßgeblich bleiben die erreichte Stichprobe, die festgelegte Stoppregel und bestandene Qualitätsprüfungen.
Garantiert eine Poweranalyse einen nachgewiesenen Gewinner?
Nein. Sie sorgt dafür, dass der Test einen relevanten Effekt mit der geplanten Wahrscheinlichkeit erkennen kann. Die Variante kann trotzdem neutral oder schlechter abschneiden.
Du willst in deinem Shop testen statt raten? Wenn du eine D2C-Brand ab 200.000 EUR Monatsumsatz führst, zeige ich dir in einem kostenlosen Testing-Audit in 30 Minuten, wo dein größter Hebel liegt. Termin buchen. Wenn du noch nicht so weit bist, starte mit meinen kostenlosen Frameworks und Checklisten.
