CUPED im A/B-Test: Shopify Tests schneller auswerten

Lange Testlaufzeiten blockieren Testslots und verzögern den nächsten Rollout. CUPED im A/B-Test kann die benötigte Stichprobe senken, wenn sich das frühere Verhalten eines Besuchers gut für seinen späteren Umsatz pro Besucher (ARPU) eignet. Die Methode erzeugt keinen zusätzlichen Effekt. Sie entfernt einen Teil des statistischen Rauschens und macht vorhandene Effekte präziser messbar.

CUPED im A/B-Test senkt die benötigte Stichprobe

CUPED steht für Controlled Experiments Using Pre Experiment Data. Die Methode ergänzt die eigentliche Zielmetrik um Informationen, die bereits vor dem Experiment feststanden. Bei einem Shopify Shop kann das zum Beispiel der historische Umsatz eines wiederkehrenden Besuchers sein.

Besucher unterscheiden sich stark. Manche bestellen regelmäßig und geben hohe Beträge aus. Andere kommen zum ersten Mal über eine Anzeige und kaufen nichts. Diese Unterschiede erhöhen die Varianz des ARPU. Eine hohe Varianz verlangt mehr Besucher, bevor ein Test einen kleinen Effekt zuverlässig erkennt.

CUPED modelliert den erwartbaren Teil dieser Unterschiede anhand der Vorperiode. Anschließend vergleicht die Analyse Kontrollgruppe und Variante mit einer bereinigten Zielmetrik. Je stärker die Vorperiodenmetrik mit dem ARPU während des Tests korreliert, desto größer fällt die mögliche Varianzreduktion aus.

Das ist besonders relevant, wenn Dein Shop viel wiederkehrenden Traffic hat oder wenn einzelne Bestellungen den ARPU stark bewegen. Wie viele Besucher Du ohne diese Anpassung brauchst, beschreibe ich im Beitrag zur A/B-Test Laufzeit.

So bereinigt CUPED die Zielmetrik

Für jeden Besucher erfasst Du zwei Werte. X beschreibt eine Metrik aus der Vorperiode. Y beschreibt die Zielmetrik während des Tests. Beide Werte müssen auf derselben Analyseeinheit basieren, meistens auf dem Besucher.

Die bereinigte Metrik lautet vereinfacht:

Y bereinigt = Y minus Theta mal (X minus Mittelwert von X)

Theta ergibt sich aus dem Zusammenhang zwischen X und Y. Besucher mit ungewöhnlich hohem historischem Wert erhalten dadurch eine Korrektur nach unten. Besucher mit ungewöhnlich niedrigem historischem Wert erhalten eine Korrektur nach oben. Da die Randomisierung beide Gruppen vergleichbar verteilt, bleibt der geschätzte Testeffekt erhalten.

Bei einer Korrelation von 0,60 zwischen Vorperiode und Testperiode sinkt die Varianz theoretisch um 36 Prozent. Die vereinfachte Rechnung lautet:

Varianzreduktion = Korrelation zum Quadrat
0,60 mal 0,60 = 0,36

Eine passende Vorperiodenmetrik erfüllt drei Bedingungen:

• Sie entstand vollständig vor dem ersten Kontakt mit dem Experiment.
• Sie korreliert mit der Zielmetrik während des Tests.
• Die Testvariante kann sie nicht nachträglich beeinflussen.

Ein Warenkorbwert, den ein Besucher nach seiner Testzuordnung erzeugt, eignet sich deshalb nicht als CUPED Variable. Das Experiment könnte diesen Wert bereits verändert haben.

Mini Case: Von 100.000 auf 64.000 Besucher

Ein Shopify Shop plant einen Produktseitentest. Die Hauptmetrik ist ARPU. Die ursprüngliche Planung verlangt 100.000 vollständig auswertbare Besucher, um den definierten Mindesteffekt mit der gewünschten Teststärke zu erkennen.

Der Shop kann Besucher über einen stabilen Identifier mit den vergangenen 30 Tagen verbinden. Der historische ARPU und der ARPU im Testzeitraum erreichen in den Ausgangsdaten eine Korrelation von 0,60.

1. Das Quadrat der Korrelation beträgt 0,36.
2. CUPED kann damit rund 36 Prozent der Varianz erklären.
3. Die verbleibende Varianz beträgt 64 Prozent.
4. Die neue Stichprobe liegt näherungsweise bei 100.000 mal 0,64.
5. Der Test braucht damit rund 64.000 statt 100.000 Besucher.

Bei 8.000 geeigneten Besuchern pro Tag sinkt die rechnerische Dauer von 12,5 auf 8 Tage. Trotzdem stoppe ich den Test nicht automatisch am achten Tag. Vorab definierte Mindestlaufzeiten, vollständige Wochenzyklen und die gewählte statistische Entscheidungsregel gelten weiterhin. CUPED verkürzt die Stichprobenanforderung. Die Methode ersetzt keine saubere Laufzeitplanung.

Wenn die tatsächliche Korrelation nur 0,20 beträgt, sinkt die Varianz dagegen um lediglich 4 Prozent. Dann rechtfertigt der geringe Vorteil häufig keinen zusätzlichen technischen Aufwand.

CUPED für Shopify Schritt für Schritt umsetzen

1. Lege zuerst die Analyseeinheit fest. Für ARPU eignet sich meist der randomisierte Besucher. Sessions und Bestellungen dürfen nicht unkontrolliert zwischen Einheiten wechseln.
2. Definiere die Vorperiode vor dem Teststart. Häufig sind 14, 30 oder 60 Tage sinnvoll. Die passende Länge hängt vom Wiederkaufszyklus und vom Anteil identifizierbarer Besucher ab.
3. Wähle eine Variable, die mit der Hauptmetrik zusammenhängt. Für ARPU kommen historischer Umsatz, historische Bestellungen oder frühere Kaufabsichtssignale infrage.
4. Lege den Umgang mit neuen Besuchern fest. Du kannst den Mittelwert der Vorperiode einsetzen und zusätzlich kennzeichnen, dass kein historischer Wert vorlag. Diese Regel muss für Kontrollgruppe und Variante identisch gelten.
5. Prüfe Identität und Zuordnung. Ein Besucher darf während des Experiments nicht zwischen Varianten wechseln. Das gilt über Geräte und Sessions hinweg, soweit Dein Setup diese Verknüpfung unterstützt.
6. Berechne Theta mit den zusammengeführten Daten beider Varianten. Danach vergleichst Du den durchschnittlichen bereinigten ARPU zwischen den Gruppen.
7. Dokumentiere Rohwert, bereinigten Wert, Korrelation und Varianzreduktion. So bleibt nachvollziehbar, warum sich Konfidenzintervall und benötigte Stichprobe verändert haben.

Shopify Reports allein reichen für diese Analyse oft nicht aus. Du brauchst eine stabile Experimentzuordnung, Besucherkennungen und Daten aus der Vorperiode. Mein Beitrag zum A/B-Test Tracking zeigt, wie Du Käufe der ursprünglichen Variante korrekt zuordnest.

In einem strukturierten Testing Programm definiere ich diese Logik vor dem Start. Dadurch kann ich vollständig auswertbare Tests liefern und verhindere, dass eine nachträgliche Methodenwahl das Ergebnis beeinflusst.

Wo CUPED scheitert oder wenig bringt

CUPED braucht relevante und saubere Vorperiodendaten. Bei überwiegend neuen Besuchern fehlt häufig die nötige Verbindung zur Vergangenheit. Eine schwache Korrelation senkt den Nutzen zusätzlich.

Auch eine unzuverlässige Besucherkennung kann das Ergebnis verschlechtern. Wenn mehrere Personen denselben Identifier teilen oder ein Besucher auf jedem Gerät neu erscheint, ordnest Du historische Werte falsch zu. Vor einem produktiven Einsatz prüfe ich deshalb Tracking, Randomisierung und Datenabdeckung. Ein A/A-Test im A/B-Testing deckt viele dieser Probleme auf.

CUPED löst außerdem keine Fehler in der Testplanung. Die Methode korrigiert weder Peeking noch ungeplante Segmentanalysen oder eine fehlerhafte Traffic Verteilung. Guardrails, Ausschlussregeln und Entscheidungsgrenzen bleiben bestehen.

Ich verwende CUPED deshalb gezielt. Bei hohem Testvolumen, stabiler Identität und korrelierten Vorperiodendaten kann die Methode den Durchsatz deutlich verbessern. Bei geringer Datenqualität ist ein einfacheres Modell belastbarer. Für Shopify A/B-Testing zählt am Ende ein reproduzierbarer Prozess, der einen nachgewiesenen Gewinner von statistischem Rauschen trennt.

Häufige Fragen

Erzeugt CUPED einen höheren Testeffekt?

Nein. CUPED verändert den zugrunde liegenden Unterschied zwischen Kontrollgruppe und Variante nicht. Die Methode reduziert die Unsicherheit rund um diesen Unterschied.

Kann ich CUPED nach dem Test auswählen?

Eine nachträgliche Analyse eignet sich zur Exploration. Für die eigentliche Entscheidung solltest Du Variable, Vorperiode und Berechnung vor dem Start festlegen. So verhinderst Du, dass das beobachtete Ergebnis die Methodenwahl beeinflusst.

Funktioniert CUPED auch für die Conversion Rate?

Ja, Du kannst auch eine binäre Kaufmetrik mit Vorperiodendaten bereinigen. Der praktische Gewinn hängt erneut von der Korrelation ab. Bei seltenen Käufen kann historischer Umsatz aussagekräftiger sein als eine frühere binäre Conversion.

Was passiert mit neuen Besuchern ohne Historie?

Du brauchst eine vorab definierte Regel für fehlende Werte. Häufig setzt die Analyse den Mittelwert ein und ergänzt einen Indikator für fehlende Historie. Neue Besucher liefern dann wenig zusätzliche Präzision, bleiben aber Teil des Tests.

Ersetzt CUPED eine größere Stichprobe?

CUPED kann die benötigte Stichprobe reduzieren, aber nicht beliebig ersetzen. Bei schwacher Korrelation bleibt der Effekt klein. Mindestlaufzeit, Teststärke und vorab festgelegter Mindesteffekt gelten weiterhin.

Du willst in deinem Shop testen statt raten? Wenn du eine D2C-Brand ab 200.000 EUR Monatsumsatz führst, zeige ich dir in einem kostenlosen Testing-Audit in 30 Minuten, wo dein größter Hebel liegt. Termin buchen. Wenn du noch nicht so weit bist, starte mit meinen kostenlosen Frameworks und Checklisten.