Zum Inhalt springen
· 6 Min. Lesezeit

CUPED im A/B-Test: Shopify Tests effizienter auswerten

CUPED im A/B-Test kann die benötigte Stichprobe deutlich senken. Dadurch bekommst Du mit demselben Traffic mehr vollständig auswertbare Tests pro Quartal. Der Ansatz nutzt Daten aus der Zeit vor dem Experiment, um zufällige Unterschiede zwischen Kontrollgruppe und Variante rechnerisch zu reduzieren. Für Shopify Shops funktioniert das besonders gut, wenn viele Besucher wiederkehren und Du ihren früheren Umsatz zuverlässig zuordnen kannst.

CUPED im A/B-Test reduziert zufällige Schwankungen

CUPED steht für Controlled Experiments Using Pre Experiment Data. Das Verfahren ergänzt die eigentliche Zielmetrik um Informationen, die bereits vor dem Test vorlagen. Bei einem Test mit Umsatz pro Besucher (ARPU) kann das zum Beispiel der Umsatz desselben Besuchers während der vorherigen 28 Tage sein.

Besucher unterscheiden sich stark in ihrer Kaufwahrscheinlichkeit. Einige Stammkunden bestellen regelmäßig. Andere Besucher sehen den Shop zum ersten Mal. Eine zufällige Verteilung gleicht diese Unterschiede im Mittel aus. Bei begrenzten Stichproben bleiben trotzdem zufällige Abweichungen zwischen den Varianten zurück.

CUPED korrigiert einen Teil dieser Abweichungen. Die grundsätzliche Berechnung sieht so aus:

Bereinigter ARPU = ARPU im Test
                  minus Theta mal früherer Umsatz minus Mittelwert

Die Software bestimmt Theta anhand des Zusammenhangs zwischen dem früheren Umsatz und dem Umsatz während des Tests. Je stärker beide Werte zusammenhängen, desto mehr Varianz kann CUPED entfernen.

CUPED verändert dabei nicht den beobachteten durchschnittlichen Effekt. Das Verfahren erhöht die Präzision der Schätzung. Du kannst dadurch kleinere Unterschiede erkennen, ohne automatisch mehr Besucher in den Test zu schicken.

Wann sich CUPED für einen Shopify Shop lohnt

Der größte wirtschaftliche Nutzen entsteht bei Shops mit hohem Anteil wiederkehrender Besucher. Wenn der Shop viele Bestandskunden hat, sagt ihr bisheriges Verhalten häufig etwas über zukünftige Bestellungen aus. CUPED kann diese Information nutzen.

Prüfe vor der Implementierung vier Voraussetzungen:

  • Du kannst Besucher über den Testzeitraum und die vorherige Messperiode konsistent identifizieren.
  • Die ausgewählte Information entstand vollständig vor dem ersten möglichen Kontakt mit dem Experiment.
  • Die historische Kennzahl korreliert mit der Primärmetrik des Tests.
  • Du kannst die Kennzahl für Kontrollgruppe und Variante nach derselben Regel berechnen.

Ein Shop mit vielen einmaligen Besuchern profitiert meist weniger. Das gilt ebenfalls, wenn Consent Entscheidungen, gelöschte Cookies oder häufige Gerätewechsel die Besucherhistorie stark fragmentieren. CUPED ersetzt deshalb kein sauberes Exposure Tracking. Die Zuordnung zum Experiment und die historische Zuordnung müssen beide stimmen.

Du solltest auch nicht ausschließlich Besucher mit verfügbarer Historie analysieren. Damit würdest Du die Zielgruppe des Tests nachträglich verändern. Stattdessen kannst Du neuen Besuchern einen definierten Ausgangswert geben und zusätzlich erfassen, ob historische Daten vorhanden sind.

Mini Case: Von 25 auf 21 Testtage

Ein Shopify Shop möchte eine neue Darstellung von Produktsets testen. Pro Tag erreichen 8.000 qualifizierte Besucher die relevanten Produktseiten. Der bisherige ARPU liegt bei 2,50 EUR. Das Team möchte einen Unterschied von 0,10 EUR zuverlässig erkennen.

Die Planung ohne CUPED ergibt einen Bedarf von 100.000 Besuchern pro Variante. Bei einer gleichmäßigen Verteilung braucht der Test insgesamt 200.000 Besucher. Mit 8.000 Besuchern pro Tag erreicht er diese Stichprobe nach 25 Tagen.

Für jeden identifizierten Besucher liegt außerdem der Umsatz aus den 28 Tagen vor Testbeginn vor. Die Korrelation zwischen diesem Wert und dem ARPU im Test beträgt 0,55. Unter idealen Bedingungen ergibt sich folgender Varianzfaktor:

1 minus 0,55² = 0,6975

Die verbleibende Varianz liegt damit bei rund 70 Prozent. Als vereinfachte Planung sinkt der Stichprobenbedarf ebenfalls auf ungefähr 70 Prozent:

100.000 mal 0,6975 = 69.750 Besucher pro Variante

Rechnerisch erreicht der Test diese Stichprobe nach rund 18 Tagen. Der Shop hat vorab festgelegt, nur nach vollständigen Wochen zu entscheiden. Deshalb läuft der Test 21 Tage. CUPED spart in diesem Beispiel vier Kalendertage gegenüber der ursprünglichen Planung.

Die Rechnung dient als Planungsbeispiel. Die tatsächliche Reduktion hängt von Deiner Datenqualität, der Korrelation und dem statistischen Modell ab. Wenn Du den kleinsten relevanten Effekt zuerst bestimmen willst, hilft Dir mein Beitrag zum Minimum Detectable Effect.

CUPED Schritt für Schritt implementieren

  1. Lege die Primärmetrik fest. Für umsatznahe Shopify Tests nutze ich häufig ARPU. Bestimme außerdem Guardrails wie Conversion Rate, durchschnittlichen Bestellwert und technische Fehlerraten.
  2. Definiere die historische Periode. Nutze zum Beispiel die 28 Tage direkt vor dem Test. Die Periode darf keine Aktivität nach dem ersten Testkontakt enthalten.
  3. Wähle eine passende Kovariate. Starte mit dem früheren Umsatz pro Besucher. Alternativ kannst Du frühere Bestellungen oder Produktansichten prüfen. Die Kennzahl sollte einen klaren Zusammenhang mit der Primärmetrik haben.
  4. Prüfe die Identität. Dokumentiere, ob Du Browser, Login IDs oder eine andere Einheit nutzt. Die Einheit muss zur Randomisierung und zur Auswertung passen.
  5. Simuliere die Varianzreduktion. Nutze historische Daten oder vergangene Tests. Vergleiche die Varianz des normalen ARPU mit der Varianz des bereinigten ARPU.
  6. Lege die Methode vor dem Start fest. Dokumentiere Kovariate, Zeitraum, Umgang mit fehlenden Werten und Entscheidungsregel. So verhinderst Du, dass die Analyse nach dem Ergebnis optimiert wird.
  7. Berichte beide Ergebnisse. Zeige den normalen Effekt und die CUPED Schätzung mit Konfidenzintervall. Abweichungen zwischen beiden Ergebnissen können auf Datenprobleme oder eine instabile Bereinigung hinweisen.

Wenn Dein Team während des Tests Entscheidungen treffen möchte, brauchst Du zusätzlich eine passende Stoppregel. CUPED allein erlaubt kein beliebiges tägliches Prüfen. Dafür eignet sich ein vorab geplantes Sequential Testing.

Typische Fehler bei CUPED

Der kritischste Fehler ist eine Kovariate, die das Experiment bereits beeinflusst hat. Warenkorbaufrufe, Sitzungsdauer oder Bestellungen während des Tests gehören nicht in die Vorperiodenbereinigung. Die Variante kann diese Werte verändern und dadurch die Effektschätzung verzerren.

Ein weiterer Fehler entsteht durch wechselnde Definitionen. Wenn Du für einige Besucher 28 Tage Historie und für andere 90 Tage nutzt, misst die Kovariate unterschiedliche Dinge. Definiere deshalb ein festes Fenster und klare Regeln für fehlende Daten.

Auch eine starke Korrelation beweist noch keine gute Implementierung. Prüfe vor jeder Entscheidung die Verteilung der Varianten, die Zahl identifizierter Besucher und ungewöhnliche Extremwerte. CUPED kann fehlerhafte Daten präzise erscheinen lassen, wenn der zugrunde liegende Datensatz falsch ist.

Ich setze CUPED deshalb erst ein, nachdem Randomisierung, Persistenz und Umsatztracking stabil laufen. Im Shopify A/B-Testing zählt zuerst ein belastbarer Messprozess. Die Varianzreduktion optimiert diesen Prozess anschließend.

CUPED in einem laufenden Testing Programm

CUPED lohnt sich vor allem bei einem regelmäßigen Testprogramm. Der einmalige technische und analytische Aufwand verteilt sich dann über viele Experimente. Du kannst die gleiche definierte Besucherhistorie für mehrere Tests nutzen, solange Datenmodell und Zielmetrik unverändert bleiben.

Ich prüfe bei der Planung zunächst, wie viel Varianz historische Daten tatsächlich erklären. Danach entscheide ich, ob CUPED genug zusätzliche Testkapazität schafft. Bei Managed A/B-Testing übernehme ich die direkte Verantwortung für Planung, Implementierung und Auswertung. Wir legen gemeinsam fest, welche Effekte für den Shop wirtschaftlich relevant sind.

Ein nachgewiesener Gewinner braucht trotz CUPED einen sauberen Rollout. Die Methode macht eine Schätzung präziser. Sie ersetzt keine technische Qualitätssicherung und keine Prüfung der Guardrails.

Häufige Fragen

Verkürzt CUPED jeden A/B-Test?

Nein. CUPED hilft nur, wenn die historische Kennzahl ausreichend mit der Zielmetrik korreliert. Bei überwiegend neuen oder nicht identifizierbaren Besuchern kann der Effekt gering ausfallen.

Kann ich CUPED nach Testende ergänzen?

Technisch kannst Du die Berechnung nachholen. Für eine belastbare Entscheidung solltest Du Kovariate, Zeitraum und Auswertungsregel jedoch vor dem Test festlegen. Sonst steigt der Spielraum für eine ergebnisabhängige Analyse.

Funktioniert CUPED mit der Conversion Rate?

Ja, Du kannst CUPED auch für binäre Zielgrößen einsetzen. Bei Shopify Tests liefert ARPU häufig die wirtschaftlich relevantere Perspektive, weil die Kennzahl Bestellwahrscheinlichkeit und Bestellwert zusammenführt.

Brauche ich eingeloggte Kunden für CUPED?

Nein, ein stabiler Browser Identifier kann ausreichen. Logins verbessern die Wiedererkennung über Geräte hinweg, stehen aber oft nur für einen Teil der Besucher zur Verfügung. Du solltest Identitätsquelle und Ausfallquote transparent dokumentieren.

Ersetzt CUPED eine größere Stichprobe?

CUPED reduziert unter passenden Bedingungen den erforderlichen Stichprobenumfang. Sehr kleine Effekte brauchen trotzdem viel Traffic. Lege deshalb weiterhin einen wirtschaftlich sinnvollen Mindestunterschied fest.

Du willst in deinem Shop testen statt raten? Wenn du eine D2C-Brand ab 200.000 EUR Monatsumsatz führst, zeige ich dir in einem kostenlosen Testing-Audit in 30 Minuten, wo dein größter Hebel liegt. Termin buchen. Wenn du noch nicht so weit bist, starte mit meinen kostenlosen Frameworks und Checklisten.

Nicolai Clöß

Nicolai Clöß

Founder von Socivolve. Übernimmt das A/B-Testing von Shopify-D2C-Brands vollständig, von der ersten Beobachtung bis zum dauerhaft ausgerollten Gewinner. Trier.

Bevor du den nächsten Artikel liest:

Mein A/B-Test-Playbook fasst zusammen, was hier über viele Artikel verteilt steht: Testaufbau, Stichprobenberechnung, Auswertungsregeln und mein Priorisierungs-Framework. Kostenlos, kein Newsletter-Zwang.

Playbook laden (PDF)

Weiterlesen