Minimal Detectable Effect: Shopify Tests wirtschaftlich planen

Mit einer passend gewählten Minimal Detectable Effect planst du Tests, die relevante Umsatzunterschiede mit vertretbarem Traffic erkennen können. Viele Shopify Teams setzen die erwartete Wirkung zu niedrig an. Der Test läuft dann acht oder zwölf Wochen und blockiert den nächsten Versuch. Andere wählen einen zu großen Effekt. Sie erhalten zwar schneller ein Ergebnis, übersehen aber kleinere Veränderungen, die wirtschaftlich relevant wären. Entscheidend ist deshalb eine MDE, die zu deinem Umsatz pro Besucher (ARPU), deinem Traffic und deiner Testfläche passt.

Minimal Detectable Effect verbindet Statistik und Umsatz

Die Minimal Detectable Effect, kurz MDE, beschreibt den kleinsten Unterschied zwischen Kontrolle und Variante, den dein Test mit der gewählten statistischen Sicherheit erkennen soll. Bei einem ARPU von 2,50 EUR entspricht eine relative MDE von 8 Prozent einem absoluten Unterschied von 0,20 EUR.

Die MDE sagt nicht voraus, welchen Effekt deine Variante tatsächlich erreicht. Sie definiert die Empfindlichkeit deines Tests. Fällt der echte Effekt kleiner aus, kann der Test trotz einer guten Variante ohne klares Ergebnis enden.

Du solltest relative und absolute Effekte sauber trennen:

• Eine relative Steigerung von 10 Prozent erhöht einen ARPU von 2,00 EUR auf 2,20 EUR.
• Eine absolute Steigerung um 10 Prozentpunkte betrifft Anteilsmetriken. Eine Conversion Rate könnte etwa von 3 auf 13 Prozent steigen.
• Bei ARPU rechnest du mit einem absoluten Geldbetrag und dem dazugehörigen relativen Unterschied.

Diese Trennung verhindert Missverständnisse im Testbriefing. Sie erleichtert außerdem die spätere A/B-Test Auswertung mit ARPU.

Welche Faktoren die notwendige Stichprobe bestimmen

Eine kleinere MDE verlangt deutlich mehr Besucher. Der Zusammenhang verläuft quadratisch. Wenn du die MDE halbierst, brauchst du unter sonst gleichen Bedingungen ungefähr viermal so viele Beobachtungen.

Für die Planung zählen fünf Eingaben:

1. Lege die Hauptmetrik fest. Für viele D2C Tests eignet sich ARPU, weil die Kennzahl Conversion Rate und Bestellwert gemeinsam abbildet.
2. Ermittle den Ausgangswert und die Streuung aus aktuellen Daten. Verwende dieselbe Zielgruppe, denselben Markt und dieselben Gerätetypen, die später am Test teilnehmen.
3. Definiere das Signifikanzniveau. In einem frequentistischen Test nutzt du häufig 5 Prozent als Fehlerrate für einen falsch positiven Gewinner.
4. Bestimme die statistische Power. 80 Prozent bilden einen verbreiteten Ausgangspunkt für die Planung.
5. Prüfe den tatsächlich teilnahmeberechtigten Traffic. Ein Produktseitentest erreicht weniger Besucher als ein Test an der globalen Navigation.

Auch die Verteilung des Traffics zählt. Eine gleichmäßige Aufteilung auf Kontrolle und eine Variante nutzt den Traffic meist effizient. Drei oder vier Varianten erhöhen den Bedarf. Bei mehreren Vergleichen musst du zusätzlich das Risiko falscher Gewinner berücksichtigen. Mein Beitrag über A/B-Test Mehrfachvergleiche zeigt die passenden Korrekturen.

So legst du eine wirtschaftlich sinnvolle MDE fest

Die beste MDE entsteht aus einer wirtschaftlichen Schwelle und einer realistischen Laufzeit. Ein reiner Statistikrechner kennt weder deinen Testkalender noch die Reichweite der betroffenen Seite.

1. Bestimme die kleinste relevante Veränderung

Frage zuerst, ab welchem ARPU Unterschied du einen Rollout ernsthaft erwägen würdest. Berücksichtige dabei Reichweite, technische Komplexität, mögliche Folgekosten und Guardrail Metriken. Eine minimale Veränderung kann auf einer stark besuchten Fläche relevant sein. Auf einer kleinen Kollektion rechtfertigt derselbe relative Effekt den Aufwand möglicherweise nicht.

2. Berechne die benötigte Stichprobe

Nutze historische ARPU Daten und ihre Standardabweichung. Ein einfacher Mittelwertvergleich liefert eine erste Näherung. Da Umsatzdaten oft stark schief verteilt sind, sollte dein Testing Tool oder eine Simulation die endgültige Planung übernehmen.

3. Übersetze Besucher in Kalenderwochen

Teile die gesamte Stichprobe durch den wöchentlichen qualifizierten Traffic. Runde anschließend auf vollständige Geschäftszyklen auf. Ein Test sollte reguläre Wochentage und mindestens einen vollständigen Wochenrhythmus enthalten.

4. Prüfe die MDE vor dem Launch erneut

Kontrolliere Zielgruppe, Traffic Split, Tracking und Ausschlüsse. Dokumentiere die MDE zusammen mit Hypothese, Hauptmetrik und Abbruchregeln. Eine solide A/B-Test QA schützt die Annahmen deiner Planung.

5. Ändere die MDE nicht während des Tests

Ein schwaches Zwischenergebnis rechtfertigt keine nachträgliche Anpassung. Du würdest damit die Entscheidungsregel verändern, nachdem du bereits Daten gesehen hast. Plane lieber vorab, wie du mit einem kleineren, unsicheren Effekt umgehst.

Mini Case: Wie die MDE die Laufzeit verändert

Ein Shopify Shop möchte eine neue Darstellung auf stark besuchten Produktseiten testen. Die betroffenen Seiten erhalten 35.000 qualifizierte Besucher pro Woche. Der historische ARPU liegt bei 2,50 EUR. Die Standardabweichung beträgt 12 EUR, weil viele Sitzungen keinen Umsatz und wenige Sitzungen hohe Bestellwerte erzeugen.

Das Team plant einen Test mit zwei gleich großen Gruppen, 5 Prozent Signifikanzniveau und 80 Prozent Power. Für eine grobe Näherung gilt:

n je Variante ≈ 2 × (1,96 + 0,84)² × σ² ÷ Δ²

Bei einer relativen MDE von 8 Prozent beträgt der absolute Zielunterschied 0,20 EUR. Die Rechnung ergibt rund 56.500 Besucher je Variante. Der Test benötigt insgesamt ungefähr 113.000 Besucher.

113.000 ÷ 35.000 = 3,23 Wochen

Für vollständige Wochenzyklen plant das Team vier Wochen ein. Anschließend vergleicht es zwei Alternativen:

• Bei 5 Prozent MDE sinkt der absolute Zielunterschied auf 0,125 EUR. Die benötigte Stichprobe steigt auf rund 289.000 Besucher. Das entspricht etwa neun Wochen.
• Bei 12 Prozent MDE steigt der absolute Zielunterschied auf 0,30 EUR. Rund 50.000 Besucher reichen für die Planung. Das entspricht zwei vollständigen Wochen.

Die 5 Prozent Variante erkennt kleinere Unterschiede, blockiert die Testfläche aber mehr als doppelt so lange wie die 8 Prozent Planung. Die 12 Prozent Variante liefert schneller vollständig auswertbare Tests, könnte jedoch einen wirtschaftlich relevanten Effekt von 8 Prozent verfehlen.

Das Team entscheidet sich deshalb vor dem Start für 8 Prozent. Diese Schwelle verbindet die gewünschte Empfindlichkeit mit einem tragfähigen Testtempo. Die Zahlen bleiben eine Planungsrechnung und stellen keinen erwarteten Uplift dar. Eine ausführlichere Herleitung findest du in meinem Beitrag zur A/B-Test Stichprobengröße.

Wie die MDE dein gesamtes Testing Programm verbessert

Eine feste MDE für alle Tests funktioniert selten. Ein globaler Header Test, ein Produktseitentest und eine Änderung für wiederkehrende Kunden erreichen unterschiedliche Besucherzahlen. Sie besitzen außerdem verschiedene wirtschaftliche Schwellen.

Ich empfehle deshalb MDE Korridore nach Testfläche. Ein Beispiel:

• Tests mit sehr hoher Reichweite planen kleinere erkennbare Effekte und dürfen entsprechend länger laufen.
• Tests auf Produktseiten orientieren sich am qualifizierten Traffic der betroffenen Produkte.
• Tests in kleinen Segmenten benötigen stärkere Hypothesen und größere Zielunterschiede.
• Tests mit mehreren Varianten reservieren zusätzliche Stichprobe für jeden Vergleich.

Diese Korridore helfen bei der Priorisierung. Ein Test mit neun Wochen erwarteter Laufzeit konkurriert anders um eine Fläche als ein Test mit drei Wochen. Du kannst den erwarteten Erkenntniswert gegen die belegte Kalenderzeit abwägen.

In einem strukturierten Testing Programm dokumentierst du MDE, Power, Hauptmetrik und geplante Laufzeit vor jedem Launch. Beim Managed A/B-Testing übernehme ich diese Planung, baue den Test und trage direkte Verantwortung für die Auswertung. Erst ein nachgewiesener Gewinner erhält eine Rollout Empfehlung.

Häufige Fragen

Was ist eine gute MDE für einen Shopify A/B Test?

Es gibt keinen universellen Wert. Eine gute MDE bildet den kleinsten wirtschaftlich relevanten Effekt ab, den dein Traffic innerhalb einer sinnvollen Laufzeit erkennen kann. Viele Teams prüfen mehrere Szenarien, bevor sie sich festlegen.

Ist eine kleinere MDE immer besser?

Eine kleinere MDE erhöht die Empfindlichkeit, verlangt aber deutlich mehr Besucher. Dadurch läuft dein Test länger und blockiert die Fläche für weitere Hypothesen. Entscheidend bleibt das Verhältnis aus Erkenntniswert und Laufzeit.

Kann ich die MDE nach dem Teststart ändern?

Du solltest die Entscheidungsregel nach dem Start nicht aufgrund sichtbarer Ergebnisse verändern. Dokumentiere notwendige Anpassungen und plane einen neuen Test. Technische Probleme behandelst du nach den vorab festgelegten Ausschlussregeln.

Welche Rolle spielt die Conversion Rate bei der MDE?

Du kannst eine MDE für jede Hauptmetrik definieren. Wenn ARPU deine Hauptmetrik ist, planst du den Test anhand seiner Streuung. Conversion Rate und Bestellwert können ergänzend als Diagnosemetriken dienen.

Warum liefert mein Rechner eine andere Stichprobe?

Rechner verwenden unterschiedliche Testverfahren, Annahmen und Rundungen. Prüfe besonders, ob das Ergebnis Besucher je Variante oder Besucher insgesamt zeigt. Auch einseitige Tests, Power, Varianz und mehrere Varianten verändern den Bedarf.

Du willst in deinem Shop testen statt raten? Wenn du eine D2C-Brand ab 200.000 EUR Monatsumsatz führst, zeige ich dir in einem kostenlosen Testing-Audit in 30 Minuten, wo dein größter Hebel liegt. Termin buchen. Wenn du noch nicht so weit bist, starte mit meinen kostenlosen Frameworks und Checklisten.