Minimum Detectable Effect: Tests wirtschaftlich planen

Ein Test kann statistisch sauber laufen und trotzdem kaum Nutzen liefern. Oft liegt das Problem schon in der Planung: Die Minimum Detectable Effect passt weder zum Traffic noch zum wirtschaftlichen Ziel. Dann wartet dein Team mehrere Wochen auf einen Effekt, der für den Shop kaum relevant wäre. Mit einer klaren Effektgrenze planst du vollständig auswertbare Tests, setzt Testslots gezielter ein und kommst schneller zu belastbaren Entscheidungen.

Minimum Detectable Effect erklärt

Die Minimum Detectable Effect, kurz MDE, beschreibt den kleinsten Effekt, den dein Experiment mit einer festgelegten Wahrscheinlichkeit erkennen soll. Dafür legst du vor dem Start das Signifikanzniveau, die statistische Power und die geplante Stichprobe fest.

Eine MDE von 8 Prozent bedeutet: Der Test soll einen relativen Unterschied von mindestens 8 Prozent zuverlässig erkennen. Bei einer Conversion Rate von 3 Prozent entspricht das einem absoluten Unterschied von 0,24 Prozentpunkten. Die Variante müsste also mindestens 3,24 Prozent erreichen.

Die MDE ist keine Prognose. Sie sagt nicht, welchen Uplift du erwartest. Sie definiert die Empfindlichkeit deines Experiments. Je kleiner der relevante Effekt, desto mehr Besucher braucht der Test.

Für Shopify Shops sollte die Planung in der Regel vom Umsatz pro Besucher (ARPU) ausgehen. Die Conversion Rate kann als Diagnosemetrik dienen. ARPU bildet jedoch zugleich Kaufwahrscheinlichkeit und Warenkorbwert ab. Genau diese Kombination entscheidet über den wirtschaftlichen Wert eines nachgewiesenen Gewinners.

Die wirtschaftliche Effektgrenze festlegen

Viele Teams wählen die MDE anhand des vorhandenen Traffics. Das greift zu kurz. Beginne mit der wirtschaftlichen Frage: Welcher zusätzliche ARPU rechtfertigt Entwicklung, Testlaufzeit und einen späteren Rollout?

Du kannst die Grenze in vier Schritten bestimmen:

1. Berechne den aktuellen ARPU für den betroffenen Traffic.
2. Schätze, wie viele Besucher die Änderung nach einem Rollout erreicht.
3. Definiere den kleinsten jährlichen Mehrumsatz, der den Aufwand rechtfertigt.
4. Rechne diesen Betrag auf den benötigten relativen ARPU Effekt zurück.

Ein Beispiel: Eine Produktseite erreicht monatlich 300.000 Besucher und einen ARPU von 2,40 EUR. Ein relativer Effekt von 5 Prozent entspricht 0,12 EUR zusätzlichem Umsatz je Besucher. Bei vollständigem Rollout ergibt das rechnerisch 36.000 EUR zusätzlichen Monatsumsatz vor Retouren und weiteren Korrekturen.

Ob 5 Prozent als Grenze sinnvoll sind, hängt von Aufwand, Risiko und Reichweite ab. Eine kleine Textänderung kann eine niedrigere Grenze rechtfertigen als ein komplexer Umbau von Produktlogik und Theme Code. Für die Priorisierung mehrerer Ideen hilft eine klare A/B Test Priorisierung.

So berechnest du Stichprobe und Laufzeit

Für eine belastbare Planung brauchst du historische Daten aus einem repräsentativen Zeitraum. Nutze nach Möglichkeit mindestens vier vollständige Wochen. Entferne bekannte Trackingausfälle und dokumentiere große Aktionen.

1. Primärmetrik festlegen

Lege vor der Berechnung fest, welche Metrik die Entscheidung trägt. Für die meisten kommerziellen Tests eignet sich ARPU. Bei klar abgegrenzten Funnel Schritten kann auch eine Conversion Rate sinnvoll sein.

2. Streuung bestimmen

Für ARPU brauchst du neben dem Mittelwert die Standardabweichung auf Besucherebene. Shopify Umsatzdaten weisen häufig eine starke Schiefe und einzelne sehr große Bestellungen auf. Prüfe deshalb die Verteilung und den Einfluss von Ausreißern. Mein Beitrag zum Bootstrap im A/B Testing zeigt eine robuste Alternative zur einfachen Normalverteilungsannahme.

3. Fehlerniveau und Power wählen

Eine häufige Planung nutzt ein zweiseitiges Signifikanzniveau von 5 Prozent und 80 Prozent Power. Die Power gibt an, mit welcher Wahrscheinlichkeit der Test einen Effekt in Höhe der MDE erkennt, falls dieser Effekt tatsächlich existiert.

4. Stichprobe berechnen

Für zwei gleich große Varianten liefert die folgende Näherung eine erste Planung:

Besucher je Variante = 2 × (1,96 + 0,84)² × Standardabweichung² ÷ MDE²

Die Formel eignet sich als Startpunkt für kontinuierliche Metriken. Bei stark schiefem ARPU solltest du die benötigte Stichprobe zusätzlich mit historischen Besucherdaten simulieren. Plane außerdem ganze Wochen ein. So bildet jede Variante Wochentage und Wochenenden gleichmäßig ab.

Eine ausführliche Einordnung von Traffic, Testdauer und Wochenzyklen findest du im Beitrag zur A/B Test Laufzeit.

Durchgerechnete Planung für einen Shopify Test

Ein Shop verzeichnet auf den betroffenen Produktseiten täglich 8.500 geeignete Besucher. Der historische ARPU beträgt 2,40 EUR. Die Standardabweichung liegt bei 8 EUR. Das Team betrachtet einen relativen ARPU Effekt von 6 Prozent als wirtschaftlich relevant.

Zuerst rechnest du den relativen Effekt in einen absoluten Betrag um:

2,40 EUR × 0,06 = 0,144 EUR MDE

Danach setzt du die Werte in die Näherungsformel ein:

2 × 2,80² × 8² ÷ 0,144² = 48.395 Besucher je Variante

Der Test braucht damit rund 96.790 Besucher. Bei 8.500 geeigneten Besuchern pro Tag ergibt sich eine rechnerische Laufzeit von 11,4 Tagen. Für vollständige Wochenzyklen planst du 14 Tage ein.

Will das Team stattdessen einen Effekt von 3 Prozent erkennen, halbiert sich die absolute MDE auf 0,072 EUR. Weil die MDE im Nenner quadriert steht, vervierfacht sich die Stichprobe ungefähr. Der Test würde damit rund acht Wochen benötigen.

Diese Rechnung macht den Zielkonflikt sichtbar. Eine feinere Messung kostet deutlich mehr Traffic. Wenn acht Wochen den Testslot blockieren, kann eine engere Zielgruppe mit stärkerem erwarteten Effekt oder eine andere Hypothese wirtschaftlich sinnvoller sein.

Wie die MDE dein Testing Programm verbessert

Eine dokumentierte MDE schafft eine gemeinsame Entscheidungsgrundlage für Marketing, Produkt und Entwicklung. Sie verhindert, dass ein Team nach dem Start die Erfolgsschwelle an ein attraktives Zwischenergebnis anpasst.

• Du erkennst vor der Umsetzung, ob der Shop genug Traffic für die Hypothese hat.
• Du vergleichst Testideen anhand ihrer wirtschaftlich relevanten Effektgröße.
• Du vermeidest Tests, die nur unrealistisch große Effekte messen können.
• Du reservierst lange Laufzeiten für Änderungen mit hoher Reichweite und entsprechendem Wert.
• Du definierst vorab, wann ein Ergebnis unklar bleibt und wann ein Rollout infrage kommt.

Halte MDE, Primärmetrik, Power, Signifikanzniveau und maximale Laufzeit im Testbriefing fest. Ergänze dazu klare A/B Test Entscheidungsregeln. So entscheidet dein Team nach denselben Kriterien, unabhängig davon, wie überzeugend einzelne Zwischenstände aussehen.

Wenn du mehrere Experimente pro Monat planst, sollte diese Kalkulation Teil des festen Prozesses sein. Auf der Seite zum Aufbau eines Testing Programms findest du den organisatorischen Rahmen. Wenn du Planung, Umsetzung und Auswertung mit direkter Verantwortung abgeben willst, findest du unter Managed A/B-Testing weitere Informationen.

Häufige Fragen

Was ist eine gute Minimum Detectable Effect?

Eine gute MDE ist klein genug, um wirtschaftlich relevante Effekte zu erkennen, und groß genug, um mit deinem Traffic eine praktikable Laufzeit zu erreichen. Es gibt deshalb keinen pauschalen Prozentwert für alle Shops. Leite die Grenze aus ARPU, Reichweite und Umsetzungsaufwand ab.

Ist die MDE der erwartete Uplift?

Nein. Der erwartete Uplift beschreibt deine Prognose für die Variante. Die MDE beschreibt den kleinsten Effekt, den dein Test mit der geplanten Stichprobe zuverlässig erkennen soll.

Kann ich die MDE während des Tests ändern?

Du solltest die MDE nach dem Start nicht an Zwischenergebnisse anpassen. Dadurch veränderst du die ursprüngliche Entscheidungslogik. Stoppe den Test nach der vorab festgelegten Regel oder plane ein statistisch korrektes sequentielles Verfahren.

Warum braucht eine kleinere MDE so viel mehr Traffic?

Die benötigte Stichprobe wächst ungefähr mit dem Quadrat der gewünschten Genauigkeit. Halbierst du die MDE, brauchst du unter vergleichbaren Bedingungen ungefähr viermal so viele Besucher.

Sollte ich ARPU oder Conversion Rate für die MDE nutzen?

Nutze die Metrik, die deine wirtschaftliche Entscheidung trägt. Für viele Shopify Tests ist ARPU geeigneter, weil die Metrik Kaufwahrscheinlichkeit und Bestellwert verbindet. Bei einem klaren Funnel Schritt kann die Conversion Rate die passendere Primärmetrik sein.

Du willst in deinem Shop testen statt raten? Wenn du eine D2C-Brand ab 200.000 EUR Monatsumsatz führst, zeige ich dir in einem kostenlosen Testing-Audit in 30 Minuten, wo dein größter Hebel liegt. Termin buchen. Wenn du noch nicht so weit bist, starte mit meinen kostenlosen Frameworks und Checklisten.