Bayesian A/B-Testing: Das passende Modell für Shopify

Ein unpassendes Statistikmodell kostet dich Testzeit oder führt zu riskanten Rollouts. Bayesian A/B-Testing übersetzt Daten direkt in Wahrscheinlichkeiten für einen positiven Effekt. Frequentistische Verfahren kontrollieren dagegen langfristige Fehlerraten. Für Shopify Brands zählt am Ende, welches Modell Entscheidungen über den Umsatz pro Besucher (ARPU) nachvollziehbar unterstützt.

Bayesian A/B-Testing beantwortet eine konkrete Geschäftsfrage

Bei einem A/B-Test willst du meist wissen, wie wahrscheinlich eine Variante besser als die Kontrolle ist. Genau darauf kann ein bayesianisches Modell antworten. Ein Ergebnis kann zum Beispiel lauten: Variante B erhöht den ARPU mit einer Wahrscheinlichkeit von 94,5 Prozent.

Das Modell kombiniert die aktuellen Testdaten mit einer vorher festgelegten Annahme, dem Prior. Aus dieser Kombination entsteht die Posterior Verteilung. Sie beschreibt nach dem Experiment, welche Effekte mit welcher Wahrscheinlichkeit plausibel sind.

Ein frequentistisches Modell stellt eine andere Frage. Es berechnet, wie ungewöhnlich die beobachteten Daten wären, falls in Wirklichkeit kein Unterschied existiert. Ein p Wert von 0,05 bedeutet deshalb nicht, dass die Nullhypothese mit 5 Prozent Wahrscheinlichkeit stimmt.

Dieser Unterschied wirkt theoretisch, beeinflusst aber den Rollout. Bayesianische Ergebnisse passen oft besser zu Fragen aus dem Shop Alltag:

• Wie wahrscheinlich verbessert Variante B den ARPU?
• Wie wahrscheinlich verursacht sie einen wirtschaftlich relevanten Schaden?
• Wie wahrscheinlich übersteigt der Effekt unsere Mindestschwelle?
• Welche Variante verursacht bei einer falschen Entscheidung den kleineren erwarteten Verlust?

Frequentistische Ergebnisse eignen sich besonders gut, wenn dein Team eine klar definierte Fehlerrate über viele Tests kontrollieren will. Beide Ansätze können vollständig auswertbare Tests liefern. Du musst das Verfahren jedoch vor dem Blick auf die Ergebnisse festlegen.

Bayesian und Frequentist messen dieselben Daten anders

Die Rohdaten ändern sich durch das Statistikmodell nicht. Besucher, Bestellungen und Umsatz bleiben identisch. Das Modell verändert die Aussage, die du aus diesen Daten ableiten darfst.

Der frequentistische Ansatz

Vor dem Start legst du Hypothese, primäre Metrik, Signifikanzniveau, Teststärke und geplante Stichprobe fest. Nach dem Test prüfst du den p Wert und das Konfidenzintervall. Wie du dessen wirtschaftliche Spannweite liest, zeige ich im Beitrag zum Konfidenzintervall im A/B-Test.

Der Ansatz begrenzt die Rate falscher positiver Entscheidungen über viele gleichartig geplante Experimente. Er eignet sich deshalb für standardisierte Programme mit festen Entscheidungsregeln. Wiederholtes ungeplantes Prüfen kann die Fehlerrate erhöhen. Ein Verfahren für geplante Zwischenanalysen erkläre ich im Artikel über Sequential Testing im A/B-Test.

Der bayesianische Ansatz

Vor dem Start definierst du ein Wahrscheinlichkeitsmodell und einen Prior. Danach aktualisiert jeder neue Datenpunkt die Verteilung möglicher Effekte. Das Ergebnis kann die Wahrscheinlichkeit für einen positiven, negativen oder ausreichend großen Effekt direkt ausdrücken.

Auch Bayesian A/B-Testing braucht feste Regeln. Du solltest vorab bestimmen, ab welcher Wahrscheinlichkeit du ausrollst, welche wirtschaftliche Mindestwirkung zählt und wie du Risiken begrenzt. Ohne diese Regeln verlagert sich das Bauchgefühl lediglich vom Testergebnis auf den Entscheidungsmoment.

Mini Case: Ein Ergebnis, zwei korrekte Aussagen

Ein Shopify Shop testet eine neue Darstellung seines Mengenrabatts. Kontrolle und Variante erhalten jeweils 50.000 Besucher. Die Kontrolle erzielt einen ARPU von 2,80 EUR. Die Variante erreicht 2,88 EUR. Der beobachtete Unterschied beträgt damit 0,08 EUR je Besucher.

Für das vereinfachte Beispiel beträgt der Standardfehler des Unterschieds 0,05 EUR. Daraus ergibt sich ein z Wert von 1,6:

Effekt geteilt durch Standardfehler
0,08 EUR geteilt durch 0,05 EUR gleich 1,6

Eine zweiseitige frequentistische Auswertung ergibt ungefähr einen p Wert von 0,11. Das 95 Prozent Konfidenzintervall reicht ungefähr von minus 0,02 EUR bis plus 0,18 EUR. Bei einem vorab festgelegten Signifikanzniveau von 5 Prozent liefert der Test daher keinen nachgewiesenen Gewinner.

Ein vereinfachtes bayesianisches Modell mit schwach informativem Prior kommt bei denselben Daten auf ungefähr 94,5 Prozent Wahrscheinlichkeit für einen positiven Effekt. Die Wahrscheinlichkeit, dass der Effekt mindestens 0,03 EUR beträgt, liegt bei rund 84 Prozent.

Die Aussagen widersprechen sich nicht. Sie beantworten verschiedene Fragen. Das frequentistische Ergebnis sagt, dass die Evidenz für die festgelegte Fehlerrate noch nicht ausreicht. Das bayesianische Ergebnis sagt, welche positiven Effekte unter den Modellannahmen plausibel sind.

Bei 200.000 künftigen Besuchern entspräche der beobachtete Punktschätzer rechnerisch 16.000 EUR zusätzlichem Umsatz:

200.000 Besucher mal 0,08 EUR gleich 16.000 EUR

Diese Rechnung ist kein erwartbarer oder garantierter Mehrumsatz. Das breite Unsicherheitsintervall enthält weiterhin einen kleinen negativen Effekt. Wenn deine Regel mindestens 97,5 Prozent Wahrscheinlichkeit für einen positiven Effekt verlangt, erfolgt noch kein Rollout. Bei niedrigem Implementierungsrisiko könnte eine vorher definierte Regel dagegen weitere Daten vorsehen.

So wählst du das passende Modell

Die Wahl hängt weniger vom Dashboard als von deinem Entscheidungsprozess ab. Gehe in fünf Schritten vor.

1. Lege die wirtschaftliche Frage fest. Willst du eine langfristige Fehlerrate kontrollieren oder die Wahrscheinlichkeit eines Mindestnutzens schätzen?
2. Bestimme vor dem Test die primäre Metrik. Für viele D2C Shops eignet sich ARPU besser als eine isolierte Conversion Rate, weil Warenkorbwert und Kaufwahrscheinlichkeit gemeinsam einfließen.
3. Definiere die Entscheidungsschwelle. Dazu gehören Mindestwirkung, zulässiges Risiko und Guardrail Metriken.
4. Prüfe, ob dein Tool das gewählte Verfahren transparent dokumentiert. Ein Prozentwert mit der Bezeichnung Chance to Win reicht ohne Modellbeschreibung nicht aus.
5. Nutze dasselbe Regelwerk über mehrere Tests. So kannst du Entscheidungen vergleichen und die Qualität deines Testing Programms beurteilen.

Ein frequentistischer Ansatz passt häufig zu Teams mit formaler Testplanung, stabilen Stichproben und festen Fehlerraten. Bayesian A/B-Testing passt häufig zu Teams, die Entscheidungen über explizite Wahrscheinlichkeiten und wirtschaftliche Verlustfunktionen steuern.

Du kannst beide Ansätze in einem Unternehmen einsetzen. Verwende sie aber nicht nachträglich für dasselbe Ergebnis, bis eine Methode den gewünschten Rollout rechtfertigt. Dokumentiere pro Test, welches Modell und welche Schwellen gelten.

Typische Fehler bei bayesianischen Shopify Tests

Der häufigste Fehler besteht darin, eine hohe Gewinnwahrscheinlichkeit mit Sicherheit gleichzusetzen. Eine Wahrscheinlichkeit von 90 Prozent lässt weiterhin ein relevantes Fehlerrisiko offen. Bei vielen Tests entstehen daraus regelmäßig falsche Rollouts.

• Das Team wählt den Prior erst nach dem Blick auf die Daten.
• Das Dashboard zeigt keine Annahmen zum Modell.
• Die Entscheidung berücksichtigt keine Mindestwirkung.
• Die Auswertung ignoriert Retouren, Ausreißer oder fehlerhafte Zuordnungen.
• Das Team wechselt zwischen bayesianischen und frequentistischen Regeln.
• Niemand trägt direkte Verantwortung für die finale Entscheidung.

Das Statistikmodell repariert keine Datenfehler. Prüfe deshalb vor jeder Interpretation Zuordnung, Tracking und Stichprobenverteilung. Mein Leitfaden zur A/B-Test QA zeigt die technischen Kontrollen vor dem Start.

Für ein belastbares Shopify A/B-Testing brauchst du zusätzlich eine dokumentierte Hypothese, ausreichende Laufzeit und eine klare Rollout Regel. Erst dieses Zusammenspiel macht aus einem Dashboard eine verlässliche Entscheidungsgrundlage.

Häufige Fragen

Ist Bayesian A/B-Testing grundsätzlich schneller?

Nein. Ein bayesianisches Modell erzeugt schon früh Wahrscheinlichkeiten, doch frühe Ergebnisse können stark schwanken. Die benötigte Datenmenge hängt weiterhin von Varianz, Effektgröße und deiner Entscheidungsschwelle ab.

Braucht jeder bayesianische Test einen Prior?

Ja. Der Prior gehört zum Modell, auch wenn ein Tool ihn kaum sichtbar macht. Schwach informative Priors begrenzen extreme Annahmen, während informative Priors belastbare Erkenntnisse aus vergleichbaren früheren Tests aufnehmen können.

Kann ich p Wert und Gewinnwahrscheinlichkeit gemeinsam nutzen?

Du kannst beide Werte zur Einordnung berechnen. Für die eigentliche Entscheidung solltest du jedoch vorab festlegen, welches Verfahren maßgeblich ist. Sonst steigt das Risiko, nachträglich die günstigere Aussage auszuwählen.

Welche Schwelle eignet sich für einen Rollout?

Es gibt keine universelle Prozentgrenze. Die passende Schwelle hängt vom möglichen Schaden, den Implementierungskosten und der wirtschaftlichen Mindestwirkung ab. Eine leicht umkehrbare Textänderung kann eine andere Regel erhalten als eine tiefgreifende Änderung an Preis oder Checkout.

Welches Modell nutzen A/B-Testing Tools?

Das unterscheidet sich je nach Anbieter und Konfiguration. Prüfe die offizielle Methodik zu Priors, Zwischenanalysen, Ausreißern und Entscheidungsgrenzen. Verlasse dich nicht allein auf Bezeichnungen wie Signifikanz oder Gewinnchance.

Du willst in deinem Shop testen statt raten? Wenn du eine D2C-Brand ab 200.000 EUR Monatsumsatz führst, zeige ich dir in einem kostenlosen Testing-Audit in 30 Minuten, wo dein größter Hebel liegt. Termin buchen. Wenn du noch nicht so weit bist, starte mit meinen kostenlosen Frameworks und Checklisten.