Sample Ratio Mismatch: So schützt du valide A/B-Tests

Ein scheinbarer Gewinner mit 8 Prozent mehr Umsatz pro Besucher (ARPU) kann sich als Messfehler entpuppen. Sample Ratio Mismatch gehört zu den häufigsten Warnsignalen dafür. Wenn dein Tool Besucher in einem anderen Verhältnis als geplant auf die Varianten verteilt, solltest du das Ergebnis nicht für einen Rollout nutzen. Sonst optimierst du deinen Shopify Shop auf Basis verzerrter Daten.

Sample Ratio Mismatch bei A/B-Tests verstehen

Ein Sample Ratio Mismatch, kurz SRM, liegt vor, wenn die beobachtete Verteilung der Teilnehmer deutlich von der geplanten Verteilung abweicht. Bei einem Test mit einer Zuteilung von 50 zu 50 erwartest du ungefähr gleich viele Teilnehmer in Kontrolle und Variante.

Kleine Abweichungen entstehen durch Zufall. Bei 10.000 Teilnehmern sind 5.030 in der Kontrolle und 4.970 in der Variante normalerweise unauffällig. Eine Verteilung von 5.500 zu 4.500 lässt sich dagegen kaum mit Zufall erklären.

SRM beschreibt keine schlechte Testidee und keine geringe statistische Power. Es zeigt ein Problem bei Zuteilung, Ausspielung oder Messung. Deshalb reicht eine längere Laufzeit als Lösung nicht aus. Mehr Besucher vergrößern in diesem Fall lediglich einen bereits vorhandenen Datenfehler.

Das geplante Verhältnis muss dabei nicht 50 zu 50 betragen. Du kannst bewusst 80 Prozent des Traffics in der Kontrolle und 20 Prozent in der Variante halten. Der SRM Check vergleicht dann die beobachteten Teilnehmerzahlen mit genau dieser geplanten Verteilung.

Warum SRM eine wirtschaftliche Entscheidung verhindert

Ein A/B-Test soll zeigen, ob die Variante die Zielmetrik kausal verändert. Das setzt voraus, dass der Zuteilungsmechanismus vergleichbare Gruppen erzeugt. Wenn bestimmte Besucher häufiger in einer Variante auftauchen oder aus der Messung verschwinden, kann die Zusammensetzung der Gruppen den gemessenen Unterschied erklären.

Das betrifft besonders Segmente mit unterschiedlichem Kaufverhalten. Mobile Besucher konvertieren häufig anders als Desktop Besucher. Bestandskunden haben oft einen höheren ARPU als Neukunden. Auch Märkte, Kampagnen und Browser können sich deutlich unterscheiden.

Wenn ein technischer Fehler mehr Bestandskunden in die Variante lenkt, sieht die Variante möglicherweise besser aus, obwohl die Änderung keinen Effekt hat. Ein signifikanter Unterschied bei der Conversion Rate oder beim ARPU löst dieses Problem nicht. Der Signifikanztest bewertet den Metrikunterschied unter der Annahme einer korrekten Randomisierung.

SRM gehört deshalb neben Laufzeit, Datenqualität und geplanter A/B-Test Stichprobengröße zu den Mindestprüfungen vor jeder Entscheidung. Erst wenn diese Prüfungen passen, kannst du einen nachgewiesenen Gewinner bestimmen.

So prüfst du einen Test Schritt für Schritt auf SRM

Du brauchst dafür die geplante Trafficverteilung und die Zahl der zugeteilten Teilnehmer pro Variante. Nutze möglichst die Randomisierungseinheit des Tests. Wenn das Tool Nutzer zuteilt, prüfst du Nutzer. Wenn es Sessions zuteilt, prüfst du Sessions.

1. Notiere die geplante Verteilung. Bei zwei Varianten kann sie zum Beispiel 50 zu 50 oder 70 zu 30 betragen.

2. Exportiere die Teilnehmerzahlen für Kontrolle und Variante. Verwende für beide Gruppen denselben Zeitraum und dieselben Filter.

3. Berechne die erwartete Teilnehmerzahl je Gruppe anhand der Gesamtzahl und der geplanten Verteilung.

4. Vergleiche beobachtete und erwartete Werte mit einem Chi Quadrat Test.

5. Untersuche bei einem auffälligen Ergebnis die Verteilung nach Tag, Gerät, Browser, Markt, Landingpage und Trafficquelle.

6. Dokumentiere Ursache und Korrektur. Starte den Test danach mit einer frischen Zuteilung neu.

Für zwei Varianten lautet die Berechnung vereinfacht:

Chi Quadrat = Summe aus (beobachtet minus erwartet)² geteilt durch erwartet

Viele Teams nutzen einen p Wert unter 0,01 als Warnschwelle. Dieser Wert beweist keine konkrete technische Ursache. Er zeigt dir, dass Zufall die Abweichung nur schwer erklärt und du den Test untersuchen solltest.

Prüfe SRM bereits während des Tests. Anders als eine vorzeitige Gewinnerentscheidung dient diese Kontrolle der Qualitätssicherung. Sie hilft dir, fehlerhafte Tests früh zu stoppen, bevor weiterer Traffic verloren geht.

Mini Case mit 100.000 Testteilnehmern

Ein Shopify Shop testet eine neue Darstellung von Preis und Lieferumfang auf der Produktseite. Die A/B-Testing Hypothese lautet, dass die klarere Kommunikation Unsicherheit reduziert und den ARPU erhöht. Das Tool soll den Traffic gleichmäßig verteilen.

Nach zwei Wochen zeigt das Dashboard diese Zahlen:

• Kontrolle: 54.000 Teilnehmer
• Variante: 46.000 Teilnehmer
• Geplante Verteilung: 50 zu 50
• Erwartete Teilnehmer: jeweils 50.000

Für jede Gruppe beträgt die Abweichung 4.000 Teilnehmer. Die Berechnung ergibt:

Kontrolle: 4.000² / 50.000 = 320
Variante: 4.000² / 50.000 = 320
Chi Quadrat gesamt = 640

Dieser Wert liegt extrem weit außerhalb einer plausiblen Zufallsschwankung. Der Test hat ein eindeutiges Sample Ratio Mismatch.

Die Variante zeigt zugleich einen ARPU von 2,95 EUR. Die Kontrolle erreicht 2,74 EUR. Das Dashboard meldet damit rund 7,7 Prozent Uplift. Trotz dieses attraktiven Ergebnisses darf das Team keinen Rollout starten.

Die segmentierte Prüfung zeigt anschließend, dass eine ältere Version des Safari Browsers das Variantenskript häufiger abbricht. Das Tracking registriert diese Besucher erst nach erfolgreicher Darstellung. Dadurch fehlen bestimmte Safari Nutzer in der Variante. Da dieses Segment zugleich ein anderes Kaufverhalten zeigt, verzerrt der Fehler den gemessenen ARPU.

Das Team korrigiert die Ausspielung und startet einen neuen Test. Die Daten aus dem ersten Lauf bleiben dokumentiert, fließen aber nicht in die Entscheidung ein. Genau diese Trennung schützt das Team vor einem falschen Gewinner.

Typische Ursachen und die richtige Reaktion

SRM kann an mehreren Stellen im Testing Setup entstehen. Häufig liegt die Ursache zwischen Zuteilung und Exposure Tracking. Das System teilt einen Besucher einer Variante zu, erfasst ihn aber nur dann, wenn das Skript vollständig lädt.

• Ein JavaScript Fehler verhindert die Darstellung einer Variante in bestimmten Browsern.
• Langsame App Skripte oder Theme Komponenten unterbrechen das Experiment.
• Redirect Tests verlieren Teilnehmer beim Wechsel auf eine andere URL.
• Consent Regeln erfassen die Varianten unterschiedlich.
• Bot Filter greifen in einer Gruppe stärker als in der anderen.
• Mehrere Experimente verändern gegenseitig ihre Zuteilung oder Messung.
• Ein Markt, Gerätetyp oder Template nimmt nur teilweise am Test teil.

Lösche keine Teilnehmer nachträglich, nur damit das Verhältnis wieder passend aussieht. Eine künstliche Angleichung repariert die Randomisierung nicht. Berechne den Effekt auch nicht mit Gewichtungen zurecht, solange du die genaue Ursache und ihren Einfluss auf die Zielmetrik nicht kennst.

Bei einem klaren SRM pausiere ich den Test, sichere die Rohdaten und grenze den Fehler nach Segmenten und Zeitpunkten ein. Anschließend korrigiere ich das Setup und prüfe mit einem technischen Qualitätstest, ob Zuteilung und Tracking übereinstimmen. Erst danach startet der eigentliche Test neu.

Ein strukturiertes Testing Programm definiert diese Prüfung als festen Schritt vor jeder Auswertung. Im Shopify A/B-Testing braucht es außerdem klare Regeln für Ausschlüsse, Geräte, Märkte, Bots und parallele Tests. So entstehen vollständig auswertbare Tests statt nachträglicher Diskussionen über die Datenbasis.

SRM Checks in den Testing Prozess einbauen

Ein einzelner SRM Check am Ende kommt zu spät. Lege bereits vor dem Start fest, welche Teilnehmerzahl das Tool zählen soll, welches Verhältnis du erwartest und ab welchem p Wert du eine Untersuchung auslöst.

Ich prüfe neue Tests zuerst technisch auf den wichtigsten Geräten und Browsern. Nach dem Start kontrolliere ich Zuteilung, Events und Umsatzdaten innerhalb der ersten vollständigen Tage. Danach überwache ich die Verteilung regelmäßig, ohne anhand früher Ergebnistrends einen Gewinner auszurufen.

Das Testprotokoll sollte mindestens die geplante Verteilung, beobachtete Teilnehmerzahlen, den SRM p Wert, geprüfte Segmente und bekannte technische Vorfälle enthalten. Teams mit einem bestehenden Prozess können diese Qualitätskontrollen über Testing optimieren systematisch ergänzen.

Managed A/B-Testing bündelt diese Verantwortung in einem Ablauf. Ich plane, baue, betreibe und werte die Tests aus. Gemeinsam legen wir Zielmetrik und Entscheidungskriterien fest. Die technische und statistische Prüfung bleibt dabei Teil meiner direkten Verantwortung.

Häufige Fragen

Ist jede ungleiche Verteilung ein Sample Ratio Mismatch?

Nein. Zufällige Schwankungen erzeugen fast immer leicht unterschiedliche Gruppengrößen. Erst ein statistischer Test zeigt, ob die Abweichung für die geplante Verteilung ungewöhnlich groß ausfällt.

Kann ich einen Test mit SRM trotzdem auswerten?

Du kannst die Daten zur Fehlersuche nutzen, aber normalerweise nicht für eine Rollout Entscheidung. Wenn die Randomisierung oder Messung verzerrt ist, fehlt dem gemessenen Uplift eine verlässliche Grundlage.

Behebt eine längere Laufzeit das Problem?

Nein. Bei einem systematischen Fehler macht zusätzlicher Traffic das SRM häufig deutlicher. Finde zuerst die Ursache, korrigiere das Setup und starte anschließend einen neuen Test.

Sollte ich SRM täglich prüfen?

Bei großen Shops lohnt sich eine automatisierte tägliche Kontrolle. Bei geringerem Traffic reicht ein definierter Rhythmus, solange du Probleme früh erkennst. Nutze den Check zur Qualitätssicherung und nicht zur vorzeitigen Bewertung des Uplifts.

Welche Metrik nutze ich für den SRM Check?

Prüfe die Anzahl der randomisierten Einheiten, meist Nutzer oder Sessions. Bestellungen und Umsatz eignen sich dafür nicht, weil die Variante diese Größen gezielt verändern soll.

Du willst in deinem Shop testen statt raten? Wenn du eine D2C-Brand ab 200.000 EUR Monatsumsatz führst, zeige ich dir in einem kostenlosen Testing-Audit in 30 Minuten, wo dein größter Hebel liegt. Termin buchen. Wenn du noch nicht so weit bist, starte mit meinen kostenlosen Frameworks und Checklisten.