Sample Ratio Mismatch: Verteilungsfehler früh erkennen
Ein Sample Ratio Mismatch kann dazu führen, dass Du eine profitable Variante verwirfst oder einen falschen Gewinner ausrollst. Das Problem entsteht, wenn die tatsächliche Verteilung der Besucher deutlich von der geplanten Verteilung abweicht. Bei einem geplanten Verhältnis von 50 zu 50 erwartest Du ähnlich große Gruppen. Landen stattdessen auffällig viele Besucher in einer Variante, solltest Du den gemessenen ARPU Effekt zunächst nicht für eine Geschäftsentscheidung nutzen.
Was bedeutet Sample Ratio Mismatch?
Ein Sample Ratio Mismatch, kurz SRM, beschreibt eine statistisch auffällige Abweichung zwischen geplanter und beobachteter Gruppengröße. Bei einem Test mit 40.000 Besuchern und einer geplanten Verteilung von 50 zu 50 erwartest Du ungefähr 20.000 Besucher pro Variante.
Eine kleine Differenz gehört zum Zufall. Gruppen mit 19.920 und 20.080 Besuchern sind bei dieser Größe unauffällig. Gruppen mit 18.800 und 21.200 Besuchern sprechen dagegen sehr deutlich gegen eine zufällige Schwankung.
Der SRM Test bewertet dabei keinen Conversion Effekt. Er prüft, ob Dein Experiment die Besucher so aufgeteilt und erfasst hat, wie Du es vor dem Start festgelegt hast. Ein auffälliges Ergebnis zeigt deshalb ein Problem im Experiment oder in der Datenerfassung. Es erklärt noch nicht, wo dieses Problem liegt.
Die geplante Verteilung muss außerdem nicht immer 50 zu 50 betragen. Wenn Du bewusst 80 Prozent des Traffics an die Kontrolle und 20 Prozent an die Variante sendest, prüfst Du die beobachteten Gruppen gegen genau dieses Verhältnis. Mehr zur Planung findest Du im Beitrag über die A/B Test Traffic Allocation.
Warum ein SRM Deine Umsatzentscheidung gefährdet
Für Shopify Brands zählt meist der Umsatz pro Besucher (ARPU) als primäre wirtschaftliche Metrik. Ein Verteilungsfehler kann den ARPU verzerren, wenn bestimmte Besucher systematisch häufiger in einer Gruppe landen oder das Tracking eine Gruppe häufiger verliert.
Angenommen, ein technischer Fehler ordnet wiederkehrende Käufer überproportional der Variante zu. Diese Käufer bestellen häufiger und geben mehr aus. Die Variante zeigt dadurch möglicherweise einen höheren ARPU, obwohl die geänderte Produktseite keinen echten Effekt verursacht hat.
Das gleiche Risiko besteht in umgekehrter Richtung. Wenn ein Redirect auf bestimmten mobilen Browsern scheitert, erreicht ein Teil der vorgesehenen Variante nie die neue Seite. Dein Tool kann diese Besucher je nach Implementierung trotzdem einer Gruppe zuordnen oder vollständig verlieren. Die ausgewerteten Gruppen bilden dann keine vergleichbaren Populationen mehr.
Ein signifikanter Umsatzunterschied repariert diesen Fehler nicht. Ich prüfe deshalb das Gruppenverhältnis vor jeder Ergebnisentscheidung. Erst danach bewerte ich Effektgröße, Unsicherheit und Guardrail Metriken. Dieser Ablauf schafft die Grundlage für vollständig auswertbare Tests.
Welche Ursachen bei Shopify häufig auftreten
Ein SRM kann aus mehreren Stellen im technischen Ablauf entstehen. Die folgenden Ursachen prüfe ich bei Shopify Tests zuerst:
- Das Testing Tool startet auf einigen Seitentypen später als auf anderen.
- Theme Code oder eine App überschreibt die Variantenlogik.
- Ein Redirect funktioniert auf bestimmten Browsern oder Geräten nicht zuverlässig.
- Consent Einstellungen verhindern Events in einer Variante häufiger als in der anderen.
- Das Tool zählt Bots, interne Zugriffe oder Vorschau Sessions ungleichmäßig.
- Besucher wechseln nach dem Löschen von Cookies zwischen den Gruppen.
- Ein Event feuert doppelt oder fehlt auf einer Variante.
- Eine Kampagne verlinkt direkt auf eine Varianten URL und umgeht die zufällige Zuweisung.
Auch unterschiedliche Startzeitpunkte können die Gruppen verschieben. Wenn das Theme die Kontrolle bereits ausliefert, während das Experiment Skript noch lädt, erfasst das Tool unter Umständen nur einen Teil der Sitzungen. Eine saubere A/B Test Persistenz verhindert außerdem, dass Besucher bei späteren Sitzungen zwischen Kontrolle und Variante wechseln.
Sample Ratio Mismatch Schritt für Schritt prüfen
Für zwei Gruppen eignet sich ein Chi Quadrat Test. Er vergleicht die beobachteten Besucherzahlen mit den erwarteten Zahlen. Viele Testing Tools führen diese Prüfung intern aus. Du kannst sie auch in einem Statistik Tool oder einer eigenen Datenabfrage abbilden.
- Notiere die geplante Traffic Verteilung.
- Ermittle die Zahl eindeutig zugeordneter Besucher pro Gruppe.
- Berechne die erwartete Besucherzahl aus dem Gesamttraffic.
- Vergleiche beobachtete und erwartete Werte mit einem Chi Quadrat Test.
- Lege vorab fest, ab welchem Wert Du eine Untersuchung startest.
Durchgerechnete Mini Case
Ein Test plant 40.000 Besucher mit einer Verteilung von 50 zu 50. Die Kontrolle enthält am Ende 21.200 Besucher. Die Variante enthält 18.800 Besucher. Der erwartete Wert beträgt für beide Gruppen 20.000.
Die Chi Quadrat Statistik berechnet sich aus der Summe der quadrierten Abweichungen, geteilt durch den jeweiligen Erwartungswert:
((21.200 minus 20.000)² / 20.000) + ((18.800 minus 20.000)² / 20.000) = 144
Bei einem Freiheitsgrad entspricht dieser Wert einer extrem kleinen Wahrscheinlichkeit für eine rein zufällige Abweichung. Das Ergebnis liegt deutlich unter einem Prüfwert von 0,01. Ich stoppe an diesem Punkt jede Gewinnerentscheidung und suche zuerst nach der Ursache.
Angenommen, die Variante zeigt zusätzlich sieben Prozent mehr ARPU. Dieser Wert reicht trotzdem nicht für einen Rollout. Die ungleichen Gruppen können unterschiedliche Besucherstrukturen enthalten. Erst ein technisch korrigierter Neustart kann zeigen, ob die Variante tatsächlich einen wirtschaftlichen Effekt erzeugt.
So findest Du die Ursache eines auffälligen SRM
Ich beginne mit der zeitlichen Entwicklung. Tritt die Abweichung direkt nach dem Start auf, liegt die Ursache häufig in der Zuweisung oder Implementierung. Entsteht sie erst später, prüfe ich Kampagnen, Theme Änderungen, App Updates und Ausfälle einzelner Events.
Danach zerlege ich die Besucherzahlen nach wenigen vorab sinnvollen Dimensionen:
- Gerätetyp und Browser
- Landingpage und Seitentyp
- Land und Shopify Market
- Consent Status
- Neu gegenüber wiederkehrend
- Tag und Stunde der Zuweisung
Diese Aufteilung dient der Fehlersuche. Ich nutze sie nicht, um nachträglich einen positiven Effekt in einem kleinen Segment zu finden. Wenn das SRM fast ausschließlich in Safari auftritt, prüfe ich dort Cookies, Redirects und Event Versand. Wenn es nur eine Landingpage betrifft, kontrolliere ich deren Template und App Einbindungen.
Ein A/A Test hilft vor dem ersten Experiment, die Zuweisung und Messung ohne inhaltliche Änderung zu prüfen. Er ersetzt jedoch keine laufende Überwachung. Theme Anpassungen, neue Apps und Kampagnen können später neue Fehler erzeugen.
Wie Du SRM Prüfungen in Dein Testing Programm einbaust
Eine einzelne Prüfung am Testende kommt zu spät. Ich kontrolliere die Verteilung nach dem Start, nach mindestens einem vollständigen Geschäftstag und anschließend automatisiert während der Laufzeit. Bei kleinen Stichproben reagiere ich nicht auf jede frühe Abweichung. Ich achte auf einen klaren statistischen Alarm und darauf, ob die Abweichung bestehen bleibt.
Für jeden Test dokumentiere ich die geplante Verteilung, die Zähleinheit, den Prüfwert und den Umgang mit einem Alarm. Besucher, Sitzungen und Events dürfen dabei nicht vermischt werden. Wenn die Randomisierung auf Besucherebene erfolgt, prüfe ich auch den SRM auf Besucherebene.
Nach einem Alarm entscheide ich abhängig von der Ursache. Bei einem reinen Reporting Fehler kann ich die Daten eventuell aus einer verlässlichen Quelle neu aufbauen. Bei fehlerhafter Zuweisung stoppe ich den Test, korrigiere die Implementierung und starte mit neuen Besuchern. Alte und neue Daten fasse ich dann nicht zu einem Ergebnis zusammen.
Ein belastbares SRM Monitoring gehört zu einem strukturierten Testing Programm. Im Managed A/B-Testing übernehme ich die technische Prüfung, Auswertung und direkte Verantwortung für die Entscheidungsvorlage.
Häufige Fragen
Ist jede ungleiche Gruppengröße ein Sample Ratio Mismatch?
Nein. Zufällige Zuweisung erzeugt fast immer leicht unterschiedliche Gruppengrößen. Erst ein statistischer Test zeigt, ob die Abweichung für die vorhandene Stichprobe ungewöhnlich groß ist.
Kann ich einen Test mit SRM trotzdem auswerten?
Du solltest keine Gewinnerentscheidung treffen, bevor Du die Ursache kennst. Bei einem reinen Exportfehler kannst Du die Daten eventuell korrekt rekonstruieren. Bei einer fehlerhaften Zuweisung braucht der Test normalerweise einen Neustart.
Welcher Prüfwert eignet sich für einen SRM Alarm?
Viele Teams verwenden 0,01 oder einen noch strengeren Wert. Der passende Grenzwert hängt von Deinem Monitoring und der Häufigkeit der Prüfung ab. Lege ihn vor dem Test fest und ändere ihn nicht aufgrund des Ergebnisses.
Kann ein SRM trotz korrekter Traffic Allocation entstehen?
Ja. Das Tool kann Besucher korrekt zuweisen, während Tracking, Consent oder Event Versand eine Gruppe häufiger verlieren. Deshalb prüfst Du neben der Zuweisung auch die gesamte Messkette.
Reicht ein A/A Test als Schutz vor SRM?
Ein A/A Test deckt viele grundlegende Probleme vor dem Programmstart auf. Er schützt Dich jedoch nicht vor späteren Theme Änderungen, App Konflikten oder neuen Kampagnen. Du brauchst die Prüfung deshalb in jedem Experiment.
Du willst in deinem Shop testen statt raten? Wenn du eine D2C-Brand ab 200.000 EUR Monatsumsatz führst, zeige ich dir in einem kostenlosen Testing-Audit in 30 Minuten, wo dein größter Hebel liegt. Termin buchen. Wenn du noch nicht so weit bist, starte mit meinen kostenlosen Frameworks und Checklisten.
