Zum Inhalt springen
· 6 Min. Lesezeit

A/B-Test Traffic Allocation: 50 zu 50 richtig nutzen

Eine ungünstige Traffic Allocation verlängert deinen Test und verzögert den Rollout eines nachgewiesenen Gewinners. Bei gleichem Gesamttraffic kann eine Verteilung von 80 zu 20 den Standardfehler um 25 Prozent erhöhen. Die A/B-Test Traffic Allocation entscheidet deshalb direkt darüber, wie schnell du belastbare Aussagen zum Umsatz pro Besucher (ARPU) erhältst.

A/B-Test Traffic Allocation beeinflusst Testdauer und Risiko

Die Traffic Allocation legt fest, welcher Anteil der teilnehmenden Besucher die Kontrollversion und welcher Anteil die Variante sieht. Bei einer Verteilung von 50 zu 50 erhalten beide Gruppen ungefähr gleich viele Besucher. Bei 80 zu 20 sieht nur jeder fünfte Teilnehmer die Variante.

Eine ungleiche Verteilung wirkt zunächst vorsichtig. Weniger Besucher erleben die neue Version. Statistisch bezahlst du dafür mit einer geringeren Präzision. Die kleinere Gruppe begrenzt den Informationsgewinn des gesamten Tests.

Für die meisten klassischen Shopify Tests empfehle ich deshalb 50 zu 50. Das gilt besonders für Änderungen an Produktseiten, Warenkorb, Navigation, Preispräsentation und Angebotskommunikation. Voraussetzung ist, dass die Variante vor dem Start eine vollständige technische Prüfung bestanden hat.

Die Allocation löst allerdings kein Reichweitenproblem. Wenn deine geplante Stichprobe 60.000 Besucher umfasst, erzeugt auch eine optimale Verteilung keinen belastbaren Test aus 15.000 Besuchern. Den benötigten Traffic solltest du vorher über den Minimum Detectable Effect und die Ausgangsleistung des Shops bestimmen.

Warum 50 zu 50 meistens die höchste Präzision liefert

Bei zwei Gruppen mit ähnlicher Varianz hängt die Unsicherheit des gemessenen Unterschieds vereinfacht von diesem Ausdruck ab:

1 / Besucher Kontrolle + 1 / Besucher Variante

Bei einer festen Gesamtzahl erreicht dieser Wert sein Minimum, wenn beide Gruppen gleich groß sind. Jede Verschiebung weg von 50 zu 50 erhöht die Unsicherheit. Dadurch brauchst du mehr Gesamttraffic, um denselben Effekt mit derselben statistischen Präzision zu erkennen.

Das betrifft Conversion Rate und ARPU. Beim ARPU fällt der Nachteil häufig stärker auf, weil einzelne große Bestellungen die Streuung erhöhen. Eine kleine Variantengruppe enthält dann möglicherweise wenige umsatzstarke Bestellungen. Das Ergebnis schwankt stärker, obwohl die Gesamtzahl der Testbesucher ordentlich aussieht.

Eine gleichmäßige Verteilung hat außerdem einen praktischen Vorteil: Kontrolle und Variante sammeln zeitgleich ähnlich viele Beobachtungen. Wochentage, Kampagnen und kurzfristige Nachfrageschwankungen treffen beide Gruppen vergleichbar. Das erleichtert die Auswertung, ersetzt aber keine Prüfung auf Saisonalität oder Trackingfehler.

Mini Case: 80 zu 20 verlängert den Shopify Test

Ein Shopify Shop plant einen Produktseitentest mit insgesamt 40.000 qualifizierten Besuchern. Der Shop erreicht etwa 2.857 geeignete Besucher pro Tag. Das Team möchte eine Änderung an der Angebotsdarstellung testen.

Bei 50 zu 50 erhalten Kontrolle und Variante jeweils 20.000 Besucher. Der relevante Präzisionswert lautet:

1 / 20.000 + 1 / 20.000 = 0,0001

Bei 80 zu 20 erhält die Kontrolle 32.000 Besucher und die Variante 8.000 Besucher:

1 / 32.000 + 1 / 8.000 = 0,00015625

Der Standardfehler liegt damit 25 Prozent höher. Um mit 80 zu 20 dieselbe Präzision wie mit 40.000 Besuchern bei 50 zu 50 zu erreichen, braucht der Test insgesamt 62.500 Besucher. Davon landen 50.000 in der Kontrolle und 12.500 in der Variante.

Die Testdauer steigt in diesem Beispiel von rund 14 auf knapp 22 Tage. Falls die Variante den ARPU tatsächlich um 0,10 EUR verbessert, verschiebt sich der wirtschaftliche Rollout um ungefähr acht Tage. Bei 2.857 täglichen Besuchern entspricht das einem potenziellen zusätzlichen Umsatz von rund 2.286 EUR, den der Shop erst später realisieren kann. Diese Rechnung beschreibt ein Szenario und kein Erfolgsversprechen.

Die scheinbar vorsichtige Verteilung reduziert also die anfängliche Variantenexposition. Gleichzeitig verlängert sie die Phase, in der der Shop keine belastbare Entscheidung treffen kann.

Wann eine ungleiche Allocation sinnvoll sein kann

Eine Verteilung wie 90 zu 10 oder 80 zu 20 hat klare Einsatzgebiete. Sie eignet sich jedoch selten als dauerhafte Einstellung für einen klassischen A/B-Test.

  • Bei einem technischen Ramp startet die Variante mit wenig Traffic. Ich prüfe Fehlerraten, Warenkorbverhalten, Checkout Übergänge und Tracking. Nach erfolgreicher Prüfung beginnt die eigentliche Messphase mit 50 zu 50.
  • Bei Funktionen mit begrenzter Kapazität kann eine kleinere Variantengruppe notwendig sein. Das betrifft etwa rechenintensive Personalisierung oder einen externen Dienst mit festen Verarbeitungslimits.
  • Bei erheblichen operativen Risiken kann eine begrenzte Exposition die erste Beobachtungsphase absichern. Das ersetzt keine Qualitätssicherung vor dem Start.
  • Bei langfristigen Kontrollgruppen verfolgt die Allocation ein anderes Ziel. Ein Holdout misst den Gesamteffekt mehrerer Änderungen und funktioniert deshalb nicht wie ein einzelner Variantentest.

Fortgeschrittene Statistik kann bei stark unterschiedlichen Varianzen eine ungleiche Verteilung rechtfertigen. Dafür brauchst du jedoch belastbare historische Daten zur Streuung beider Varianten. Vor dem Test kennst du die Varianz der neuen Variante normalerweise nicht. Eine theoretisch optimale Sonderverteilung erzeugt dann schnell Scheingenauigkeit.

So legst du die Traffic Allocation praktisch fest

  1. Definiere zuerst die Zielmetrik. Für D2C Shops nutze ich meistens ARPU als primäre wirtschaftliche Kennzahl und ergänze passende Guardrail Metriken.
  2. Berechne die benötigte Stichprobe vor dem Start. Berücksichtige Baseline, relevanten Mindesteffekt, Streuung, Signifikanzniveau und gewünschte Teststärke.
  3. Prüfe die Variante technisch mit internem Traffic und anschließend mit einem begrenzten Ramp. Dieser Traffic dient der Qualitätssicherung und gehört nicht automatisch in die finale Auswertung.
  4. Starte die formale Messphase mit 50 zu 50. Halte Allocation, Zielgruppe und Auswertungslogik bis zur Entscheidung konstant.
  5. Kontrolliere täglich, ob die tatsächliche Verteilung zur geplanten Verteilung passt. Ein Sample Ratio Mismatch kann auf fehlerhafte Zuweisung, Trackingverluste oder technische Ausnahmen hinweisen.
  6. Führe den Rollout erst nach der vorab festgelegten Entscheidungsregel durch. Ein kurzfristiger Ausschlag rechtfertigt keine Änderung der Allocation.

Ändere das Verhältnis möglichst nicht mitten in der formalen Messphase. Eine Änderung kann Traffic Quellen und Zeiträume unterschiedlich gewichten. Falls ein Ramp nötig ist, dokumentiere dessen Ende und starte danach die reguläre Messung. So entstehen vollständig auswertbare Tests.

Die Besucherzuordnung muss außerdem persistent bleiben. Derselbe Besucher sollte bei späteren Sitzungen dieselbe Version sehen. Sonst vermischt das Tool die Erfahrungen und schwächt den messbaren Unterschied. Für ein dauerhaftes Programm brauchst du deshalb neben der Statistik einen klaren Betriebsprozess. Einen Überblick findest du unter Testing Programm aufbauen.

Im Managed A/B-Testing übernehme ich die Planung, technische Umsetzung, Überwachung und Auswertung mit direkter Verantwortung. Gemeinsam legen wir Zielmetrik, Mindesteffekt und Entscheidungsregel fest.

Häufige Fragen

Ist eine Verteilung von 90 zu 10 sicherer?

Sie begrenzt zunächst die Zahl der Besucher in der Variante. Gleichzeitig verlängert sie den Test deutlich. Für einen kurzen technischen Ramp kann 90 zu 10 sinnvoll sein, für die anschließende Wirkungsmessung ist 50 zu 50 meist effizienter.

Kann ich die Traffic Allocation während des Tests ändern?

Technisch erlauben viele Tools eine Änderung. Für eine einfache und belastbare Auswertung solltest du die formale Messphase jedoch mit einem festen Verhältnis durchführen. Trenne einen vorherigen Ramp klar von den Daten des eigentlichen Tests.

Liefert 50 zu 50 immer die höchste Teststärke?

Bei ähnlicher Varianz und gleichen Kosten pro Beobachtung liefert 50 zu 50 in der Regel die höchste Teststärke. Starke Varianzunterschiede oder Kapazitätsgrenzen können eine andere Verteilung rechtfertigen. Solche Ausnahmen brauchen belastbare Daten und eine passende Auswertungsmethode.

Zählt der Traffic aus dem technischen Ramp zur Stichprobe?

Ich trenne Ramp Daten normalerweise von der formalen Auswertung. Während des Ramps prüfe ich Technik und Tracking, nicht die Geschäftshypothese. Die geplante Stichprobe beginnt anschließend mit der stabilen Allocation.

Wie erkenne ich eine fehlerhafte tatsächliche Verteilung?

Vergleiche die beobachteten Gruppengrößen mit dem geplanten Verhältnis über einen SRM Test. Prüfe bei einer auffälligen Abweichung zuerst Zuweisung, Events, Botfilter, Geräteklassen und Seitenausschlüsse. Werte den Effekt erst aus, wenn du die Ursache geklärt hast.

Du willst in deinem Shop testen statt raten? Wenn du eine D2C-Brand ab 200.000 EUR Monatsumsatz führst, zeige ich dir in einem kostenlosen Testing-Audit in 30 Minuten, wo dein größter Hebel liegt. Termin buchen. Wenn du noch nicht so weit bist, starte mit meinen kostenlosen Frameworks und Checklisten.

Nicolai Clöß

Nicolai Clöß

Founder von Socivolve. Übernimmt das A/B-Testing von Shopify-D2C-Brands vollständig, von der ersten Beobachtung bis zum dauerhaft ausgerollten Gewinner. Trier.

Bevor du den nächsten Artikel liest:

Mein A/B-Test-Playbook fasst zusammen, was hier über viele Artikel verteilt steht: Testaufbau, Stichprobenberechnung, Auswertungsregeln und mein Priorisierungs-Framework. Kostenlos, kein Newsletter-Zwang.

Playbook laden (PDF)

Weiterlesen