A/B-Test Traffic Split: 50/50 oder risikoarm starten?

Ein ungünstiger A/B-Test Traffic Split kostet Testgeschwindigkeit und kann eine gute Hypothese unnötig lange blockieren. Gleichzeitig möchtest du bei riskanten Änderungen möglichst wenige Besucher einer schwachen Variante aussetzen. Entscheidend ist der erwartete Einfluss auf den Umsatz pro Besucher (ARPU), die technische Sicherheit und die geplante Stichprobengröße. Mit einer klaren Regel kannst du das wirtschaftliche Risiko begrenzen und trotzdem vollständig auswertbare Tests durchführen.

A/B-Test Traffic Split beeinflusst Präzision und Laufzeit

Der Traffic Split legt fest, welcher Anteil deiner Besucher die Kontrolle und welcher Anteil die Testvariante sieht. Bei einem Split von 50 zu 50 verteilt dein Testing-Tool beide Gruppen gleichmäßig. Bei 90 zu 10 sehen dagegen nur 10 Prozent der Besucher die neue Variante.

Eine gleichmäßige Verteilung liefert bei vergleichbaren Gruppen die höchste statistische Effizienz. Beide Varianten sammeln ähnlich schnell Daten. Dadurch erreicht der Test die geplante Präzision mit weniger Gesamttraffic als bei einer ungleichen Verteilung.

Das bedeutet nicht, dass jeder Test sofort mit 50 zu 50 starten muss. Eine deutliche Änderung am Warenkorb, an Preisen oder an zentralen Theme-Komponenten kann einen vorsichtigen Start rechtfertigen. Du solltest dabei zwischen einer technischen Anlaufphase und der eigentlichen Messphase unterscheiden.

• Die Anlaufphase prüft Fehler, Tracking und unerwartete Auswirkungen.
• Die Messphase sammelt die Daten für deine statistische Entscheidung.
• Der spätere Rollout bringt einen nachgewiesenen Gewinner kontrolliert in den Shop.

Wenn du den gesamten Prozess strukturieren möchtest, findest du auf der Seite zu Shopify A/B-Testing die wichtigsten Grundlagen für valide Experimente.

Warum 50 zu 50 meistens die beste Verteilung ist

Bei gleicher Varianz maximiert ein Split von 50 zu 50 die Information, die du aus jedem Besucher erhältst. Die Unsicherheit einer Differenz hängt davon ab, wie viele Beobachtungen beide Gruppen enthalten. Eine sehr große Kontrollgruppe kann eine kleine Testgruppe statistisch kaum ausgleichen.

Das lässt sich mit einem einfachen Beispiel erklären. Angenommen, 10.000 Besucher nehmen an einem Test teil:

• Bei 50 zu 50 erhält jede Gruppe etwa 5.000 Besucher.
• Bei 80 zu 20 erhält die kleinere Gruppe etwa 2.000 Besucher.
• Bei 90 zu 10 erhält die kleinere Gruppe nur etwa 1.000 Besucher.

Bei 90 zu 10 kennst du die Kontrolle sehr genau. Die Schätzung der Variante bleibt trotzdem unsicher, weil dort nur wenige Beobachtungen vorliegen. Genau diese Unsicherheit verlängert den Test.

Für typische Tests an Produktseiten, Collections, Navigation oder Warenkorb empfehle ich deshalb nach erfolgreicher Qualitätssicherung meistens 50 zu 50. Das gilt besonders, wenn die Variante technisch stabil ist und du einen moderaten Effekt erwartest.

Wann ein vorsichtiger Traffic Split sinnvoll ist

Ein ungleicher Split kann wirtschaftlich sinnvoll sein, wenn ein Fehler erhebliche Folgen hätte. Dazu zählen neue Preislogiken, komplexe Bundle-Funktionen, Änderungen an Rabatten oder Eingriffe in den Warenkorb. In solchen Fällen kannst du zunächst 5 oder 10 Prozent des Traffics auf die Variante schicken.

Diese Phase sollte kurz bleiben und ein klares Ziel haben. Ich prüfe dabei technische Kennzahlen und zentrale Guardrails:

• Funktionieren Variantenwahl, Warenkorb und Checkout auf mobilen Geräten?
• Erfassen Shopify, das Testing-Tool und das Analytics-System dieselben Bestellungen?
• Bleiben Fehlerrate, Ladezeit und Add-to-Cart-Rate in einem plausiblen Bereich?
• Ordnet das Tool wiederkehrende Besucher weiterhin derselben Variante zu?

Die konsistente Zuordnung ist besonders wichtig, wenn du den Traffic schrittweise erhöhst. Der Beitrag zur A/B-Test Zuordnung in Shopify zeigt, wie du Wechsel zwischen Kontrolle und Variante vermeidest.

Sobald die Variante technisch stabil läuft, erhöhst du den Split auf die geplante Verteilung. Bei einem gewöhnlichen Test bedeutet das meist 50 zu 50. Dokumentiere den Zeitpunkt der Änderung und prüfe vorab, wie dein Tool diese Daten statistisch behandelt.

Mini-Case: 50 zu 50 gegen 90 zu 10

Eine Shopify-Brand erreicht 100.000 qualifizierte Sessions in 14 Tagen. Der ARPU liegt bei 2,80 EUR. Für einen geplanten Test ergibt die Stichprobenplanung bei einem gleichmäßigen Split einen Bedarf von insgesamt 60.000 Sessions.

Variante mit 50 zu 50

Beide Gruppen erhalten jeweils 30.000 Sessions. Bei rund 7.143 Sessions pro Tag erreicht der Test die geplante Stichprobengröße nach ungefähr 8,4 Tagen.

Variante mit 90 zu 10

Bei gleicher Varianz braucht die ungleiche Verteilung ungefähr 2,78 Mal so viel Gesamttraffic, um eine vergleichbare Präzision zu erreichen. Aus 60.000 Sessions werden damit rund 166.800 Sessions. Die Laufzeit steigt auf etwa 23,4 Tage.

Der vorsichtige Split reduziert allerdings die direkte Exposition. Nehmen wir für die Risikobetrachtung an, dass die Variante den ARPU vorübergehend um 10 Prozent senkt. Das entspricht 0,28 EUR je Session in der Variante.

• Bei 50 zu 50 sehen 30.000 Sessions die Variante. Der rechnerische Nachteil beträgt 8.400 EUR.
• Bei 90 zu 10 sehen rund 16.680 Sessions die Variante. Der rechnerische Nachteil beträgt etwa 4.670 EUR.

Das Beispiel zeigt den Zielkonflikt. 90 zu 10 begrenzt die Exposition, verlängert den Test aber erheblich. Deshalb eignet sich dieser Split eher für eine kurze technische Anlaufphase als für die komplette Messung. Die genaue Planung hängt außerdem von Varianz, Signifikanzniveau und gewünschter Testpower ab. Eine Anleitung dazu findest du im Beitrag zur A/B-Test Stichprobengröße.

So legst du den Traffic Split Schritt für Schritt fest

1. Definiere zuerst die Hauptmetrik. Für wirtschaftliche Entscheidungen nutze ich bei Shopify-Tests meistens den ARPU.
2. Schätze den möglichen Schaden einer fehlerhaften Variante. Berücksichtige Umsatz, Rabatte, Ladezeit und technische Fehler.
3. Berechne die erforderliche Stichprobengröße für den Effekt, den du zuverlässig erkennen möchtest.
4. Starte bei technischen Risiken mit 5 oder 10 Prozent Variantentraffic. Lege vorher fest, welche Prüfungen den Wechsel zur Messphase erlauben.
5. Erhöhe nach bestandener Prüfung auf 50 zu 50. Kontrolliere dabei Zuordnung, Tracking und Sample Ratio.
6. Lass den Test bis zur geplanten Laufzeit und Stichprobengröße laufen. Triff die Entscheidung anhand der Hauptmetrik und der Guardrails.

Diese Reihenfolge trennt Risikomanagement von Statistik. Du nutzt einen kleinen Split zur Qualitätssicherung und einen effizienten Split für die eigentliche Entscheidung. Dadurch bleiben Tests schnell, nachvollziehbar und vollständig auswertbar.

Typische Fehler bei der Traffic-Verteilung

Ein häufiger Fehler besteht darin, einen Test aus Vorsicht dauerhaft mit 90 zu 10 laufen zu lassen. Die kleine Variantengruppe sammelt langsam Daten. Saisonale Effekte, Kampagnenwechsel und Änderungen am Sortiment können dann stärker in die lange Laufzeit hineinspielen.

Auch spontane Änderungen am Split erschweren die Auswertung. Wenn du nach einem auffälligen Zwischenstand mehr Traffic auf die vermeintlich bessere Variante schickst, reagiert die Zuteilung auf das bisherige Ergebnis. Klassische Auswertungsmethoden berücksichtigen dieses Vorgehen oft nicht korrekt.

Vermeide außerdem mehrere Traffic-Änderungen ohne Dokumentation. Halte für jeden Test fest:

• welcher Split zum Start galt,
• wann du die Verteilung geändert hast,
• welche Daten zur technischen Anlaufphase gehören,
• welche Stichprobe in die finale Analyse einfließt.

In einem strukturierten Testing-Programm gehören diese Angaben in das Testbriefing und den Ergebnisbericht. Beim Managed A/B-Testing übernehme ich Planung, Umsetzung und Auswertung mit direkter Verantwortung. Wir legen dabei gemeinsam Zielmetrik, Risiko und Freigabekriterien fest.

Häufige Fragen

Ist 50 zu 50 bei jedem A/B-Test optimal?

Für die statistische Effizienz ist 50 zu 50 bei vergleichbaren Kosten und Varianzen meistens optimal. Bei technisch riskanten Änderungen kann ein kleiner Variantenteil zum Start sinnvoll sein. Nach erfolgreicher Prüfung solltest du für die Messphase meist auf eine gleichmäßige Verteilung wechseln.

Kann ich einen Test direkt mit 10 Prozent Traffic starten?

Ja, wenn du damit technische Risiken kontrollieren möchtest. Definiere vorher konkrete Prüfungen und eine kurze Dauer. Ein unbegrenzt laufender Split von 90 zu 10 verbraucht deutlich mehr Gesamttraffic.

Kann ich den Traffic Split während des Tests ändern?

Technisch erlauben viele Tools eine Änderung. Statistisch solltest du sie vorab planen, dokumentieren und mit der Auswertungsmethode abstimmen. Ändere den Split nicht als Reaktion auf einen positiven oder negativen Zwischenstand.

Welche Variante sollte den größeren Anteil erhalten?

Während einer vorsichtigen Anlaufphase erhält die bestehende Kontrolle den größeren Anteil. So begrenzt du die Exposition gegenüber einer technisch noch ungeprüften Variante. Für die anschließende Messphase erhalten beide Varianten normalerweise gleich viel Traffic.

Zählen Daten aus der Anlaufphase zur finalen Auswertung?

Das hängt vom Tool und vom vorab festgelegten Analyseplan ab. Ich trenne eine reine technische Prüfung häufig von der eigentlichen Messphase. So beeinflussen wechselnde Splits und frühe Fehler die Entscheidung nicht unkontrolliert.

Du willst in deinem Shop testen statt raten? Wenn du eine D2C-Brand ab 200.000 EUR Monatsumsatz führst, zeige ich dir in einem kostenlosen Testing-Audit in 30 Minuten, wo dein größter Hebel liegt. Termin buchen. Wenn du noch nicht so weit bist, starte mit meinen kostenlosen Frameworks und Checklisten.