A/B-Test Ausreißer: ARPU robust auswerten

A/B-Test Ausreißer können aus einem neutralen Ergebnis scheinbar einen Gewinner machen. Besonders der Umsatz pro Besucher (ARPU) reagiert empfindlich auf einzelne Großbestellungen. Wenn du diese Bestellungen ungeprüft entfernst oder vollständig ignorierst, riskierst du einen falschen Rollout. Du brauchst deshalb vor dem Test klare Regeln, eine saubere Datenprüfung und ergänzende robuste Kennzahlen.

A/B-Test Ausreißer können deine Entscheidung umkehren

Der ARPU bildet den wirtschaftlichen Effekt eines Tests direkt ab. Du teilst dafür den gesamten Umsatz einer Variante durch ihre Besucherzahl. Diese Nähe zum Umsatz macht die Kennzahl wertvoll, aber auch anfällig für seltene Bestellungen mit sehr hohem Warenkorb.

Angenommen, ein typischer Warenkorb liegt zwischen 60 und 120 EUR. Während des Tests bestellt ein Geschäftskunde Produkte für 12.000 EUR. Diese Bestellung gehört wirtschaftlich zum Shop. Trotzdem kann sie den gemessenen Unterschied zwischen zwei Varianten dominieren.

Das Problem betrifft vor allem Tests mit wenig Traffic, kurzen Laufzeiten oder stark schwankenden Warenkörben. Bei größeren Stichproben verteilt sich der Einfluss einzelner Bestellungen auf mehr Besucher. Die Unsicherheit verschwindet dadurch allerdings nicht automatisch.

Eine korrekte A/B-Test Auswertung mit ARPU braucht deshalb mehr als einen Mittelwert. Ich prüfe zusätzlich die Umsatzverteilung, die Bestellwerte und den Anteil einzelner Bestellungen am Gesamtumsatz.

Trenne Datenfehler von echten Großbestellungen

Ein hoher Bestellwert ist noch kein Grund für einen Ausschluss. Zuerst musst du klären, warum der Wert entstanden ist. Dabei helfen Bestellnummer, Zeitstempel, Zahlungsstatus, Kundentyp und die Zuordnung zur Testvariante.

Typische Datenfehler sind doppelt erfasste Käufe, Testbestellungen des Teams, falsche Währungen oder mehrfach ausgelöste Purchase Events. Solche Werte bilden keinen echten wirtschaftlichen Vorgang ab. Du solltest sie anhand einer vorab definierten Datenregel aus beiden Varianten entfernen.

Eine echte und bezahlte Großbestellung bleibt dagegen grundsätzlich Teil der Hauptauswertung. Das gilt auch dann, wenn sie das Ergebnis stark beeinflusst. Entfernst du sie erst nach einem Blick auf das Ergebnis, passt du die Daten an deine gewünschte Entscheidung an.

Prüfe für jede auffällige Bestellung diese Punkte:

• Existiert die Bestellung tatsächlich im Shopify Admin?
• Hat der Kunde die Bestellung bezahlt und nicht vollständig storniert?
• Stimmen Shopwährung und ausgewertete Währung überein?
• Hat das Tracking den Umsatz genau einmal erfasst?
• Gehört der Besucher eindeutig zur ausgewiesenen Variante?
• Entspricht die Bestellung einem realistischen Kauf in diesem Shop?

Dokumentiere jeden Ausschluss mit Grund und Bestellnummer. So bleiben deine Analysen nachvollziehbar und du erhältst vollständig auswertbare Tests.

Mini Case: Eine Bestellung verändert den Gewinner

Ein Shopify Shop testet eine neue Darstellung seiner Mengenrabatte. Variante A und Variante B erreichen jeweils 50.000 Besucher.

• Variante A erzielt 150.000 EUR Umsatz. Der ARPU beträgt 3,00 EUR.
• Variante B erzielt 157.500 EUR Umsatz. Der ARPU beträgt 3,15 EUR.
• Der gemessene Uplift von B liegt damit bei 5 Prozent.

In Variante B liegt jedoch eine Bestellung über 12.000 EUR. Ohne diese Bestellung sinkt der Umsatz von B auf 145.500 EUR. Der bereinigte ARPU läge dann bei 2,91 EUR und damit 3 Prozent unter Variante A.

Ein einzelner Kauf dreht die Richtung des Ergebnisses um. Trotzdem liefert das willkürliche Entfernen keine bessere Antwort. Wenn die Bestellung gültig ist, gehören beide Perspektiven in die Auswertung.

Ich würde in diesem Fall den unveränderten ARPU als primäre Kennzahl beibehalten. Zusätzlich würde ich den ARPU mit einer vorab festgelegten Begrenzung extremer Bestellwerte, die Conversion Rate, den durchschnittlichen Bestellwert und den Umsatzanteil der größten Bestellungen analysieren. Zeigen diese Kennzahlen gegensätzliche Richtungen, behandle ich B noch nicht als nachgewiesenen Gewinner.

Je nach geplanter Minimal Detectable Effect kann mehr Traffic die Unsicherheit reduzieren. Eine spontane Verlängerung mit täglichem Blick auf das Ergebnis schafft dagegen ein neues statistisches Problem.

Nutze robuste Kennzahlen als Sensitivitätsanalyse

Robuste Kennzahlen ersetzen den primären ARPU nicht automatisch. Sie zeigen dir, ob dein Ergebnis von wenigen Beobachtungen abhängt. Diese Prüfung nennt sich Sensitivitätsanalyse.

Winsorisierter ARPU

Beim Winsorisieren begrenzt du extreme Bestellwerte auf einen vorher festgelegten Schwellenwert. Liegt die Grenze beispielsweise beim 99,5. Perzentil und beträgt dort der Bestellwert 800 EUR, fließt eine Bestellung über 12.000 EUR mit 800 EUR in die ergänzende Analyse ein.

Lege das Perzentil vor dem Start fest. Eine Grenze, die du erst nach Sichtung des Ergebnisses auswählst, eröffnet zu viel Entscheidungsspielraum.

Getrimmter Mittelwert

Ein getrimmter Mittelwert entfernt einen festen Anteil an beiden Rändern der Verteilung. Bei Umsatzdaten liegt ein großer Teil der Beobachtungen bei null, weil viele Besucher nichts kaufen. Deshalb lässt sich diese Methode für ARPU schwerer interpretieren als Winsorisieren.

Bootstrap Konfidenzintervalle

Ein Bootstrap zieht wiederholt Stichproben aus den beobachteten Besuchern und berechnet für jede Stichprobe den ARPU Unterschied. Dadurch erkennst du, wie stark einzelne Umsatzwerte das Intervall verbreitern. Auch diese Methode kann einen dominierenden Großauftrag nicht wegzaubern, sie macht die Unsicherheit jedoch sichtbar.

Umsatzkonzentration

Berechne zusätzlich, welchen Anteil die größte Bestellung sowie die größten fünf Bestellungen am Variantenumsatz haben. Wenn fünf Bestellungen 20 Prozent des Umsatzes erklären, solltest du den Uplift vorsichtig interpretieren. Die genaue Grenze hängt vom Geschäftsmodell und von der üblichen Warenkorbverteilung ab.

Lege deine Ausreißerregeln vor dem Test fest

Ein konsistenter Prozess verhindert, dass das gewünschte Ergebnis über Einzelfallentscheidungen bestimmt. Ich nutze dafür eine kurze Auswertungsrichtlinie, die für alle Tests eines Shops gilt.

1. Wir legen den unveränderten ARPU als primäre wirtschaftliche Kennzahl fest.
2. Wir definieren technische Ausschlussgründe wie doppelte Events, interne Testkäufe und ungültige Währungswerte.
3. Wir bestimmen vorab eine ergänzende robuste Methode, zum Beispiel Winsorisieren beim 99,5. Perzentil.
4. Ich prüfe auffällige Bestellungen gegen Shopify und das Tracking.
5. Ich berechne Hauptanalyse und Sensitivitätsanalyse getrennt.
6. Wir treffen die Entscheidung anhand von Effekt, Unsicherheit und wirtschaftlicher Plausibilität.
7. Ich halte Regeln, Abweichungen und Entscheidung in der Testdokumentation fest.

Diese Regeln gehören in dein übergreifendes Testing Programm. Eine strukturierte A/B-Test Dokumentation sorgt dafür, dass dein Team bei späteren Tests dieselben Maßstäbe anlegt.

Wann du keinen Rollout starten solltest

Ein positiver ARPU allein rechtfertigt keinen Rollout, wenn eine einzelne Bestellung den gesamten Effekt erzeugt. Das Ergebnis kann wirtschaftlich echt sein und trotzdem zu unsicher für eine dauerhafte Änderung bleiben.

Ich empfehle eine zurückhaltende Entscheidung, wenn Hauptanalyse und robuste Analyse unterschiedliche Richtungen zeigen, wenn eine Bestellung den Uplift vollständig erklärt oder wenn ein Trackingfehler die Zuordnung infrage stellt. Dann kann ein Wiederholungstest sinnvoller sein als eine nachträgliche Bereinigung.

Bei Managed A/B-Testing übernehme ich die direkte Verantwortung für Planung, technische Prüfung und Auswertung. Die auf der Leistungsseite beschriebene ARPU Garantie regelt den wirtschaftlichen Rahmen. Im einzelnen Test zählt dennoch die belastbare Evidenz und kein isolierter Spitzenwert.

Häufige Fragen

Sollte ich jede ungewöhnlich große Bestellung entfernen?

Nein. Eine echte, bezahlte Bestellung gehört grundsätzlich zur Hauptanalyse. Entferne nur Werte, die nach einer vorab definierten Regel auf technische Fehler, interne Käufe oder ungültige Transaktionen zurückgehen.

Welches Perzentil eignet sich für Winsorisieren?

Häufig eignen sich das 99. oder 99,5. Perzentil als Ausgangspunkt. Die passende Grenze hängt von Besucherzahl, Bestellverteilung und Geschäftsmodell ab. Entscheidend ist, dass du sie vor der Auswertung festlegst.

Kann ich statt ARPU einfach die Conversion Rate nutzen?

Die Conversion Rate ignoriert Veränderungen beim Bestellwert. Ein Test kann mehr Käufe und zugleich weniger Umsatz pro Besucher erzeugen. Nutze die Conversion Rate deshalb als Diagnosemetrik und den ARPU als wirtschaftliche Hauptmetrik.

Hilft eine längere Testlaufzeit gegen Ausreißer?

Mehr Besucher reduzieren meist den relativen Einfluss einzelner Bestellungen. Verlängere den Test jedoch nicht beliebig nach einem auffälligen Zwischenstand. Plane Laufzeit und Stichprobengröße vor dem Start.

Was mache ich bei widersprüchlichen Analysen?

Prüfe zuerst Tracking, Zahlungsstatus und Variantenzuordnung. Bleiben die Richtungen unterschiedlich, fehlt dir ein nachgewiesener Gewinner. Dokumentiere das Ergebnis und plane bei ausreichendem wirtschaftlichem Potenzial einen Wiederholungstest.

Du willst in deinem Shop testen statt raten? Wenn du eine D2C-Brand ab 200.000 EUR Monatsumsatz führst, zeige ich dir in einem kostenlosen Testing-Audit in 30 Minuten, wo dein größter Hebel liegt. Termin buchen. Wenn du noch nicht so weit bist, starte mit meinen kostenlosen Frameworks und Checklisten.