Winsorisierung im A/B-Test: ARPU robust auswerten

Ein einziger ungewöhnlich großer Warenkorb kann einen Shopify Test drehen. Die Variante sieht wie ein Gewinner aus, obwohl eine Großbestellung den Unterschied verursacht. Winsorisierung im A/B-Test begrenzt den Einfluss solcher Ausreißer. Du bekommst dadurch eine stabilere Schätzung für den Umsatz pro Besucher (ARPU), musst aber vor dem Start klare Regeln festlegen.

Winsorisierung im A/B-Test schützt wirtschaftliche Entscheidungen

Der durchschnittliche ARPU reagiert empfindlich auf extreme Werte. Das betrifft vor allem Shops mit hochpreisigen Bundles, Mengenbestellungen, B2B Käufen oder stark schwankenden Warenkörben. Schon wenige Besucher können einen großen Teil des gemessenen Umsatzunterschieds erzeugen.

Das Problem liegt nicht im hohen Umsatz selbst. Der Umsatz ist real. Du musst vielmehr entscheiden, welche wirtschaftliche Frage dein Test beantworten soll. Willst Du den erwarteten Umsatz über alle Besucher messen, gehören Großbestellungen grundsätzlich dazu. Willst Du den Effekt auf einen typischen D2C Kaufprozess schätzen, können einzelne gewerbliche Bestellungen das Ergebnis unbrauchbar machen.

Eine hohe Varianz verlängert außerdem die benötigte Testdauer. Der Test braucht mehr Besucher, um einen gegebenen Effekt zuverlässig zu erkennen. Wie Effektgröße, Traffic und Laufzeit zusammenhängen, erkläre ich im Beitrag zum Minimum Detectable Effect.

Was Winsorisierung mit den Umsatzdaten macht

Bei der Winsorisierung entfernst Du keine Besucher. Stattdessen begrenzt Du extreme Messwerte auf einen vorher bestimmten Schwellenwert. Liegt die Grenze bei 500 EUR Umsatz pro Besucher, fließt ein Besucher mit 1.800 EUR Umsatz als Beobachtung mit 500 EUR in die winsorisierte ARPU Berechnung ein.

Die Methode unterscheidet sich damit vom Trimming. Beim Trimming schließt Du Beobachtungen oberhalb der Grenze vollständig aus. Das verändert die analysierte Population und reduziert die Fallzahl. Die Winsorisierung behält jeden zugeordneten Besucher im Datensatz. Das schützt die Randomisierung und erleichtert die Interpretation.

Die winsorisierte Kennzahl beantwortet allerdings eine andere Frage als der rohe ARPU. Sie schätzt den durchschnittlichen Umsatz unter begrenztem Einfluss extremer Käufe. Deshalb prüfe ich in der Auswertung beide Werte:

• Der rohe ARPU zeigt den tatsächlich erfassten Umsatz je zugeordnetem Besucher.
• Der winsorisierte ARPU zeigt, ob der Effekt auch ohne dominierende Extremwerte besteht.
• Die Anzahl und Verteilung der begrenzten Beobachtungen zeigt, ob eine Variante ungewöhnlich viele Großbestellungen erzeugt.

Für Unsicherheitsintervalle bei schiefen Umsatzdaten eignet sich häufig ein resamplingbasiertes Verfahren. Der Beitrag Bootstrap im A/B-Testing zeigt die Berechnung im Detail.

Wann eine Begrenzung sinnvoll ist

Winsorisierung hilft, wenn seltene Besucherwerte die Varianz dominieren und keinen erwartbaren Teil des normalen Kaufverhaltens darstellen. Typische Fälle sind B2B Bestellungen in einem D2C Shop, Testkäufe des eigenen Teams, offensichtlicher Betrug oder außergewöhnliche Mengenbestellungen für Veranstaltungen.

Bei hochpreisigen Produkten ist mehr Vorsicht nötig. Verkauft ein Shop regelmäßig Möbel oder Schmuck mit vierstelligen Warenkörben, bildet ein hoher Kauf möglicherweise das normale Geschäft ab. Eine zu niedrige Grenze würde dann genau den Umsatz abschneiden, den der Test beeinflussen soll.

Ich prüfe deshalb vor dem Test drei Fragen:

1. Wie häufig traten extreme Warenkörbe in den letzten acht bis zwölf Wochen auf?
2. Gehören diese Käufe zur Zielgruppe und zum erwarteten Bestellverhalten?
3. Kann die getestete Änderung die Häufigkeit großer Warenkörbe plausibel beeinflussen?

Wenn ein Bundle Test gezielt den Warenkorb erhöhen soll, darf die Begrenzung diesen Effekt nicht verdecken. Bei einem Test der Produktbildreihenfolge lässt sich der Einfluss einzelner B2B Käufe eher separat betrachten.

Schwellenwert vor dem Test festlegen

Du solltest die Grenze niemals anhand des sichtbaren Testergebnisses auswählen. Sonst könntest Du so lange verschiedene Grenzwerte prüfen, bis die gewünschte Variante gewinnt. Das erhöht das Risiko einer falschen Entscheidung.

Eine belastbare Vorgehensweise umfasst fünf Schritte:

1. Nutze historische Besucherdaten aus einem Zeitraum ohne laufenden Test.
2. Berechne den gesamten Umsatz pro Besucher. Fasse mehrere Bestellungen desselben Besuchers zusammen, sofern das Identitätsmodell dies erlaubt.
3. Untersuche hohe Quantile wie 99,5 und 99,9 Prozent sowie fachlich begründete Betragsgrenzen.
4. Dokumentiere den Schwellenwert, die primäre Kennzahl und die ergänzenden Prüfungen vor dem Teststart.
5. Wende exakt dieselbe Regel auf Kontrolle und Variante an.

Der Schwellenwert muss für beide Gruppen identisch sein. Ein getrennt berechnetes Quantil je Variante kann echte Verteilungsunterschiede abschwächen. Ich bestimme die Regel deshalb anhand historischer Daten oder einer vorab definierten, gepoolten Verteilung.

Diese Festlegung gehört in den Analyseplan des Tests. Ein strukturiertes Testing Programm hält solche Regeln zentral fest, damit nicht jeder Test eine neue Auswertungslogik erhält.

Mini Case mit 200.000 Besuchern

Ein Shopify Shop testet eine neue Darstellung für Mengenrabatte. Kontrolle und Variante erhalten jeweils 100.000 Besucher. Ohne außergewöhnliche Großkäufe erzielt die Kontrolle 210.000 EUR Umsatz. Die Variante erzielt 214.000 EUR.

In der Kontrolle kaufen zusätzlich fünf gewerbliche Kunden für jeweils 5.000 EUR. In der Variante bestellt ein gewerblicher Kunde für 18.000 EUR. Die rohe Auswertung sieht so aus:

• Kontrolle: 235.000 EUR geteilt durch 100.000 Besucher ergibt 2,35 EUR ARPU.
• Variante: 232.000 EUR geteilt durch 100.000 Besucher ergibt 2,32 EUR ARPU.
• Die rohe Differenz beträgt rund minus 1,3 Prozent.

Vor dem Start hatte das Team den Umsatz pro Besucher bei 500 EUR begrenzt. Die fünf Großkäufe der Kontrolle fließen deshalb mit zusammen 2.500 EUR ein. Der Großkauf der Variante fließt mit 500 EUR ein.

• Kontrolle: 212.500 EUR geteilt durch 100.000 Besucher ergibt 2,125 EUR winsorisierten ARPU.
• Variante: 214.500 EUR geteilt durch 100.000 Besucher ergibt 2,145 EUR winsorisierten ARPU.
• Die winsorisierte Differenz beträgt rund plus 0,9 Prozent.

Die Winsorisierung dreht hier das Vorzeichen. Das macht die Variante noch nicht zum nachgewiesenen Gewinner. Ich prüfe zusätzlich das Unsicherheitsintervall, die Bestellrate, den durchschnittlichen Bestellwert und die Herkunft der Großkäufe. Der Case zeigt aber, warum eine reine Betrachtung des rohen Mittelwerts zu einer falschen wirtschaftlichen Schlussfolgerung führen kann.

So entscheide ich bei abweichenden Ergebnissen

Zeigen roher und winsorisierter ARPU in dieselbe Richtung, stärkt das die Entscheidung. Zeigen sie unterschiedliche Richtungen, untersuche ich zuerst die begrenzten Beobachtungen. Dabei geht es um Kundentyp, Bestellmenge, Trafficquelle, Zahlungsstatus und mögliche Testbestellungen.

Ich behandle die winsorisierte Kennzahl nicht als nachträglichen Ersatz für ein enttäuschendes Ergebnis. Sie muss vorab als primäre Kennzahl oder als fest definierte Robustheitsanalyse feststehen. Die rohe Umsatzwirkung bleibt Teil des Berichts.

Bei Managed A/B-Testing dokumentiere ich diese Regeln vor dem Start und liefere vollständig auswertbare Tests. So können wir nach Testende über das wirtschaftliche Ergebnis entscheiden, statt über eine nachträglich gewählte Berechnungsmethode zu diskutieren.

Häufige Fragen

Welches Quantil eignet sich für die Winsorisierung?

Es gibt keinen universellen Grenzwert. Häufig dienen das 99,5 oder 99,9 Prozent Quantil als Ausgangspunkt. Die passende Grenze hängt von Warenkorbverteilung, Geschäftsmodell und Testhypothese ab.

Sollte ich jeden ARPU Test winsorisieren?

Nein. Bei einer stabilen Umsatzverteilung bringt die Methode wenig und erschwert die Interpretation. Ich nutze sie, wenn historische Daten einen starken Einfluss seltener Extremwerte zeigen.

Darf ich den Schwellenwert während des Tests ändern?

Eine Änderung während des Tests schafft zusätzlichen Entscheidungsspielraum und kann das Ergebnis verzerren. Falls ein technischer Sonderfall eine Anpassung erzwingt, dokumentiere ich die Änderung und werte die ursprüngliche Regel weiterhin aus.

Kann ich Großbestellungen einfach löschen?

Nur wenn Du vorab klare Ausschlusskriterien definiert hast, etwa interne Testbestellungen oder stornierte Käufe. Reale Kundenbestellungen pauschal zu löschen verändert die Zielpopulation. Winsorisierung erhält diese Besucher mit begrenztem Einfluss.

Ersetzt Winsorisierung eine Signifikanzprüfung?

Nein. Die Methode reduziert den Einfluss extremer Werte, trifft aber keine Aussage über statistische Unsicherheit. Du brauchst weiterhin ein geeignetes Intervall oder einen vorab festgelegten statistischen Test.

Du willst in deinem Shop testen statt raten? Wenn du eine D2C-Brand ab 200.000 EUR Monatsumsatz führst, zeige ich dir in einem kostenlosen Testing-Audit in 30 Minuten, wo dein größter Hebel liegt. Termin buchen. Wenn du noch nicht so weit bist, starte mit meinen kostenlosen Frameworks und Checklisten.