A/B-Test Auswertung: ARPU korrekt als Hauptmetrik nutzen

Eine A/B-Test Auswertung kann einen scheinbaren Verlierer zum wirtschaftlich besseren Ergebnis machen. Das passiert, wenn dein Team nur auf die Conversion Rate schaut. Für viele Shopify Brands eignet sich der Umsatz pro Besucher (ARPU) besser als primäre Zielmetrik. Er verbindet Kaufwahrscheinlichkeit und Bestellwert. Ohne eine saubere Berechnung, feste Umsatzdefinition und statistische Unsicherheit führt aber auch der ARPU zu falschen Entscheidungen.

A/B-Test Auswertung beginnt beim wirtschaftlichen Ziel

Die primäre Metrik entscheidet, welche Variante gewinnt. Deshalb solltest du sie vor dem Start festlegen. Für einen Test auf der Produktseite kann das die Conversion Rate sein. Bei Mengenrabatten, Bundles, Upsells oder Schwellenwerten für kostenlosen Versand bildet der ARPU das wirtschaftliche Ergebnis oft besser ab.

Die Berechnung ist einfach:

ARPU = zugeordneter Umsatz / randomisierte Besucher

Die Definition hinter den beiden Bestandteilen braucht mehr Aufmerksamkeit. Ein Besucher muss während des gesamten Tests derselben Variante zugeordnet bleiben. Beim Umsatz musst du vorab entscheiden, ob du Bruttoumsatz, Nettoumsatz oder Umsatz nach Rabatten verwendest. Stornierungen und Erstattungen brauchen ebenfalls eine feste Regel.

Ich dokumentiere diese Entscheidungen vor dem Launch in einem Messplan. Das schafft vollständig auswertbare Tests und verhindert, dass eine Definition nach dem Blick auf die Ergebnisse geändert wird. Einen Überblick über den gesamten Ablauf findest du in meinem Leitfaden zu Shopify A/B-Testing.

Warum die Conversion Rate allein zu kurz greift

Die Conversion Rate misst den Anteil der Besucher mit einer Bestellung. Sie berücksichtigt jedoch nicht, wie viel Umsatz diese Bestellungen erzeugen. Eine Variante kann weniger Käufer überzeugen und trotzdem mehr Umsatz pro Besucher erzielen.

Das ist bei folgenden Tests besonders relevant:

• Mengenrabatte und Produktbundles
• Upsells im Warenkorb
• Geschenkzugaben ab einem Mindestwert
• Schwellenwerte für kostenlosen Versand
• Änderungen an Preisankern oder Produktgrößen

Der ARPU erfasst den gemeinsamen Effekt aus Conversion Rate und durchschnittlichem Bestellwert. Trotzdem solltest du beide Komponenten zusätzlich prüfen. Sie erklären, warum sich die Hauptmetrik verändert hat.

Auch Guardrails bleiben wichtig. Eine Variante mit höherem ARPU kann gleichzeitig mehr Erstattungen, schlechtere Lieferfähigkeit oder auffällige Checkout Abbrüche verursachen. Wie du solche Risiken kontrollierst, zeige ich im Beitrag über A/B-Test Guardrail-Metriken.

Rechenbeispiel mit niedrigerer Conversion Rate

Angenommen, ein Shopify Shop testet eine neue Darstellung für ein Produktbundle. Beide Varianten erhalten jeweils 40.000 randomisierte Besucher.

• Die Kontrolle erzielt 1.200 Bestellungen und 96.000 EUR Umsatz.
• Die Variante erzielt 1.160 Bestellungen und 100.920 EUR Umsatz.

Für die Kontrolle ergibt sich eine Conversion Rate von 3,00 Prozent. Der durchschnittliche Bestellwert liegt bei 80 EUR. Der ARPU beträgt 2,40 EUR.

96.000 EUR / 40.000 Besucher = 2,40 EUR ARPU

Die Variante erreicht eine Conversion Rate von 2,90 Prozent. Ihr durchschnittlicher Bestellwert steigt auf 87 EUR. Daraus ergibt sich ein ARPU von 2,523 EUR.

100.920 EUR / 40.000 Besucher = 2,523 EUR ARPU

Relativer Unterschied = 2,523 / 2,40 minus 1
Relativer Unterschied = 5,125 Prozent

Wer nur die Conversion Rate betrachtet, verwirft die Variante möglicherweise. Der ARPU zeigt dagegen einen positiven Punktschätzer von rund 5,1 Prozent. Das reicht noch nicht für einen Rollout. Die Rohdaten müssen zusätzlich zeigen, ob der Unterschied statistisch belastbar ist.

Angenommen, ein Konfidenzintervall reicht von minus 1,4 bis plus 11,9 Prozent. Dann bleibt auch ein negativer Effekt mit den Daten vereinbar. Die Variante ist noch kein nachgewiesener Gewinner. Reicht das Intervall dagegen von plus 0,8 bis plus 9,5 Prozent und bestehen alle Qualitätsprüfungen, spricht die Auswertung für die Variante.

ARPU Schritt für Schritt statistisch auswerten

1. Lege zuerst die Randomisierungseinheit fest. In den meisten Shopify Tests eignet sich der Besucher besser als die Sitzung. Sonst kann dieselbe Person über mehrere Besuche unterschiedliche Varianten sehen.

2. Definiere das Umsatzfenster. Du kannst zum Beispiel alle Bestellungen innerhalb von sieben Tagen nach dem ersten Kontakt zuordnen. Nutze dasselbe Fenster für beide Varianten.

3. Erstelle einen Datensatz mit einer Zeile pro randomisiertem Besucher. Die Zeile enthält Variante, zugeordneten Umsatz und vorher festgelegte Kontrollmerkmale. Besucher ohne Bestellung erhalten einen Umsatz von null.

4. Prüfe die Datenqualität. Kontrolliere die Zuteilung, fehlende Events, doppelte Besucher und Unterschiede zwischen Tracking und Shopify. Ein auffälliges Verhältnis zwischen den Gruppen kann auf einen Sample Ratio Mismatch hinweisen.

5. Berechne den durchschnittlichen Umsatz pro Besucher für beide Gruppen. Teile anschließend den Wert der Variante durch den Wert der Kontrolle, um den relativen Unterschied zu erhalten.

6. Bestimme die statistische Unsicherheit auf Besucherebene. Ein nicht parametrischer Bootstrap kann die stark schiefe Umsatzverteilung abbilden. Dabei zieht die Analyse wiederholt Besucher aus jeder Variante und berechnet die ARPU Differenz neu.

7. Prüfe anschließend Conversion Rate, Bestellwert und definierte Guardrails. Diese Kennzahlen erklären den Effekt und schützen vor einem Rollout mit unerwünschten Nebenwirkungen.

Große Bestellungen können den ARPU stark beeinflussen. Entferne solche Ausreißer nicht nachträglich, nur weil sie das Ergebnis verändern. Lege vor dem Test fest, wie du ungewöhnlich hohe Bestellwerte behandelst. Du kannst eine robuste Zusatzanalyse nutzen oder Werte an einer vorher definierten Grenze begrenzen. Die primäre Auswertung muss der dokumentierten Regel folgen.

Diese Fehler machen ARPU Ergebnisse unzuverlässig

Ein häufiger Fehler entsteht durch unterschiedliche Umsatzquellen. Wenn das Testing Tool den Checkout Umsatz misst und Shopify spätere Änderungen berücksichtigt, vergleichst du zwei Definitionen. Nutze deshalb für beide Varianten dieselbe Datenquelle und dieselbe Zuordnungslogik.

Auch ein zu früher Blick auf die Daten erhöht das Risiko falscher Entscheidungen. Beende einen Test nicht, sobald das gewünschte Ergebnis erscheint. Die geplante Stichprobengröße, vollständige Wochenzyklen und deine statistische Entscheidungsregel bestimmen den Endpunkt. Mehr dazu findest du im Beitrag zur A/B-Test Laufzeit.

Ein weiterer Fehler betrifft Erstattungen. Bei Produkten mit relevanter Rückgabequote kann ein kurzfristiger Umsatzanstieg später verschwinden. Definiere entweder eine feste Nachbeobachtung oder nutze die Erstattungsquote als Guardrail. Beide Ansätze verlangen eine konsequente Anwendung auf Kontrolle und Variante.

Beim Managed A/B-Testing übernehme ich die direkte Verantwortung für Messplan, Implementierung, Betrieb und Auswertung. Wir legen die Zielmetrik vor dem Start gemeinsam fest. Die öffentlich beschriebene ARPU Garantie findest du auf der Leistungsseite.

Häufige Fragen

Ist ARPU immer besser als die Conversion Rate?

Nein. Die passende Hauptmetrik hängt von der Hypothese ab. Bei Tests mit Einfluss auf Preis, Warenkorb oder Bestellgröße bildet der ARPU das wirtschaftliche Ergebnis meist umfassender ab.

Sollte ich Umsatz vor oder nach Rabatten verwenden?

Für viele D2C Tests eignet sich der Umsatz nach Rabatten, weil die Variante den Rabatt selbst beeinflussen kann. Entscheidend ist eine feste Definition vor dem Test, die für beide Gruppen identisch bleibt.

Wie gehe ich mit sehr großen Bestellungen um?

Lege den Umgang mit Ausreißern vor dem Launch fest. Nutze zusätzlich eine robuste Sensitivitätsanalyse, um zu erkennen, ob wenige Bestellungen das gesamte Ergebnis treiben.

Kann ich den ARPU direkt aus dem Testing Tool übernehmen?

Ja, wenn das Tool Besucher stabil zuordnet und deine Umsatzdefinition korrekt abbildet. Gleiche die Werte trotzdem mit Shopify ab und untersuche größere Abweichungen vor der Entscheidung.

Wann ist eine Variante ein nachgewiesener Gewinner?

Die Variante muss deine vorab definierte statistische Entscheidungsregel erfüllen. Zusätzlich dürfen Datenqualität und Guardrails keine relevanten Probleme zeigen. Ein positiver Punktschätzer allein reicht nicht.

Du willst in deinem Shop testen statt raten? Wenn du eine D2C-Brand ab 200.000 EUR Monatsumsatz führst, zeige ich dir in einem kostenlosen Testing-Audit in 30 Minuten, wo dein größter Hebel liegt. Termin buchen. Wenn du noch nicht so weit bist, starte mit meinen kostenlosen Frameworks und Checklisten.