A/B-Test Primärmetrik: ARPU statt Conversion Rate wählen
Eine falsch gewählte A/B-Test Primärmetrik kann eine wirtschaftlich bessere Variante verlieren lassen. Besonders häufig passiert das, wenn Teams allein auf die Conversion Rate schauen. Steigt der Warenkorbwert stärker, als die Conversion Rate sinkt, liefert die Variante trotzdem mehr Umsatz pro Besucher (ARPU). Ohne klare Metrikhierarchie diskutiert das Team nach jedem Test neu, welche Kennzahl zählt. Das verzögert den Rollout und erhöht das Risiko, einen nachgewiesenen Gewinner abzulehnen.
Die A/B-Test Primärmetrik bestimmt den wirtschaftlichen Gewinner
Die Primärmetrik beantwortet die zentrale Frage des Experiments. Für viele Shopify Shops lautet diese Frage: Erzeugt die Variante mehr Umsatz aus dem vorhandenen Traffic? Dann eignet sich der Umsatz pro Besucher (ARPU) meist besser als die Conversion Rate.
ARPU verbindet zwei wichtige Effekte:
- Wie viele Besucher bestellen?
- Wie viel Umsatz erzeugt jede Bestellung?
Du berechnest die Kennzahl mit Umsatz geteilt durch eindeutige Besucher. Alternativ kannst du sie als Conversion Rate mal durchschnittlicher Bestellwert ausdrücken. Dadurch erfasst ARPU gegenläufige Veränderungen bei Bestellrate und Warenkorbwert.
Die Conversion Rate betrachtet dagegen jede Bestellung gleich. Eine Bestellung über 40 EUR zählt genauso wie eine Bestellung über 140 EUR. Das macht die Kennzahl leicht verständlich, aber für Umsatzentscheidungen oft unvollständig.
Das bedeutet nicht, dass jeder Test ARPU als Primärmetrik braucht. Ein Test für Newsletter Anmeldungen, eine technische Fehlerbehebung oder ein Experiment mit langfristigem Abonnementziel kann eine andere Kennzahl erfordern. Entscheidend ist die direkte Verbindung zwischen Primärmetrik und wirtschaftlichem Ziel.
Primärmetrik, Diagnosemetriken und Guardrails trennen
Eine belastbare Auswertung gibt jeder Kennzahl eine feste Rolle. Sonst sucht sich das Team nach Testende die angenehmste Zahl aus.
Eine Primärmetrik entscheidet
Lege genau eine Primärmetrik fest. Sie entscheidet, ob du eine Variante ausrollst, verwirfst oder weiter untersuchst. Bei einem typischen Produktseiten Test kann das ARPU sein.
Diagnosemetriken erklären den Effekt
Diagnosemetriken zeigen, wodurch sich die Primärmetrik verändert hat. Dazu gehören Conversion Rate, durchschnittlicher Bestellwert, Add to Cart Rate und Checkout Rate. Sie helfen bei der Interpretation, ersetzen aber nicht die vorher vereinbarte Entscheidungsmetrik.
Guardrails begrenzen unerwünschte Nebenwirkungen
Guardrails schützen Bereiche, die der Test nicht beschädigen darf. Beispiele sind Stornoquote, Retourenquote, Seitenladezeit oder Supportkontakte. Wie du diese Grenzen formulierst, zeige ich im Beitrag zu Guardrail Metriken im A/B-Test.
Diese Hierarchie schafft direkte Verantwortung. Die Primärmetrik entscheidet, Diagnosemetriken erklären und Guardrails schützen.
Mini Case: Weniger Bestellungen und trotzdem mehr ARPU
Ein Shopify Shop testet auf der Produktseite eine neue Mengenstaffel. Beide Varianten erreichen jeweils 25.000 Besucher.
- Die Kontrolle erzielt 800 Bestellungen, 60.000 EUR Umsatz und einen durchschnittlichen Bestellwert von 75 EUR.
- Die Variante erzielt 750 Bestellungen, 63.000 EUR Umsatz und einen durchschnittlichen Bestellwert von 84 EUR.
Für die Kontrolle ergibt sich:
Conversion Rate = 800 / 25.000 = 3,20 Prozent
ARPU = 60.000 EUR / 25.000 = 2,40 EUR
Für die Variante ergibt sich:
Conversion Rate = 750 / 25.000 = 3,00 Prozent
ARPU = 63.000 EUR / 25.000 = 2,52 EUR
Die Conversion Rate sinkt relativ um 6,25 Prozent. Gleichzeitig steigt der durchschnittliche Bestellwert um 12 Prozent. Unter dem Strich erhöht sich der beobachtete ARPU um 5 Prozent.
Ein Team mit Conversion Rate als Primärmetrik würde die Variante wahrscheinlich ablehnen. Ein Team mit ARPU als Primärmetrik erkennt den positiven Umsatzeffekt. Trotzdem reicht der beobachtete Unterschied allein noch nicht für einen Rollout. Die statistische Auswertung muss zeigen, wie groß die Unsicherheit ist. Zusätzlich prüft das Team vorab definierte Guardrails wie Retouren und Stornos.
So legst du die Primärmetrik vor dem Test fest
Die folgende Reihenfolge verhindert nachträgliche Metrikwechsel und macht vollständig auswertbare Tests wahrscheinlicher.
- Formuliere die wirtschaftliche Entscheidung. Halte fest, welche Entscheidung nach dem Test ansteht. Ein Beispiel lautet: Soll die neue Mengenstaffel auf allen berechtigten Produktseiten live gehen?
- Bestimme den erwarteten Mechanismus. Die Mengenstaffel soll mehr Einheiten pro Bestellung erzeugen. Gleichzeitig könnte sie Besucher ohne Mengenbedarf vom Kauf abhalten.
- Wähle die Kennzahl, die beide Effekte erfasst. ARPU berücksichtigt in diesem Fall sowohl Conversion Rate als auch Bestellwert.
- Definiere Besucher und Umsatz exakt. Lege fest, welche Sitzungen oder Nutzer zählen, welchen Zeitraum du für Bestellungen nutzt und wie du Stornos behandelst.
- Bestimme Diagnosemetriken und Guardrails. Nutze wenige Kennzahlen, die den vermuteten Mechanismus und relevante Risiken abdecken.
- Schreibe die Entscheidungsregel vor dem Start auf. Dokumentiere Mindestlaufzeit, statistisches Verfahren, akzeptable Unsicherheit und Rollout Kriterien.
Eine präzise Hypothese erleichtert diese Arbeit. Der Beitrag zur A/B-Test Hypothese zeigt, wie du aus einer Idee eine messbare Frage entwickelst. Für einen wiederholbaren Ablauf brauchst du zusätzlich ein festes Testing System, das diese Definitionen vor jedem Start verlangt.
Vier Fehler bei der Wahl der Primärmetrik
Du wählst die Kennzahl mit der höchsten Sensitivität
Add to Cart reagiert oft schneller als Umsatz. Eine sensitive Kennzahl hilft aber wenig, wenn ihr Zusammenhang mit dem wirtschaftlichen Ergebnis schwach ist. Nutze solche Funnel Kennzahlen zur Diagnose, nicht automatisch zur Entscheidung.
Du wechselst nach dem Ergebnis die Kennzahl
Wenn ARPU negativ und Conversion Rate positiv ausfällt, wirkt ein nachträglicher Wechsel verlockend. Damit passt du die Entscheidungslogik an beobachtete Daten an. Dokumentiere deshalb Primärmetrik und Regel vor dem Start.
Du ignorierst Marge, Retouren oder Stornos
ARPU misst Bruttoumsatz, aber keine Profitabilität. Bei stark unterschiedlichen Produktmargen kann ein Deckungsbeitrag pro Besucher die passendere Primärmetrik sein. Wenn Retouren erst später eintreffen, solltest du sie als Guardrail oder in einer nachgelagerten Validierung berücksichtigen.
Du misst Besucher und Umsatz auf unterschiedlichen Ebenen
Wenn das Tool Besucher zuweist, aber dein Tracking Sitzungen auswertet, passen Nenner und Randomisierung nicht zusammen. Ein wiederkehrender Besucher kann dann mehrfach in die Berechnung eingehen. Prüfe deshalb Identität, Zuweisung und Umsatzattribution gemeinsam. Einen Überblick über die technischen und statistischen Bausteine findest du unter Shopify A/B-Testing.
Häufige Fragen
Sollte jeder Shopify Test ARPU als Primärmetrik nutzen?
Nein. ARPU eignet sich besonders für Tests, die Kaufwahrscheinlichkeit oder Warenkorbwert beeinflussen. Bei Lead Generation, Abonnements oder technischen Zielen kann eine andere Kennzahl näher an der wirtschaftlichen Entscheidung liegen.
Kann ich Conversion Rate und ARPU als zwei Primärmetriken verwenden?
Zwei gleichwertige Primärmetriken erzeugen Konflikte, sobald sie in unterschiedliche Richtungen zeigen. Lege eine entscheidende Kennzahl fest und nutze die andere als Diagnosemetrik. So bleibt die Rollout Entscheidung konsistent.
Wie behandle ich Rabatte bei der ARPU Berechnung?
Nutze den Umsatz nach Rabatt, wenn dieser Betrag dein wirtschaftliches Ergebnis besser abbildet. Dokumentiere genau, ob Steuern, Versand, Stornos und Rückerstattungen einfließen. Verwende in Kontrolle und Variante dieselbe Definition.
Reicht ein positiver ARPU Unterschied für den Rollout?
Nein. Du brauchst zusätzlich eine statistische Bewertung der Unsicherheit und erfüllte Guardrails. Prüfe außerdem, ob Trackingfehler, ungewöhnliche Großbestellungen oder saisonale Ereignisse das Ergebnis verzerren.
Was mache ich bei höherem ARPU und höherer Retourenquote?
Vergleiche den ARPU Vorteil mit dem vorab festgelegten Retouren Guardrail. Verletzt die Variante diese Grenze, solltest du sie nicht unverändert ausrollen. Untersuche zuerst, welche Produkte oder Botschaften die zusätzlichen Retouren verursachen.
Du willst in deinem Shop testen statt raten? Wenn du eine D2C-Brand ab 200.000 EUR Monatsumsatz führst, zeige ich dir in einem kostenlosen Testing-Audit in 30 Minuten, wo dein größter Hebel liegt. Termin buchen. Wenn du noch nicht so weit bist, starte mit meinen kostenlosen Frameworks und Checklisten.
