Retouren im A/B-Test: Gewinner nach Nettoumsatz wählen

Retouren im A/B-Test können aus einem vermeintlichen Gewinner einen wirtschaftlichen Verlierer machen. Das passiert besonders bei Tests zu Rabatten, Bundles, Größenberatung oder Produktdarstellung. Das Testing Tool zeigt kurzfristig mehr Bestellumsatz. Die Erstattungen treffen jedoch erst Tage oder Wochen später ein. Wenn du den Rollout vorher beschließt, optimierst du deinen Shop womöglich auf Umsatz, den du später zurückzahlst.

Retouren im A/B-Test verändern die Gewinnerwahl

Für die wirtschaftliche Entscheidung zählt der Umsatz pro Besucher (ARPU). Viele Setups berechnen diese Kennzahl direkt nach der Bestellung. Sie teilen den erfassten Bestellumsatz durch alle Besucher einer Variante. Diese Berechnung reagiert schnell, berücksichtigt aber keine späteren Erstattungen.

Das Problem betrifft vor allem Tests, die Kaufentscheidungen stark beeinflussen. Ein aggressiver Mengenrabatt kann mehr Bestellungen auslösen, obwohl Kunden einen Teil der Ware zurückschicken. Eine verkürzte Produktbeschreibung kann die Conversion Rate erhöhen, während fehlende Informationen später mehr Retouren verursachen.

Der Effekt muss nicht groß sein, um eine Entscheidung zu drehen. Wenn eine Variante den Brutto ARPU um 4 Prozent erhöht und zugleich die Erstattungen deutlich steigen, kann der Netto ARPU unter den Wert der Kontrolle fallen. Deshalb gehört die Retourenlogik bereits in den Messplan. Einen Überblick über weitere technische und statistische Grundlagen findest du auf meiner Seite zu Shopify A/B-Testing.

Lege vor dem Start eine klare Umsatzdefinition fest

Ein vollständig auswertbarer Test braucht eine feste Definition des Umsatzes. Sonst vergleichst du während der Laufzeit unterschiedliche Zahlen oder entscheidest nach der Kennzahl, die gerade am besten aussieht.

Brutto ARPU für die frühe Beobachtung

Der Brutto ARPU nutzt den Bestellumsatz zum Zeitpunkt des Kaufs. Er hilft bei der operativen Kontrolle und zeigt früh, ob eine Variante das Kaufverhalten verändert. Für den endgültigen Rollout reicht er bei retourenrelevanten Tests häufig nicht aus.

Netto ARPU für die Entscheidung

Der Netto ARPU zieht Erstattungen vom ursprünglichen Bestellumsatz ab. Die Berechnung lautet:

Netto ARPU = (Bestellumsatz minus Erstattungen) / zugeordnete Besucher

Du solltest vorab klären, ob die Kennzahl Steuern, Versandkosten, Teilrückerstattungen, Stornierungen und Gutscheine enthält. Die genaue Definition hängt von deinem Finanzmodell ab. Entscheidend ist, dass Kontrolle und Variante dieselben Regeln verwenden.

Deckungsbeitrag als zusätzliche Sicht

Bei hohen Versandkosten oder teurer Retourenbearbeitung kann der Netto ARPU weiterhin zu optimistisch wirken. Dann ergänzt du Kosten für Versand, Zahlungsabwicklung, Ware und Retourenbearbeitung. Diese Kennzahl eignet sich als wirtschaftliche Guardrail, sofern dein Shop die Kosten zuverlässig pro Bestellung oder Produktgruppe bereitstellt.

So verbindest du Varianten, Bestellungen und Erstattungen

Shopify kennt Bestellungen und Erstattungen. Dein Testing System kennt die Variantenzuordnung. Für eine belastbare Auswertung musst du beide Datenquellen über eine stabile Bestellkennung verbinden.

1. Speichere die Testkennung und die Variante beim ersten relevanten Kontakt des Besuchers.
2. Übertrage diese Zuordnung in den Warenkorb und anschließend in die Bestellung. Eine Order ID oder eine eigene Referenz verbindet später beide Datensätze.
3. Speichere den ursprünglichen Bestellumsatz mit einer festen Definition. Halte Steuern, Rabatte und Versand getrennt, wenn du sie später unterschiedlich behandeln willst.
4. Importiere vollständige und teilweise Erstattungen aus Shopify. Ordne jede Erstattung der ursprünglichen Bestellung und damit der ursprünglichen Variante zu.
5. Berechne Brutto ARPU und Netto ARPU auf Besucherebene. Nutze dafür dieselbe Stichprobeneinheit, die du bei der Randomisierung verwendet hast.
6. Schließe die finale Auswertung erst nach dem vorher festgelegten Retourenfenster ab.

Eine Bestellung darf ihre Variante nach dem Kauf nicht verlieren. Das gilt auch dann, wenn der Test bereits beendet ist oder der Kunde die Retoure über einen anderen Kanal anmeldet. Warum die Einheit der Randomisierung zur Auswertung passen muss, erkläre ich ausführlich im Beitrag zur A/B-Test Stichprobeneinheit.

Mini Case: Acht Prozent mehr Umsatz werden zum Verlust

Ein Shopify Shop testet eine prominentere Bundle Option. Je 10.000 Besucher sehen die Kontrolle oder die Variante. Nach zwei Wochen sieht das Ergebnis eindeutig aus:

• Die Kontrolle erzielt 100.000 EUR Bestellumsatz.
• Die Variante erzielt 108.000 EUR Bestellumsatz.
• Der Brutto ARPU liegt damit bei 10,00 EUR und 10,80 EUR.
• Die Variante zeigt zunächst einen Uplift von 8 Prozent.

Der Shop wartet das definierte Retourenfenster ab. Danach enthält die Kontrolle Erstattungen über 10.000 EUR. Bei der Variante summieren sich die Erstattungen auf 19.440 EUR.

1. Für die Kontrolle bleiben 90.000 EUR Nettoumsatz. Der Netto ARPU beträgt 9,00 EUR.
2. Für die Variante bleiben 88.560 EUR Nettoumsatz. Der Netto ARPU beträgt 8,856 EUR.
3. Relativ zur Kontrolle sinkt der Netto ARPU der Variante um 1,6 Prozent.

Die frühe Auswertung hätte den Rollout empfohlen. Die reife Auswertung zeigt das Gegenteil. Die Variante erzeugt mehr Bestellumsatz, verliert aber nach Erstattungen wirtschaftlich gegen die Kontrolle.

Aus diesem Ergebnis folgt trotzdem ein verwertbares Learning. Das Bundle weckt Kaufinteresse, passt aber möglicherweise nicht zur tatsächlichen Produkterwartung. Der nächste Test kann die Zusammenstellung, Größeninformation oder Produktkommunikation verändern. Eine saubere A/B-Test Dokumentation hält diese Verbindung zwischen Ergebnis und Folgefrage fest.

Baue Retouren in deine Entscheidungsregeln ein

Du musst nicht jeden Test mehrere Monate offenhalten. Nutze stattdessen ein festes Reifeprinzip auf Basis deiner eigenen Erstattungsdaten. Wenn 95 Prozent der wertmäßigen Erstattungen innerhalb von 28 Tagen nach Bestellung eintreffen, kannst du 28 Tage als Ausgangspunkt für das Reifefenster prüfen.

Ich trenne dabei drei Zustände:

• Während der Laufzeit beobachte ich Brutto ARPU, Conversion Rate, technische Fehler und frühe Erstattungen.
• Nach dem geplanten Testende friere ich die Besucherzuordnung ein. Bereits erfasste Bestellungen reifen weiter.
• Nach Ablauf des Retourenfensters berechne ich den Netto ARPU und wende die vorab festgelegte Entscheidungsregel an.

Bei einem klaren technischen Fehler kann eine sofortige Reaktion nötig sein. Ein normaler positiver Zwischenstand rechtfertigt dagegen keinen voreiligen Rollout. Der Status sollte dann ausdrücklich als vorläufig gelten.

Im Managed A/B-Testing plane ich solche Reifefenster zusammen mit der Zielmetrik. Ich baue die Zuordnung, überwache die Datenqualität und werte den Test nach der vereinbarten Regel aus. So bleibt die direkte Verantwortung für den nachgewiesenen Gewinner klar.

Häufige Fragen

Muss jeder A/B-Test auf Retouren warten?

Nein. Bei Tests ohne plausiblen Einfluss auf Produktauswahl, Menge oder Erwartung kann der Effekt gering sein. Prüfe trotzdem anhand historischer Daten, ob sich die Erstattungsquote zwischen relevanten Produktgruppen unterscheidet.

Wie lang sollte das Retourenfenster sein?

Nutze die tatsächliche Verteilung deiner Erstattungen statt einer pauschalen Frist. Bestimme zum Beispiel den Zeitpunkt, bis zu dem 90 oder 95 Prozent des Erstattungswerts eingetroffen sind, und dokumentiere diese Schwelle vor dem Test.

Wie behandle ich teilweise Erstattungen?

Ziehe den tatsächlich erstatteten Betrag vom Umsatz der ursprünglichen Bestellung ab. Bei mehreren Erstattungen summierst du alle Beträge innerhalb des definierten Fensters.

Was passiert mit Retouren nach dem Auswertungsfenster?

Führe für das Testing eine feste finale Auswertung durch und beobachte spätere Erstattungen separat. Wenn regelmäßig große Beträge nach dem Fenster eintreffen, verlängerst du das Fenster für zukünftige Tests.

Reicht die Shopify Retourenquote als Kennzahl?

Die Quote allein berücksichtigt den Bestellwert und die Anzahl der zugeordneten Besucher nicht. Für die Gewinnerwahl ist der Netto ARPU meist aussagekräftiger, während die Retourenquote als Diagnosemetrik hilft.

Du willst in deinem Shop testen statt raten? Wenn du eine D2C-Brand ab 200.000 EUR Monatsumsatz führst, zeige ich dir in einem kostenlosen Testing-Audit in 30 Minuten, wo dein größter Hebel liegt. Termin buchen. Wenn du noch nicht so weit bist, starte mit meinen kostenlosen Frameworks und Checklisten.