A/B-Test Exposure: Effekte ohne unbetroffene Besucher messen

Ein wirksames Seitenelement kann im Gesamtergebnis wie ein neutraler Test aussehen, wenn ein großer Teil der zugewiesenen Besucher das Element nie sieht. A/B-Test Exposure löst dieses Problem. Du misst getrennt, wie stark die Änderung bei tatsächlichem Kontakt wirkt und welchen Effekt sie auf den gesamten Umsatz pro Besucher (ARPU) hat. Diese Trennung verhindert, dass du gute Ideen zu früh verwirfst oder einen lokalen Effekt mit dem wirtschaftlichen Gesamtnutzen verwechselst.

A/B-Test Exposure macht lokale Effekte sichtbar

Viele Testing Tools ordnen einen Besucher einer Variante zu, sobald er eine Seite öffnet oder eine Session beginnt. Diese Zuordnung bedeutet noch nicht, dass die Person die getestete Änderung gesehen hat.

Ein Beispiel ist ein neues Vergleichsmodul im unteren Bereich einer Produktseite. Das Tool teilt alle Produktseitenbesucher in Control und Variante auf. Allerdings scrollen vielleicht nur 35 Prozent bis zum Modul. Die übrigen 65 Prozent zählen trotzdem zur Auswertung, obwohl die Änderung ihr Verhalten kaum beeinflussen konnte.

Diese Besucher verdünnen den gemessenen Effekt. Ein Plus von 6 Prozent bei tatsächlichem Kontakt kann dadurch im gesamten zugewiesenen Traffic auf etwa 2 Prozent sinken. Das ist mathematisch korrekt. Es beantwortet allerdings eine andere wirtschaftliche Frage.

Exposure bezeichnet den messbaren Kontakt eines Besuchers mit der getesteten Änderung. Ein Exposure Event sollte auslösen, sobald das Element tatsächlich gerendert und unter einer vorher festgelegten Bedingung sichtbar ist. Die bloße Variantenzuordnung reicht dafür nicht.

Zwei Auswertungen beantworten unterschiedliche Fragen

Für vollständig auswertbare Tests brauche ich meistens zwei Perspektiven. Beide nutzen dieselbe zufällige Zuweisung, betrachten aber unterschiedliche Populationen.

Auswertung aller zugewiesenen Besucher

Die sogenannte Intent to Treat Auswertung umfasst jeden Besucher, den das Testing Tool einer Gruppe zuordnet. Sie zeigt den realen Gesamteffekt im Shop. Wenn nur ein Teil der Besucher die Änderung erreicht, berücksichtigt das Ergebnis genau diese Reichweite.

Diese Sicht entscheidet, ob sich ein vollständiger Rollout wirtschaftlich lohnt. Sie schützt außerdem die Randomisierung, weil spätere Handlungen eines Besuchers keinen Einfluss auf seine Aufnahme in die Analyse haben.

Auswertung der tatsächlich exponierten Besucher

Die Exposure Auswertung umfasst nur Besucher, bei denen das definierte Exposure Event ausgelöst hat. Sie zeigt, ob die Änderung bei tatsächlichem Kontakt wirkt.

Diese Sicht hilft bei der Diagnose. Ein starker Exposure Effekt bei schwachem Gesamteffekt deutet oft auf ein Reichweitenproblem hin. Dann kann die nächste Hypothese das Element früher auf der Seite platzieren oder den Zugang zum betroffenen Bereich verbessern.

Keine der beiden Zahlen ersetzt die andere. Der Gesamteffekt bestimmt den unmittelbaren Business Case. Der Exposure Effekt erklärt den Mechanismus hinter dem Ergebnis.

So definierst du ein valides Exposure Event

Eine ungenaue Definition erzeugt neue Verzerrungen. Besonders problematisch sind Events, die erst nach einer bewussten Interaktion auslösen. Wenn du nur Besucher analysierst, die auf das getestete Element klicken, vergleichst du zwei nachträglich ausgewählte Gruppen. Die Variante selbst kann beeinflussen, wer in diese Gruppen gelangt.

Ich definiere Exposure deshalb vor dem Start anhand eines beobachtbaren technischen Kontakts:

1. Ich lege fest, welches Element oder welcher Zustand die Teständerung enthält.
2. Ich prüfe, wann Shopify und das Theme dieses Element vollständig rendern.
3. Ich definiere eine Sichtbarkeitsschwelle, zum Beispiel 50 Prozent des Elements für mindestens 500 Millisekunden.
4. Ich löse pro Besucher und Test höchstens ein Exposure Event aus.
5. Ich speichere Testkennung, Variante, Zeitpunkt, Session und Besucherkennung.
6. Ich kontrolliere vor dem Launch, ob Control und Variante dieselbe logische Exposure Bedingung nutzen.

Bei Änderungen ohne sichtbares Element gelten andere Regeln. Ein Test an der Suchlogik braucht beispielsweise ein Exposure Event, sobald ein Besucher eine Ergebnisliste erhält, die der getestete Logik unterliegt. Bei einer Preisänderung kann der erste sichtbare Preis den Kontakt markieren.

Die Exposure Regel gehört in die Testdokumentation. Mein Beitrag zur A/B-Test Dokumentation zeigt, welche weiteren Angaben für spätere Learnings wichtig sind.

Mini Case: Ein Produktvergleich mit 40 Prozent Reichweite

Eine Shopify Brand testet auf ihren Produktseiten ein Vergleichsmodul. Je 50.000 Besucher landen in Control und Variante. In beiden Gruppen erreichen 20.000 Besucher den Bereich des Moduls. Die Exposure Rate liegt damit bei 40 Prozent.

• Die Control erzielt mit allen zugewiesenen Besuchern 200.000 EUR Umsatz. Der ARPU liegt bei 4,00 EUR.
• Die Variante erzielt mit allen zugewiesenen Besuchern 204.000 EUR Umsatz. Der ARPU liegt bei 4,08 EUR.
• Der gemessene Gesamteffekt beträgt damit 2 Prozent.

Nun betrachtet das Team die 20.000 exponierten Besucher je Gruppe:

• Die exponierte Control erzielt 80.000 EUR Umsatz. Ihr ARPU beträgt 4,00 EUR.
• Die exponierte Variante erzielt 84.000 EUR Umsatz. Ihr ARPU beträgt 4,20 EUR.
• Der lokale Effekt bei Kontakt beträgt 5 Prozent.

Die beiden Ergebnisse widersprechen sich nicht. Das Modul verbessert den ARPU bei Besuchern, die es erreichen, um 5 Prozent. Wegen der Reichweite von 40 Prozent bleiben im gesamten zugewiesenen Traffic rund 2 Prozent übrig.

Für den Rollout zählt zunächst der Gesamteffekt. Für die nächste Hypothese ist der Exposure Effekt besonders wertvoll. Wenn die Brand das Modul weiter oben platziert und seine Reichweite von 40 auf 70 Prozent erhöht, könnte sie einen größeren Gesamteffekt erzielen. Diese Annahme braucht einen neuen Test. Eine Hochrechnung allein macht aus der Idee noch keinen nachgewiesenen Gewinner.

Exposure Tracking in Shopify technisch umsetzen

Die Zuweisung und das Exposure Event müssen dieselbe stabile Besucherkennung verwenden. Sonst kann das Analysesystem den Kontakt nicht zuverlässig mit Bestellung und Umsatz verbinden. Wie du Käufe und Varianten zusammenführst, erkläre ich ausführlich im Beitrag zum A/B-Test Tracking in Shopify.

Ein nützliches Exposure Event enthält mindestens diese Felder:

• Eine eindeutige Testkennung
• Die zugewiesene Variante
• Eine stabile Besucherkennung
• Die aktuelle Session
• Den Zeitstempel des ersten Kontakts
• Den Seitentyp und die relevante Produktkennung
• Die Version der Testimplementierung

Das Theme sollte das Event erst nach erfüllter Sichtbarkeitsbedingung senden. Eine Browser API wie IntersectionObserver eignet sich für sichtbare Elemente. Bei dynamisch geladenen Sections muss die Logik zusätzlich auf erneutes Rendering reagieren.

Ich prüfe im QA Prozess außerdem, ob ein Besucher das Event mehrfach sendet, ob Theme Wechsel die Kennung löschen und ob Consent Einstellungen das Event blockieren. Fehlende Events können die Exposure Rate zwischen Geräten oder Traffic Quellen unterschiedlich verzerren.

Vor dem ersten produktiven Test empfiehlt sich ein technischer Probelauf. Ein A/A-Test zeigt, ob Zuweisung, Exposure und Umsatzdaten zwischen identischen Gruppen erwartungsgemäß übereinstimmen.

Welche Zahl deine Entscheidung steuern sollte

Für die Entscheidung über einen dauerhaften Rollout nutze ich primär das Ergebnis aller zufällig zugewiesenen Besucher. Diese Population bildet ab, welchen Effekt die Änderung im aktuellen Shop tatsächlich erzeugt.

Die Exposure Analyse nutze ich als erklärende Zusatzanalyse. Sie kann drei typische Situationen aufdecken:

• Ein positiver Gesamteffekt und ein positiver Exposure Effekt stützen denselben Mechanismus.
• Ein neutraler Gesamteffekt bei positivem Exposure Effekt weist auf begrenzte Reichweite hin.
• Ein positiver Gesamteffekt ohne passenden Exposure Effekt verlangt eine Prüfung von Tracking, Nebeneffekten und Testaufbau.

Ich lege beide Auswertungen vor dem Launch fest. Eine nachträgliche Auswahl der attraktiveren Population erhöht das Risiko einer falschen Entscheidung. Das gilt besonders, wenn ein Team viele Exposure Definitionen, Segmente oder Zeitfenster ausprobiert.

Im Managed A/B-Testing plane ich deshalb Zuweisung, Exposure Logik und Hauptmetrik gemeinsam als Teil eines Tests. Wir legen vorab fest, welche Zahl die Rollout Entscheidung trägt und welche Analysen den Effekt erklären sollen.

Häufige Fragen

Was ist der Unterschied zwischen Assignment und Exposure?

Assignment bezeichnet die zufällige Zuweisung zu Control oder Variante. Exposure bezeichnet den tatsächlichen Kontakt mit der getesteten Änderung. Ein Besucher kann zugewiesen sein, ohne die Änderung jemals zu sehen.

Soll ich nur exponierte Besucher auswerten?

Nein. Die Exposure Population zeigt den lokalen Effekt, kann den wirtschaftlichen Gesamtnutzen aber überschätzen. Für den Rollout solltest du zusätzlich alle zufällig zugewiesenen Besucher analysieren.

Darf ein Klick als Exposure Event gelten?

Meistens eignet sich ein Klick nicht als primäres Exposure Event. Die Variante kann die Klickwahrscheinlichkeit selbst verändern und dadurch die analysierten Gruppen verzerren. Nutze besser einen technischen Kontakt vor der bewussten Reaktion.

Wie hoch sollte die Exposure Rate sein?

Es gibt keinen universellen Mindestwert. Eine niedrige Rate reduziert den Gesamteffekt und verlängert häufig die nötige Laufzeit. Entscheidend ist, ob die Rate zur Position und Funktion des getesteten Elements passt.

Brauche ich Exposure Tracking bei jedem A/B-Test?

Bei globalen Änderungen wie einer sichtbaren Navigationsleiste reicht die Variantenzuweisung oft als Annäherung. Bei Elementen unterhalb des sichtbaren Bereichs, geöffneten Modalen oder bestimmten Funnel Schritten liefert ein eigenes Exposure Event deutlich bessere Diagnosen.

Du willst in deinem Shop testen statt raten? Wenn du eine D2C-Brand ab 200.000 EUR Monatsumsatz führst, zeige ich dir in einem kostenlosen Testing-Audit in 30 Minuten, wo dein größter Hebel liegt. Termin buchen. Wenn du noch nicht so weit bist, starte mit meinen kostenlosen Frameworks und Checklisten.