Zum Inhalt springen
· 7 Min. Lesezeit

Holdout Test: Den Gesamteffekt deiner Tests messen

Ein Holdout Test beantwortet eine Frage, die einzelne Experimente offenlassen: Wie viel zusätzlichen Umsatz erzeugt dein gesamtes Testingprogramm? Du kannst zehn nachgewiesene Gewinner ausrollen und trotzdem unsicher bleiben, wie stark sie gemeinsam auf den Umsatz pro Besucher (ARPU) wirken. Effekte können sich überlagern, mit der Zeit abschwächen oder nur einen Teil des Traffics erreichen. Eine dauerhafte Kontrollgruppe schafft einen wirtschaftlichen Vergleich für das gesamte Programm.

Was ein Holdout Test anders misst

Bei einem normalen A/B-Test vergleicht das Testingtool eine konkrete Variante mit einer Kontrolle. Nach der Entscheidung folgt der Rollout des Gewinners. Der nächste Test beginnt anschließend mit einem neuen Ausgangspunkt.

Ein Holdout Test behält dagegen einen zufällig ausgewählten Anteil der Besucher dauerhaft auf einem definierten Ausgangszustand. Diese Holdoutgruppe sieht keine der Änderungen, die aus dem Testingprogramm hervorgehen. Die übrigen Besucher erhalten nachgewiesene Gewinner und nehmen weiterhin an Experimenten teil.

Nach mehreren Wochen vergleichst du den ARPU beider Gruppen. Die Differenz zeigt den kumulierten Effekt deiner ausgerollten Gewinner, sofern Randomisierung, Persistenz und Tracking sauber funktionieren.

Damit misst der Holdout Test eine andere Ebene als ein einzelnes Experiment:

  • Ein A/B-Test bewertet eine konkrete Hypothese.
  • Der Holdout Test bewertet den wirtschaftlichen Beitrag des gesamten Programms.
  • Ein A/B-Test unterstützt die Entscheidung über einen Rollout.
  • Der Holdout Test prüft, ob mehrere Rollouts zusammen einen messbaren Mehrwert erzeugen.

Wann sich eine dauerhafte Holdoutgruppe lohnt

Eine Holdoutgruppe kostet Reichweite. Die zurückgehaltenen Besucher erhalten zunächst keine Gewinner aus deinem Programm. Deshalb lohnt sich dieses Design vor allem, wenn dein Shop genügend Traffic und eine konstante Testgeschwindigkeit erreicht.

Ich prüfe vor dem Start vier Voraussetzungen:

  1. Das Team startet regelmäßig vollständig auswertbare Tests und rollt Gewinner konsequent aus.
  2. Der Shop erreicht genug Besucher, damit eine kleine Holdoutgruppe ein brauchbares Konfidenzintervall liefert.
  3. Das Testingtool kann Besucher über mehrere Sitzungen konsistent derselben Gruppe zuordnen.
  4. Das Tracking erfasst Bestellungen und Umsatz für Holdoutgruppe und Programmgruppe nach denselben Regeln.

Bei wenigen Tests pro Quartal reicht meist die Auswertung der einzelnen Experimente. Bei mehreren parallelen Testbereichen können zusätzlich Interaktionen zwischen A/B-Tests auftreten. Eine programmweite Holdoutgruppe hilft dann, den gemeinsamen Nettoeffekt zu erkennen.

So setzt du den Holdout Test in Shopify auf

Ein brauchbares Setup beginnt vor der ersten Ausspielung. Nachträgliche Gruppen oder wechselnde Zuordnungen verzerren den Vergleich.

1. Grundgesamtheit festlegen

Lege fest, welche Besucher der Holdout Test abdeckt. Du kannst beispielsweise alle Besucher des Onlineshops einbeziehen oder den Test auf einen Markt begrenzen. Schließe internen Traffic, Bots und bekannte Testbestellungen nach festen Regeln aus.

2. Besucher zufällig zuordnen

Das Tool teilt Besucher vor ihrer Teilnahme an einzelnen Experimenten auf. Ein möglicher Startpunkt sind zehn Prozent Holdout und 90 Prozent Programmgruppe. Die passende Aufteilung hängt von Traffic, Streuung des ARPU und geplanter Laufzeit ab.

Die Zuordnung muss über Sitzungen hinweg stabil bleiben. Wenn viele Kunden zwischen Smartphone und Desktop wechseln, brauchst du zusätzlich eine Strategie für Identitäten. Der Beitrag über Cross Device Tracking im A/B-Test erklärt die Folgen wechselnder Geräte für die Auswertung.

3. Ausgangszustand fixieren

Definiere genau, welche Shopversion die Holdoutgruppe sieht. Dokumentiere Themeversion, Templates, Preise, Rabatte, Apps und relevante Shopify Einstellungen. Sicherheitskorrekturen und rechtlich notwendige Änderungen darfst du in beiden Gruppen gleichzeitig übernehmen. Testgewinner erhält nur die Programmgruppe.

4. Primärmetrik und Laufzeit bestimmen

Nutze ARPU als primäre wirtschaftliche Metrik. Conversion Rate und durchschnittlicher Bestellwert helfen bei der Diagnose, können aber gegensätzliche Richtungen zeigen. Plane die Laufzeit vorab anhand des kleinsten wirtschaftlich relevanten Effekts.

5. Rollouts protokollieren

Halte für jeden Gewinner fest, wann er die Programmgruppe erreicht hat. So kannst du erklären, warum sich die Differenz zwischen den Gruppen verändert. Für ein dauerhaftes System brauchst du außerdem klare Entscheidungsregeln und eine zentrale Dokumentation. Einen passenden Aufbau findest du auf der Seite zum Testingprogramm im eigenen Team.

Mini Case: Den kumulierten ARPU Effekt berechnen

Ein Shopify Shop erfasst über zwölf Wochen 2.400.000 auswertbare Besucher. Das Tool ordnet zehn Prozent dauerhaft der Holdoutgruppe zu. Während dieser Zeit erhält die Programmgruppe vier nachgewiesene Gewinner aus Produktseite, Warenkorb und Angebotsdarstellung.

  • Die Holdoutgruppe umfasst 240.000 Besucher und erreicht einen ARPU von 2,04 EUR.
  • Die Programmgruppe umfasst 2.160.000 Besucher und erreicht einen ARPU von 2,12 EUR.
  • Die beobachtete Differenz beträgt 0,08 EUR pro Besucher.
  • Der relative Unterschied beträgt 0,08 geteilt durch 2,04 und damit rund 3,92 Prozent.

Für die Programmgruppe ergibt sich während des Messzeitraums ein beobachteter Mehrumsatz von 2.160.000 mal 0,08 EUR. Das entspricht 172.800 EUR. Diese Rechnung beschreibt zunächst die Punktschätzung. Sie beweist noch keinen stabilen Effekt.

Die Analyse auf Besucherebene liefert in diesem Beispiel ein 95 Prozent Konfidenzintervall von 0,03 EUR bis 0,13 EUR pro Besucher. Das Intervall liegt vollständig über null. Der Shop hat damit belastbare Evidenz für einen positiven kumulierten Effekt im untersuchten Zeitraum.

Für die wirtschaftliche Entscheidung prüfst du zusätzlich Retouren, Stornos, Rabatte und variable Kosten. Wenn Retouren stark zwischen den Gruppen abweichen, solltest du statt Bruttoumsatz den erwarteten Nettoumsatz auswerten. Außerdem gilt das Ergebnis zunächst für den gemessenen Zeitraum und die einbezogenen Märkte.

Diese Fehler verfälschen das Ergebnis

Der größte Risikofaktor liegt häufig in der Kontamination. Wenn Besucher aus der Holdoutgruppe später doch Gewinner sehen, schrumpft die gemessene Differenz. Gemeinsame Geräte, gelöschte Cookies und App Wechsel können diese Vermischung verursachen.

Auch operative Änderungen brauchen klare Regeln. Eine neue Versandgrenze, eine globale Rabattaktion oder ein Themewechsel kann den Ausgangszustand verändern. Spiele solche Änderungen entweder beiden Gruppen aus oder dokumentiere genau, warum nur eine Gruppe betroffen ist.

Weitere typische Fehler sind:

  • Das Team verändert die Größe der Holdoutgruppe während der Messung.
  • Das Tool randomisiert Sitzungen statt Besucher.
  • Die Analyse stoppt direkt nach einem auffälligen Ausschlag.
  • Die Gruppen unterscheiden sich bei Märkten, Geräten oder Trafficquellen.
  • Einzelne Tests erreichen andere Besucher als die programmweite Auswertung.
  • Das Team bewertet zahlreiche Metriken und wählt nachträglich die günstigste aus.

Ich kontrolliere deshalb regelmäßig Gruppengrößen, Exposures, Bestellungen und Umsatzverteilungen. Bei auffälligen Abweichungen kläre ich zuerst die Datenqualität. Erst danach interpretiere ich den wirtschaftlichen Effekt.

So nutzt du das Ergebnis für dein Testingprogramm

Ein positiver Holdout Effekt zeigt, dass die Kombination deiner Rollouts wirtschaftlich trägt. Er sagt jedoch nicht automatisch, welcher einzelne Test den größten Anteil beigesteuert hat. Dafür bleiben die Auswertungen der einzelnen Experimente relevant.

Liegt das Konfidenzintervall nahe bei null, kommen mehrere Erklärungen infrage. Die einzelnen Effekte können zu klein sein, Gewinner können sich gegenseitig abschwächen oder die Stichprobe kann noch zu wenig Präzision liefern. Prüfe diese Möglichkeiten anhand der vorab definierten Entscheidungsregel, statt nur die Laufzeit zu verlängern.

Bei einem negativen Ergebnis kontrollierst du zuerst Tracking, Gruppenzuordnung und operative Unterschiede. Bleiben die Daten belastbar, analysierst du die Rollouts nach Zeitpunkt und Shopbereich. Danach kannst du gezielt Gewinner zurücknehmen oder mit einem neuen Experiment überprüfen.

Für ein Shopify A/B-Testing mit direkter Verantwortung plane ich den Holdout als eigene Programmebene. So bleiben Einzeltests schnell entscheidbar, während der Gesamteffekt separat messbar bleibt.

Häufige Fragen

Wie groß sollte eine Holdoutgruppe sein?

Viele Programme starten mit fünf bis zehn Prozent des geeigneten Traffics. Die richtige Größe hängt von Besucherzahl, ARPU Streuung, erwartetem Effekt und Laufzeit ab. Eine Fallzahlplanung sollte diese Größen vor dem Start verbinden.

Wie lange sollte ein Holdout Test laufen?

Die Laufzeit sollte mehrere Rollouts und mindestens einen vollständigen Geschäftszyklus abdecken. Häufig sind acht bis zwölf Wochen sinnvoll, doch kleinere Shops benötigen mehr Zeit. Saisonale Aktionen können eine separate Planung erfordern.

Muss die Holdoutgruppe alle Gewinner verpassen?

Sie sollte alle Änderungen verpassen, deren kumulierten Effekt du messen möchtest. Sicherheitskorrekturen, rechtliche Anpassungen und zwingende technische Änderungen kannst du beiden Gruppen ausspielen. Dokumentiere jede Ausnahme mit Datum und Begründung.

Kann ich einen Holdout Test mit parallelen A/B-Tests kombinieren?

Ja. Die Holdoutzuordnung muss allerdings vor den einzelnen Experimenten erfolgen. Nur Besucher aus der Programmgruppe nehmen anschließend an den regulären Tests teil.

Ist ein Holdout Test für jeden Shopify Shop sinnvoll?

Nein. Bei wenig Traffic kostet eine dauerhafte Kontrollgruppe zu viel statistische Präzision und potenziellen Umsatz. Dann liefern sauber geplante Einzeltests meist die bessere Entscheidungsgrundlage.

Du willst in deinem Shop testen statt raten? Wenn du eine D2C-Brand ab 200.000 EUR Monatsumsatz führst, zeige ich dir in einem kostenlosen Testing-Audit in 30 Minuten, wo dein größter Hebel liegt. Termin buchen. Wenn du noch nicht so weit bist, starte mit meinen kostenlosen Frameworks und Checklisten.

Nicolai Clöß

Nicolai Clöß

Founder von Socivolve. Übernimmt das A/B-Testing von Shopify-D2C-Brands vollständig, von der ersten Beobachtung bis zum dauerhaft ausgerollten Gewinner. Trier.

Bevor du den nächsten Artikel liest:

Mein A/B-Test-Playbook fasst zusammen, was hier über viele Artikel verteilt steht: Testaufbau, Stichprobenberechnung, Auswertungsregeln und mein Priorisierungs-Framework. Kostenlos, kein Newsletter-Zwang.

Playbook laden (PDF)

Weiterlesen