A/B-Tests
Ein Experiment, aufgesetzt wie im Produktivbetrieb
Ein laufender Test auf der Produktseite: Verändert der Preis auf dem Kaufbutton die Add-to-Cart-Rate? Zuteilung, Darstellung, Messung und Entscheidungsregeln sind echt. Der Shop hat keinen Traffic, daher gibt es kein Ergebnis zu berichten.
Der Testplan
- Hypothese
- Der Preis auf dem Button nimmt einen Grund zu zögern, also legen mehr Besucher, die ihn sehen, in den Warenkorb.
- Kontrolle
- „Add to cart“
- Variante
- „Add to cart · $119.00“ auf dem Hauptbutton jeder Produktseite.
- Hauptmetrik
- Besucher mit Add-to-Cart geteilt durch Besucher, die den Button gesehen haben.
- Guardrail
- Checkout-Starts pro exponiertem Besucher dürfen nicht sinken.
- Zielgruppe
- US-Markt, 50/50 aufgeteilt. Deutschland ist ausgenommen, denn die Zuteilung speichert eine Kennung, und dafür ist zuerst eine Einwilligung nötig.
Beide Versionen ansehen
Diese Links setzen Ihre Gruppe und markieren den Browser als Vorschau, Ihre Besuche fließen also nicht in die Daten ein.
Dieser Browser ist in: nicht zugeteilt (außerhalb des Testmarkts)
So funktioniert es
- 01
Zuteilung an der Edge
Bei der ersten Seitenanfrage wählt der Proxy zufällig eine Gruppe und setzt ein First-Party-Cookie, sodass Besucher über Seiten und Besuche hinweg in einer Gruppe bleiben.
- 02
Kein Flackern, weiterhin gecacht
Beide Versionen stehen im statischen HTML. Ein einzeiliges Skript überträgt das Cookie vor dem ersten Paint auf die Seite, CSS zeigt die passende Version. Die Seite ändert sich nie vor den Augen der Besucher und bleibt cachebar.
- 03
Gezählt, wenn gesehen
Die Exposition wird nur gemeldet, wenn der Button sichtbar und kaufbar ist. Besucher, die ihn nie erreichen, verwässern das Ergebnis nicht.
- 04
Mit Bestellungen verknüpft
Die Gruppe wird beim Klick als privates Attribut in den Warenkorb geschrieben und wandert mit der Bestellung. In GA4 ist sie eine User-Property auf allen späteren Events.
Vor dem Start festgelegt
- Laufzeit bis zur geplanten Stichprobe und mindestens 14 Tage, um zwei Wochenzyklen abzudecken.
- Kein vorzeitiger Abbruch an einem guten Tag. Wiederholtes Prüfen erhöht falsch-positive Ergebnisse.
- Weicht die Aufteilung über den Zufall hinaus von 50/50 ab (Sample Ratio Mismatch, p < 0,01), werden die Daten verworfen und die Ursache gesucht.
- Die Variante geht nur live, wenn die Hauptmetrik bei p < 0,05 gewinnt und der Guardrail hält.
Wie lange müsste er laufen?
Zweiseitiges Alpha 0,05, 80 % Power, mindestens 14 Tage.
- Besucher pro Variante
- 53,211
- Laufzeit
- 54 Tage
Ein Ergebnis lesen
Vorbelegt mit Beispielzahlen. Das sind keine Ergebnisse dieses Shops.
- Beobachteter Uplift
- +15.0%
- p-Wert
- 0.072
Nicht signifikant. Das heißt nicht, dass beide gleich sind, nur dass der Test sie nicht trennen kann.
Was das zeigt und was nicht
Das belegt Umsetzung und Methode. Einen Conversion-Uplift kann es nicht belegen, denn ein Konzept-Shop hat keine echten Kunden. Events gehen an GA4, sobald eine Mess-ID hinterlegt ist. Bis dahin erscheinen sie im Event-Log des Panels „How it's built“.