A/B-Testing für Nicht-Statistiker
Entscheidungen treffen, die der Wirklichkeit standhalten — nicht dem Bauchgefühl.
Modul 1 von 8 · A/B-Testing Mastery
A/B-Testing für Nicht-Statistiker
125 Min · Sie erkennen, was einen echten A/B-Test auszeichnet, verstehen, warum paralleles Testen unter gleichen Bedingungen zuverlässiger ist als ein Vorher-Nachher-Vergleich, und formulieren eine eigene, falsifizierbare Testhypothese auf Entscheider-Ebene.
Lernziel
Sie erkennen, was einen echten A/B-Test auszeichnet.
Sie verstehen, warum paralleles Testen unter gleichen Bedingungen zuverlässiger ist als Vorher-Nachher.
Sie formulieren eine eigene, falsifizierbare Testhypothese.
Vorwissen aktivieren
Wie unterscheiden Sie heute im Shop zwischen einer erfolgreichen Änderung und einem Zufallstreffer?
Wann war das letzte Mal, dass eine neue Variante „offensichtlich besser“ schien — aber niemand die Zahlen geprüft hat?
Das Geschäftsproblem: siebzig Prozent Abbruch
Das Baymard Institute ermittelte aus über einhunderttausend Checkout-Prozessen eine durchschnittliche Warenkorbabbruchrate von neunundsechzig Komma acht Prozent.
Jeder zweite Shop-Betreiber unterschätzt diesen Wert, weil er im Tagesgeschäft nicht sichtbar ist.
Die Folge: Tausende Besucher verlassen die Seite kurz vor dem Kauf.
Warum mehr Traffic kein Hebel ist
Bei einer Conversion Rate von drei Prozent und einem Abbruch von siebzig Prozent brauchen Sie dreißig Klicks für einen Kauf.
Mehr bezahlter Traffic bei gleicher Conversion-Rate frisst nur Marge und verschärft den Druck auf die Kosten.
Der echte Hebel liegt im bestehenden Traffic, nicht in neuem.
Was ein echter A/B-Test tut
Der vorhandene Traffic wird nach dem Zufallsprinzip in zwei gleich große Gruppen aufgeteilt.
Gruppe A sieht die aktuelle Version, Gruppe B sieht die veränderte Version.
Beide Gruppen surfen zur gleichen Zeit unter denselben Bedingungen.
Was ein A/B-Test nicht ist
Es ist kein Designwettbewerb, bei dem die schönere Variante gewinnt.
Es ist keine Plattform für Meinungen wie „bei mir klickt niemand auf Grün“.
Es ist auch keine Methode, um jede Woche eine neue Idee durchzuwirbeln.
Anatomie eines Experiments: die Hypothese
Eine Hypothese sagt, welche Änderung Sie warum testen und welche Auswirkung Sie erwarten.
Schwach: „Wir testen einen neuen Button.“
Stark: „Wenn wir den CTA-Button im Warenkorb vergrößern, steigt die Conversion Rate um fünf Prozent, weil die Handlung deutlicher wird.“
Kontrolle, Variante und Randomisierung
Die Kontrolle ist die aktuelle Version — Ihr Status quo, gemessen unter den aktuellen Bedingungen.
Die Variante enthält genau eine gezielte Änderung.
Randomisierung sorgt dafür, dass Nutzer nicht selbst wählen, sondern zufällig zugeordnet werden.
Metrik und Traffic-Split
Die Primärmetrik ist die eine Kennzahl, an der Sie Erfolg oder Misserfolg messen — meist Conversion Rate oder Umsatz pro Besucher.
Der Traffic-Split bestimmt, welcher Anteil der Besucher welche Variante sieht, typischerweise fünfzig zu fünfzig.
Eine ungleiche Aufteilung verlängert die Testlaufzeit oder schwächt die Aussagekraft.
Warum Vorher-Nachher lügt: ein konkretes Szenario
Montag: Regen, dreitausend Besucher, Conversion Rate zwei Komma eins Prozent.
Dienstag: Sonne, dreitausend Besucher, neuer Header live, Conversion Rate zwei Komma vier Prozent.
Schlussfolgerung: Der Header bringt fünfzehn Prozent mehr Umsatz.
Wahrscheinlichkeit: Das Wetter und der Wochentag haben das Ergebnis verzerrt.
Kampagnen, Feiertage und Werbeaktionen
Am Black Friday steigt die Conversion Rate fast überall — unabhängig davon, was Sie am Shop ändern.
Eine Retargeting-Kampagne kann die Kontrollgruppe anders ansprechen als die Variante.
Wer Vorher-Nachher misst, blendet diese Störfaktoren aus statt sie zu kontrollieren.
Paralleles Testen eliminiert Störfaktoren
Bei einem A/B-Test laufen beide Varianten zur gleichen Zeit.
Wetter, Wochentag, Kampagnen und saisonale Effekte wirken sich auf beide Gruppen gleich aus.
Der einzige systematische Unterschied bleibt die getestete Änderung.
Zwischen-Check: Die drei Säulen
Echte Hypothese: Was ändert sich, warum und an welcher Metrik gemessen?
Zufällige Aufteilung: Die Gruppen müssen vergleichbar sein.
Parallele Messung: Nur so werden externe Störfaktoren neutralisiert.
Primärmetrik vs. Guardrail-Metriken
Die Primärmetrik entscheidet, ob die Variante gewinnt — zum Beispiel Umsatz pro Besucher.
Guardrail-Metriken schützen vor Nebenwirkungen: Rücklaufquote, Support-Anfragen, durchschnittlicher Bestellwert.
Eine Variante kann die Conversion steigern und gleichzeitig den Bestellwert senken.
Geschäftsmetriken, die Sinn ergeben
Conversion Rate: Anteil der Besucher, die kaufen.
Umsatz pro Besucher: Kombiniert Conversion und Bestellwert.
Customer Lifetime Value: Zeigt langfristige Wirkung, besonders bei Abonnements.
Beispiel: Bei fünfzigtausend Besuchern pro Monat und einem durchschnittlichen Bestellwert von fünfzig Euro steigt der Umsatz pro Besucher um fünfzig Cent bereits um fünfundzwanzigtausend Euro pro Monat.
Qualität einer Hypothese
Falsifizierbar: Das Gegenteil muss theoretisch möglich sein.
Eine Variable: Ändern Sie nur ein Element pro Variante.
Erwartete Wirkung: Nennen Sie Richtung und Größenordnung der erwarteten Veränderung.
Häufige Fehler, die Tests ungültig machen
Peeking: Sie schauen täglich auf das Ergebnis und beenden den Test, sobald etwas Signifikantes blinkt.
Zu früh stoppen: Varianten schwanken zufällig, bis genügend Daten vorliegen.
Zu viele Varianten: Bei zehn Varianten gewinnt fast immer zufällig eine.
Ihre Übung: eine falsifizierbare Hypothese
Wählen Sie eine Seite oder ein Element in Ihrem Shop.
Formulieren Sie: Wenn wir X ändern, dann steigt oder sinkt Y um Z, gemessen an Metrik M.
Prüfen Sie: Ist nur eine Variable verändert? Ist das Gegenteil denkbar?
Zusammenfassung: die wichtigsten Punkte
Siebzig Prozent aller Warenkörbe werden online nicht gekauft — mehr Traffic löst das Problem nicht.
Ein echter A/B-Test teilt Traffic zufällig auf und testet parallel unter gleichen Bedingungen.
Vorher-Nachher wird durch Wetter, Wochentag und Kampagnen verzerrt.
Was Sie mitnehmen
Definieren Sie vor dem Test eine klare Primärmetrik und passende Guardrails.
Formulieren Sie Hypothesen so, dass das Gegenteil möglich ist und nur eine Variable verändert wird.
Vermeiden Sie Peeking, Frühstoppen und zu viele Varianten.
Das JDKRUEGER-Versprechen
Wir führen in DACH mehr A/B-Tests durch als klassische Agenturen verkaufen — und beweisen jede Empfehlung mit Daten.
Quiz
Testen Sie Ihr Wissen.
Modul abgeschlossen
Nächstes Modul: Signifikanz verstehen — wann ist ein Test wirklich sicher?
Transkript dieser Folie
Übung
Wenden Sie das Gelernte direkt an.
1
Ihre erste falsifizierbare Hypothese
Wählen Sie ein Element in Ihrem Shop, das Sie verändern möchten, zum Beispiel eine Headline, einen Button oder eine Produktseite. Formulieren Sie die Hypothese nach dem Schema: Wenn wir X ändern, dann steigt oder sinkt Y um Z Prozent, gemessen an Metrik M. Prüfen Sie, ob nur eine Variable verändert wird und ob das Gegenteil prinzipiell möglich ist.
2
Parallelität in Ihrem Unternehmen prüfen
Suchen Sie die letzten drei größeren Shop-Änderungen in Ihrem Unternehmen heraus. Entscheiden Sie für jede, ob sie als reine Live-Schaltung, als Vorher-Nachher-Vergleich oder als paralleler A/B-Test umgesetzt wurde. Markieren Sie, bei welchen Entscheidungen heute noch Unsicherheit besteht, ob die Änderung wirklich gewirkt hat.
Quellen & Weiterführendes
Materialien zum Vertiefen.
-
Baymard Institute — E-Commerce Checkout Usability
study
Quelle der neunundsechzig Komma acht Prozent Abbruch-Benchmark; regelmäßig aktualisierte Studien zu Checkout-Verhalten.
-
CXL — Why CRO is the most important marketing activity
article
Argumentation für Conversion-Optimierung als ökonomischer Hebel vor dem Kauf zusätzlichen Traffics.
-
Trustworthy Online Controlled Experiments — Kohavi, Tang, Xu
book
Standardwerk zu Experimentier-Methodik in Tech-Unternehmen; fundiert und praxisnah.
-
Reforge — Experimentation Loop
framework
Framework für skalierbare Experimentierkultur und systematisches Lernen aus Tests.
Zusammenfassung & Reflexion
Kurz zurückschauen, bevor Sie weiterlernen.
- Wo in Ihrem Shop werden heute Entscheidungen auf Basis von Meinungen getroffen, wo auf Basis paralleler Daten?
- Welche Hypothese würden Sie als Erstes testen, wenn Sie ab morgen jeden Test parallel und zufällig aufteilen müssten?
- Wie würden Sie einem Kollegen erklären, warum Vorher-Nachher kein valider Beweis ist?
Feedback
War dieses Modul hilfreich für Ihren Shop?