Stichprobenrechner für A/B-Tests

Der Rechner nutzt die Standardformel für die Stichprobengröße beim Vergleich zweier Conversion-Raten. Für jede Variante gilt:

n = (zα/2 + zβ)² × [p₁(1 − p₁) + p₂(1 − p₂)] ÷ (p₂ − p₁)²

• p₁ ist deine Basis-Conversion-Rate als Bruchzahl.
• p₂ ist die Rate, die du erkennen können willst: die Basis, erhöht um den minimal nachweisbaren Effekt, also p₂ = p₁ × (1 + MDE).
• z_α/2 ergibt sich aus dem Konfidenzniveau, zweiseitig: 1,645 bei 90 %, 1,96 bei 95 %, 2,576 bei 99 %.
• z_β ergibt sich aus der Teststärke: 0,842 bei 80 %, 1,282 bei 90 %, 1,645 bei 95 %.

Rechenbeispiel: die Standardeingaben

5 % Basis, 10 % relative Steigerung, 95 % Konfidenz und 80 % Teststärke:

• p₁ = 0,05 und p₂ = 0,05 × 1,10 = 0,055, der zu erkennende Unterschied ist also 0,005.
• (1,96 + 0,8416)² = 2,8016² ≈ 7,849.
• p₁(1 − p₁) + p₂(1 − p₂) = 0,0475 + 0,051975 = 0,099475.
• n = 7,849 × 0,099475 ÷ 0,005² ≈ 31.231,0, aufgerundet auf 31.232 Besucher pro Variante.

Zwei Varianten brauchen insgesamt 62.464 Besucher. Das ist die Zahl, die der Rechner anzeigt, bevor du etwas änderst.

Benötigte Besucher pro Variante bei 95 % Konfidenz und 80 % Teststärke. Lies in der Zeile die relative Steigerung ab, die du erkennen willst.

Zwei Muster fallen auf. Halbierst du die Steigerung, die du erkennen willst, vervierfacht sich die Stichprobe ungefähr. Und ein Schritt mit niedriger Conversion, etwa eine Kaufrate von 1 %, braucht ein Vielfaches des Traffics eines Schritts mit 10 %, etwa eines Klicks zur Preisseite.

Rechne die Stichprobengröße vor dem Start in eine Dauer um:

days = visitors per variant × number of variants ÷ daily visitors who enter the test

Runde dann auf ganze Wochen auf. Besucher an Werktagen und am Wochenende verhalten sich unterschiedlich, sodass ein Test, der mitten in der Woche endet, manche Tage übergewichtet.

• Mit den Standardwerten (insgesamt 62.464 Besucher) und 2.000 berechtigten Besuchern pro Tag: 31,2 Tage, also 5 Wochen laufen lassen.
• Mit 5.000 berechtigten Besuchern pro Tag: 12,5 Tage, also 2 Wochen laufen lassen.
• Mit 800 berechtigten Besuchern pro Tag: 78 Tage. Das ist ein Zeichen, eine größere Änderung oder eine stärker besuchte Seite zu testen (siehe unten).

Zähle nur Besucher, die die getestete Seite oder den getesteten Schritt tatsächlich erreichen, nicht den gesamten Traffic der Website. Ein Checkout-Test erfasst nur Menschen, die den Checkout erreichen.

Lass den Test auch bei viel Traffic mindestens eine volle Woche laufen. Leg das Enddatum vorab fest und hör nicht früher auf, weil das Ergebnis am dritten Tag signifikant aussieht. Wiederholt nachzusehen und beim ersten signifikanten Wert aufzuhören, treibt die Rate falsch positiver Ergebnisse weit über das gewählte Konfidenzniveau.

Konfidenz schützt vor falsch positiven Ergebnissen: einen Gewinner auszurufen, obwohl es keinen echten Unterschied gibt. Bei 95 % zeigt ein Test zweier identischer Varianten in etwa 5 % der Fälle ein „signifikantes“ Ergebnis.

Teststärke schützt vor falsch negativen Ergebnissen: einen echten Effekt zu übersehen. Bei 80 % Teststärke erkennt der Test eine tatsächliche Steigerung genau in Höhe deines minimal nachweisbaren Effekts in 8 von 10 Fällen.

Beides zu erhöhen kostet Traffic. Mit 5 % Basis und 10 % Steigerung:

Einseitige vs. zweiseitige Tests

Das Konfidenzniveau hier ist zweiseitig: Der Test kann die Variante als besser oder schlechter als die Kontrolle erkennen. Ein einseitiger Test bei 95 % nutzt z = 1,645, denselben Wert wie zweiseitig bei 90 %, und braucht daher dieselben 24.601 Besucher pro Variante. Diese Ersparnis ist nur ehrlich, wenn du „schlechter“ und „kein Unterschied“ gleich behandeln würdest. Wenn eine unterlegene Variante dein Handeln ändern würde, bleib beim zweiseitigen Test.

• Relativer vs. absoluter Effekt. Der minimal nachweisbare Effekt ist hier relativ. Eine Rate von 5 % auf 6 % zu bringen, ist eine relative Steigerung von 20 % (8.156 pro Variante). Würdest du 1 eingeben, hieße das 5 % auf 5,05 %, was etwa 3 Millionen pro Variante erfordert.
• Die falsche Einheit zählen. Die Stichprobengröße zählt die Einheit, die du zufällig zuteilst und die konvertiert. Wenn du Varianten pro Besucher zuteilst, zähle Besucher, nicht Sessions oder Seitenaufrufe. Wiederholte Sessions derselben Person sind keine unabhängigen Stichproben.
• Mehr als zwei Varianten. Die Zahl gilt pro Variante, ein A/B/C-Test braucht also das Dreifache. Jeder zusätzliche Vergleich mit der Kontrolle erhöht außerdem die Wahrscheinlichkeit eines falschen Gewinners; eine gängige Lösung ist, die Fehlerrate auf die Vergleiche aufzuteilen und etwa jeden von zwei Vergleichen mit 97,5 % statt 95 % zu testen.
• Verwässerter Traffic. Wenn nur ein Teil der einbezogenen Besucher die Änderung überhaupt sieht, wird der echte Effekt verwässert, und der Test hat zu wenig Teststärke. Beziehe Menschen an der Stelle ein, an der sich die Varianten tatsächlich unterscheiden.
• Den Test während der Laufzeit ändern. Eine Variante zu bearbeiten, die Traffic-Aufteilung zu ändern oder auf halbem Weg eine Variante hinzuzufügen, setzt die Uhr zurück.

• Teste eine größere Änderung. Eine neu gestaltete Preisseite kann die Conversion plausibel um 20–30 % bewegen; eine Buttonfarbe nicht. Größere Effekte brauchen viel kleinere Stichproben.
• Miss einen Schritt mit höherer Conversion. Teste den Klick zur Registrierung statt der bezahlten Conversion und bestätige dann den nachgelagerten Effekt über einen längeren Zeitraum.
• Akzeptiere 90 % Konfidenz bewusst. Das spart etwa ein Fünftel des Traffics, im Tausch gegen mehr falsch positive Ergebnisse. Halte die Abwägung vor dem Teststart schriftlich fest.
• Verzichte ganz auf A/B-Tests. Bei kleinen Websites findet man das Problem meist schneller, wenn man sich Session Replays von Menschen ansieht, die abspringen, und prüft, wo der Funnel leckt, als mit einem Test, der nie Signifikanz erreicht.

Wenn der Test seine volle Laufzeit hinter sich hat, prüfe das Ergebnis mit dem Signifikanzrechner für A/B-Tests.