A/B-Test-Signifikanzrechner
Gib Besucher und Conversions für deine Kontrollgruppe und Varianten ein, um zu sehen, ob der Unterschied statistisch signifikant ist, wie groß er ist und wie viele Daten du noch brauchst.
Zuletzt aktualisiert:
| Variante | Besucher | Conversions | Conv.-Rate | Uplift | p-Wert |
|---|
Anleitung: A/B-Test-Signifikanzrechner
- Gib Besucher und Conversions ein für die Kontrolle (A) und die Variante (B). Nutze + Variante hinzufügen für A/B/n-Tests.
- Wähle das Konfidenzniveau und ob der Test zweiseitig (beliebiger Unterschied) oder einseitig (B besser als A) ist.
- Lies das Fazit: Uplift, p-Wert, Konfidenzintervalle und ob das Ergebnis bei 90%, 95% und 99% signifikant ist.
- Sieh dir das Diagramm an: Je weniger sich die beiden Kurven überlappen, desto stärker die Evidenz.
- Plane deinen nächsten Test im Tab Stichprobengröße mit deiner Basisrate und dem kleinsten Uplift, der dir wichtig ist.
So funktioniert der Signifikanztest
Der Rechner nutzt den üblichen z-Test für zwei Anteile mit gepooltem Standardfehler – denselben Test, den die meisten A/B-Testing-Tools für Conversion Rates verwenden:
- Conversion Rates: pA = ConversionsA ÷ BesucherA, pB = ConversionsB ÷ BesucherB
- Gepoolte Rate: p̂ = (ConversionsA + ConversionsB) ÷ (BesucherA + BesucherB)
- Standardfehler: SE = √(p̂ (1 − p̂) (1/nA + 1/nB))
- z = (pB − pA) ÷ SE, und der p-Wert ergibt sich aus der Standardnormalverteilung: 2 × (1 − Φ(|z|)) bei einem zweiseitigen Test.
Beispiel: Kontrolle 500 Conversions bei 10,000 Besuchern (5.00%), Variante 570 bei 10,000 (5.70%). Die gepoolte Rate beträgt 5.35%, SE = 0.003182, z = 0.007 ÷ 0.003182 = 2.200, der zweiseitige p-Wert ist also 0.0278. Das ist bei 95% signifikant (p < 0.05), aber nicht bei 99% (p > 0.01), und der relative Uplift beträgt +14.0%.
Die Konfidenzintervalle für jede Rate verwenden die Wilson-Score-Methode, die sich bei niedrigen Conversion Rates gut verhält. Das Intervall für die Differenz nutzt den ungepoolten Standardfehler √(pA(1 − pA)/nA + pB(1 − pB)/nB).
Stichprobengröße pro Variante
Benötigte Besucher pro Variante bei 95% Konfidenz (zweiseitig) und 80% Power, nach n = [zα/2√(2p̄(1 − p̄)) + zβ√(p₁(1 − p₁) + p₂(1 − p₂))]² ÷ (p₂ − p₁)²:
| Basisrate | Zu erkennender relativer Lift | Zielrate | Besucher pro Variante |
|---|---|---|---|
| 2% | +20% | 2.4% | 21,109 |
| 5% | +10% | 5.5% | 31,234 |
| 5% | +20% | 6.0% | 8,158 |
| 10% | +5% | 10.5% | 57,763 |
| 10% | +10% | 11.0% | 14,751 |
| 20% | +10% | 22.0% | 6,510 |
Halbierst du den Effekt, den du erkennen willst, vervierfacht sich ungefähr die benötigte Stichprobe – deshalb sollten kleine Websites mutige Änderungen statt winziger Anpassungen testen.
Häufige Fehler beim A/B-Testing
- Peeking: Tägliches Nachsehen und Abbrechen beim ersten signifikanten p-Wert kann die tatsächliche Falsch-positiv-Rate weit über 5% treiben. Lege die Stichprobengröße vorher fest.
- Zu kurz: Lass Tests über ganze Wochen laufen, damit Besucher an Wochentagen und am Wochenende vertreten sind, auch wenn die Stichprobengröße früher erreicht ist.
- Viele Kennzahlen oder Varianten: Je mehr Vergleiche du anstellst, desto wahrscheinlicher ist einer zufällig signifikant. Wähle eine Hauptkennzahl und korrigiere bei mehreren Varianten.
- Sample Ratio Mismatch: Wenn eine 50/50-Aufteilung sehr ungleiche Besucherzahlen liefert, prüfe das Tracking, bevor du dem Ergebnis traust.
- Signifikant ist nicht gleich wichtig: Sieh dir das Konfidenzintervall des Uplifts an und frag dich, ob sich die Umsetzung auch am unteren Ende noch lohnen würde.
Häufige Fragen
Was bedeutet statistisch signifikant bei einem A/B-Test?
Es bedeutet, dass der beobachtete Unterschied unwahrscheinlich wäre, wenn beide Versionen tatsächlich gleich gut konvertieren würden. Bei 95% Konfidenz ist ein Ergebnis signifikant, wenn der p-Wert unter 0.05 liegt. Das beweist nicht, dass die Variante um genau den beobachteten Betrag besser ist; das Konfidenzintervall zeigt den plausiblen Bereich.
Was ist ein p-Wert?
Der p-Wert ist die Wahrscheinlichkeit, einen mindestens so großen Unterschied wie deinen zu beobachten, wenn es in Wahrheit keinen Unterschied gäbe. Ein p-Wert von 0.03 bedeutet, dass ein solches Ergebnis in etwa 3% der Fälle allein durch Zufall auftreten würde.
Soll ich einen einseitigen oder zweiseitigen Test verwenden?
Verwende einen zweiseitigen Test, wenn du eine Veränderung in beide Richtungen erkennen willst – das ist die sicherere Standardwahl. Ein einseitiger Test fragt nur, ob B besser als A ist; er erreicht schneller Signifikanz, kann aber nicht erkennen, dass B schlechter ist.
Kann ich den Test beenden, sobald er signifikant wird?
Wiederholtes Nachsehen und Abbrechen beim ersten signifikanten Ergebnis (Peeking) erhöht die Zahl falsch positiver Ergebnisse. Lege die Stichprobengröße vorab im Tab Stichprobengröße fest und lass den Test bis zu dieser Größe laufen, idealerweise über ganze Wochen.
Warum eine Bonferroni-Korrektur bei mehreren Varianten?
Jeder zusätzliche Vergleich ist eine weitere Chance auf ein falsch positives Ergebnis. Bonferroni teilt das Signifikanzniveau durch die Anzahl der Vergleiche, zum Beispiel 0.05 ÷ 3 ≈ 0.0167 für drei Varianten gegen eine Kontrolle, sodass die Gesamtfehlerrate nahe 5% bleibt.
Was ist statistische Power?
Die Power ist die Wahrscheinlichkeit, einen echten Effekt einer bestimmten Größe zu erkennen. 80% Power bedeutet, dass ein echter Uplift dieser Größe in 4 von 5 Fällen als signifikant erkannt würde. Eine niedrige beobachtete Power bedeutet, dass ein nicht signifikantes Ergebnis nicht aussagekräftig ist und kein Beleg dafür, dass es keinen Effekt gibt.
Werden alle Tools auf FreeToolCabin auf Qualität und Genauigkeit getestet?
Ja. Jedes Tool auf der Website durchläuft automatische Tests in echten Browsern, die prüfen, ob das Ergebnis stimmt und keine Fehler auftreten. Wenn du einen Fehler findest oder einen Vorschlag hast, schreib uns an [email protected] – wir sehen es uns an.