A/B-Test Signifikanz berechnen (Conversion-Rates, p-Wert und Konfidenzintervall)

Geben Sie die Besucher und Conversions der Gruppe A (Originalversion) und der Gruppe B (geänderte Version) ein. Neben der Conversion-Rate jeder Gruppe, der Differenz und dem relativen Uplift führt der Rechner einen z-Test für zwei Anteile durch, berechnet den z-Wert und den p-Wert und gibt bei dem gewählten Signifikanzniveau das Ergebnis „signifikant / nicht signifikant“ aus.

Besucher in A (Klicks)

Conversions in A

Besucher in B (Klicks)

Conversions in B

Signifikanzniveau

Einseitig oder zweiseitig

Besucher können Klicks, Sessions oder Nutzer sein, aber zählen Sie in beiden Gruppen gleich. Geben Sie ganze Zahlen ein. Wählen Sie Signifikanzniveau und einseitig/zweiseitig so, wie Sie es vor Beginn des Tests festgelegt haben (sie nach dem Blick auf die Ergebnisse zu ändern, ist keine zulässige Verwendung).

Ergebnis und Diagramm

Geben Sie links die Besucher und Conversions der Gruppen A und B ein und klicken Sie auf „Berechnen“. Hier erscheinen das Testergebnis und ein Diagramm.

Inhaltsverzeichnis

[ Schließen X ]

Was Sie auf dieser Seite tun können
Wofür ist diese Berechnung nützlich?
Anleitung
Formel
Symbole und Begriffe
- Symbole
- Begriffe
Was Sie vorab wissen sollten
Mit Excel berechnen
Mit Google Tabellen berechnen
Mit Python berechnen
Die Formel in LaTeX und anderen mathematischen Schreibweisen (zum Kopieren)
Die Berechnung von ChatGPT ausführen lassen
Die Vorteile von DataChef
Verwandte Funktionen
Alle NumberChef-Rechner

Was Sie auf dieser Seite tun können

Geben Sie die Besucher (auch Klicks oder Sessions sind möglich) und Conversions der Gruppen A und B ein und erhalten Sie die Conversion-Rate jeder Gruppe, die Differenz der Conversion-Rates und den relativen Uplift auf einmal
„B sieht besser aus, aber ist es nur zufällige Schwankung?“ Ein z-Test für zwei Anteile beantwortet das (z-Wert, zwei- und einseitiger p-Wert und ein Ergebnis bei einem Signifikanzniveau von 5 %, 1 % oder 10 %)
Außerdem erhalten Sie das Konfidenzintervall der Differenz (zum Beispiel 95 %) und den Abstand, um den der z-Wert die Signifikanzgrenze überschreitet (oder verfehlt)
Ein Diagramm der Standardnormalverteilung zeigt, wo Ihr z-Wert liegt, und färbt den Ablehnungsbereich ein (signifikant, wenn der z-Wert dort landet)
Eine leicht verständliche Erklärung der Formeln sowie Formeln zum Kopieren für Excel, Google Tabellen und Python finden Sie ebenfalls auf dieser Seite

Diese Seite dient nur der Prüfung, ob sich die Conversion-Rates (Anteile) der Gruppen A und B unterscheiden. Wenn Sie nur einen z-Wert in einen p-Wert umrechnen möchten, nutzen Sie den p-Wert-Rechner, für das Konfidenzintervall eines Mittelwerts den Konfidenzintervall-Rechner und für die nötige Personenzahl bei einem Anteil den Rechner für den Stichprobenumfang. „Statistisch signifikant“ garantiert nicht, dass der Effekt real oder groß ist (siehe „Kernidee“ unten und die Begriffe).

Wofür ist diese Berechnung nützlich?

Landingpages und Anzeigentexte verbessern (Online-Marketing)

„Version B mit einer anderen Buttonfarbe hat die Conversion-Rate von 2,0 % auf 2,5 % gesteigert.“ Zu prüfen, ob diese Differenz nicht bloß Zufall ist, ist die Signifikanz eines A/B-Tests, im Online-Marketing eine tägliche Aufgabe. Bei je 10.000 Besuchern beträgt der zweiseitige p-Wert etwa 0,017, „bei 5 % signifikant“. Bei ähnlichen Conversion-Rates mit je 500 Besuchern (10 Conversions gegenüber 12 oder 13) liegt der p-Wert dagegen bei etwa 0,5 bis 0,7, und Sie können nur sagen „das kann Zufall sein“.
Wer umschaltet, weil „B besser aussieht“, erlebt oft, dass die Ergebnisse im nächsten Monat zurückfallen. Wer die Besucherzahl vorher festlegt und nach einem Signifikanzniveau urteilt, vermeidet das (vorausgesetzt, die Besucher werden zufällig aufgeteilt).

Betreffzeilen und Versandzeiten von E-Mails testen (E-Mail-Marketing)

Senden Sie dieselbe E-Mail mit zwei verschiedenen Betreffzeilen an je die Hälfte der Liste und vergleichen Sie Öffnungsraten von 48 % und 52 %. Auch das ist ein Test auf die Differenz zweier Anteile. Bei je 5.000 E-Mails hat die Differenz von 4 Punkten einen z-Wert von etwa 4, eine Differenz, die sich kaum durch Zufall erklären lässt.
Große Anteile wie Öffnungsraten lassen sich bei gleicher Zahl an E-Mails leichter beurteilen als kleine wie Conversion-Rates (die Differenz ist tendenziell groß im Vergleich zum Standardfehler). Diese Formel vermittelt ein Gefühl dafür, wie die verglichene Kennzahl die nötige Zahl an Sendungen verändert.

Erfolgsquoten von Behandlungen vergleichen (medizinische Forschung)

Der Vergleich von Besserungsraten zwischen zwei Gruppen, etwa „60 % besserten sich mit der Standardbehandlung und 70 % mit der neuen“, ist ein Grundtest in klinischen Studien (echte Studien nutzen strenge Designs wie Randomisierung und Verblindung).
Arbeiten hinter Arzneimittelzulassungen und Behandlungsleitlinien geben immer p-Werte und Konfidenzintervalle an. Wer diese Formel versteht, lässt sich nicht vom Wort „signifikant“ allein beeindrucken, sondern kann auch lesen „wie groß ist die Differenz?“ und „gab es genug Patienten?“.

Fehlerquoten einer Produktionslinie vergleichen (Qualitätssicherung)

Scheint ein neuer Prozess B die Fehlerquote von 1,5 % auf 1,0 % zu senken, hängt das Ergebnis von der Menge ab: Bei je 2.000 Stück ist es „im Bereich des Zufalls“, bei je 20.000 Stück „eine signifikante Verbesserung“. Diese Rechnung verhindert, dass Entscheidungen über Anlagen und Prozessänderungen von zufälligen Ausschlägen kleiner Stichproben bestimmt werden.
Bei kleinen Anteilen wie Fehlerquoten wird die Normalapproximation grob, wenn die erwartete Zahl an Fehlern (Stückzahl × Fehlerquote) unter 5 fällt, weshalb stattdessen ein exakter Test gewählt wird, der die Binomialverteilung direkt nutzt (etwa der exakte Test nach Fisher).

Die Wirkung von Lehrmaterial und Unterrichtsmethoden messen (Bildung)

Derselbe Test funktioniert für Vergleiche wie „Klassen mit dem neuen Lehrbuch hatten eine Bestehensquote von 75 %, mit dem alten 65 %“. Weist man Lehrbücher aber klassenweise zu, wurden die Schüler nicht zufällig aufgeteilt, und Unterschiede zwischen Lehrkräften und Schülern fließen in das Ergebnis ein.
In der Bildungs- und Sozialforschung kommt es neben der Signifikanzprüfung mit dieser Formel auf das Design an: Wurden die Gruppen zufällig aufgeteilt, und hat jemand nach dem Blick auf die Ergebnisse die Art des Vergleichs geändert? Wer die Annahmen hinter der Formel kennt, lässt sich nicht von Zahlen täuschen.

Formel

Conversion-Rate jeder Gruppe

Mathematische Schreibweise (die übliche Schreibweise)

\(\hat{p}_A\) \(=\) \(x_A\) \(\div\) \(n_A\)

In Worten (die Symbole durch Wörter ersetzt)

③ \(\hat{p}_A\): Conversion-Rate von A \(=\) ① \(x_A\): Conversions in A \(\div\) ② \(n_A\): Besucher in A

Die Formel in Worten

① Nehmen Sie die \(x_A\): Conversions in A

② teilen Sie sie durch die \(n_A\): Besucher in A , und Sie erhalten die

③ \(\hat{p}_A\): Conversion-Rate von A (für B gilt dieselbe Formel, \(\hat{p}_B = x_B \div n_B\))

Einfaches Beispiel

Hat A 200 Conversions bei 10.000 Besuchern und B 250 Conversions bei 10.000 Besuchern, betragen die Conversion-Rates

Conversion-Rate von A \(\hat{p}_A\) \(=\) Conversions (200) \(\div\) Besucher (10.000)

\(200 \div 10000 = 0{,}02\ \ (2\,\%)\)

\(250 \div 10000 = 0{,}025\ \ (2{,}5\,\%)\)

Der Kerngedanke

Der Nenner der Conversion-Rate (die Besucher) kann aus Klicks, Sessions oder Nutzern bestehen, aber zählen Sie A und B immer gleich. In den Formeln sind Anteile Dezimalzahlen zwischen 0 und 1, etwa \(0{,}02\), und erst für die Anzeige werden sie in Prozent umgerechnet. Das Symbol \(\hat{p}\) (p Dach) steht für „die wahre Conversion-Rate \(p\), geschätzt aus den vorliegenden Daten“. Selbst wenn 10.000 Personen dieselbe Seite sehen, schwankt die Zahl der Conversions zufällig ein wenig. „Diesmal waren es 2 %“ heißt also nicht, dass die wahre Conversion-Rate genau 2 % beträgt, es ist nur eine Schätzung in der Nähe. Der folgende Test ist die Methode, mit dieser zufälligen Schwankung richtig umzugehen.

Differenz der Conversion-Rates und relativer Uplift

Mathematische Schreibweise (die übliche Schreibweise)

\(d\) \(=\) \(\hat{p}_B\) \(-\) \(\hat{p}_A\)

\(L\) \(=\) \(d\) \(\div\) \(\hat{p}_A\) \(\times\) \(100\)

In Worten (die Symbole durch Wörter ersetzt)

③ \(d\): Differenz der Conversion-Rates \(=\) ① \(\hat{p}_B\): Conversion-Rate von B \(-\) ② \(\hat{p}_A\): Conversion-Rate von A

⑦ \(L\): relativer Uplift (%) \(=\) ④ \(d\): Differenz der Conversion-Rates \(\div\) ⑤ \(\hat{p}_A\): Conversion-Rate von A \(\times\) ⑥ \(100\): Bezugsgröße für Prozent

Die Formel in Worten

① Nehmen Sie die \(\hat{p}_B\): Conversion-Rate von B ,

② ziehen Sie die \(\hat{p}_A\): Conversion-Rate von A ab, und Sie erhalten die

③ \(d\): Differenz der Conversion-Rates (in der Anzeige mit 100 multipliziert, in Prozentpunkten).

④ Teilen Sie die \(d\): Differenz der Conversion-Rates

⑤ durch die \(\hat{p}_A\): Conversion-Rate von A ,

⑥ multiplizieren Sie mit der \(100\): Bezugsgröße für Prozent um daraus einen Prozentsatz zu machen, und Sie erhalten den

⑦ \(L\): relativer Uplift (%)

Einfaches Beispiel

Beträgt die Conversion-Rate von A 0,02 (2 %) und die von B 0,025 (2,5 %), lauten die Differenz und der relative Uplift

Differenz \(d\) \(=\) Conversion-Rate von B (0,025) \(-\) Conversion-Rate von A (0,02)

relativer Uplift \(L\) (%) \(=\) Differenz (0,005) \(\div\) Conversion-Rate von A (0,02) \(\times\) \(100\)

\(0{,}025 - 0{,}02 = 0{,}005\ \ (0{,}5\ \text{Pp.})\)

\(0{,}005 \div 0{,}02 \times 100 = 25\ \ (25\,\%)\)

Der Kerngedanke

„Von 2 % auf 2,5 % gestiegen“ sind als Differenz 0,5 Prozentpunkte und als Verhältnis 25 % mehr. Um Verwechslungen zu vermeiden, nennt man das Ergebnis der Subtraktion zweier Prozentwerte „Prozentpunkte“ (Pp.) und nicht „%“ (2,5 % − 2 % = 0,5 Prozentpunkte). Der relative Uplift zeigt, „um wie viel Prozent B die Conversions gegenüber A steigert“, und lässt sich daher direkt auf Schätzungen von Werbeausgaben und Umsatz übertragen, weshalb er in der Praxis weit verbreitet ist. Beide Zahlen sind aber die in dieser Stichprobe beobachtete Differenz, die wahre Differenz muss nicht genau gleich sein. Der folgende Test prüft genau das.

Gepoolte Conversion-Rate (eine Rate für beide Gruppen zusammen)

Mathematische Schreibweise (die übliche Schreibweise)

\(\hat{p}\) \(=\) \((x_A + x_B)\) \(\div\) \((n_A + n_B)\)

In Worten (die Symbole durch Wörter ersetzt)

③ \(\hat{p}\): gepoolte Conversion-Rate \(=\) ① \((x_A + x_B)\): Conversions insgesamt \(\div\) ② \((n_A + n_B)\): Besucher insgesamt

Die Formel in Worten

① Nehmen Sie die \((x_A + x_B)\): Conversions insgesamt

② teilen Sie sie durch die \((n_A + n_B)\): Besucher insgesamt , und Sie erhalten die

③ \(\hat{p}\): gepoolte Conversion-Rate

Einfaches Beispiel

Hat A 200 Conversions bei 10.000 Besuchern und B 250 bei 10.000, beträgt die gepoolte Conversion-Rate

gepoolte Conversion-Rate \(\hat{p}\) \(=\) Conversions insgesamt (200 + 250) \(\div\) Besucher insgesamt (10.000 + 10.000)

\((200 + 250) \div (10000 + 10000) = 450 \div 20000 = 0{,}0225\ \ (2{,}25\,\%)\)

Der Kerngedanke

Der Test beginnt mit der Hypothese, dass „A und B in Wahrheit dieselbe Conversion-Rate haben“ (die Nullhypothese). Sind sie gleich, stammen die Daten beider Gruppen aus einer einzigen Conversion-Rate, Sie fassen also beide Gruppen zusammen (poolen), um sie zu schätzen. Das ist die gepoolte Conversion-Rate, die bei der anschließenden Berechnung des Standardfehlers verwendet wird. „Angenommen, sie sind gleich - dann dürfte eine so große Differenz fast nie vorkommen“: Ergibt die Rechnung das, zweifeln Sie an der Annahme (kein Unterschied). Das ist die Logik eines Hypothesentests.

Standardfehler und z-Wert (z-Test für zwei Anteile)

Mathematische Schreibweise (die übliche Schreibweise)

\(\mathrm{SE}\) \(=\) \(\sqrt{\hat{p}(1-\hat{p})\left(\dfrac{1}{n_A}+\dfrac{1}{n_B}\right)}\)

\(z\) \(=\) \(d\) \(\div\) \(\mathrm{SE}\)

In Worten (die Symbole durch Wörter ersetzt)

② \(\mathrm{SE}\): Standardfehler \(=\) ① Quadratwurzel aus: Streuung der gepoolten Rate \(\hat{p}(1-\hat{p})\) × Summe der Kehrwerte der Besucher \(\left(\dfrac{1}{n_A}+\dfrac{1}{n_B}\right)\)

⑤ \(z\): z-Wert \(=\) ③ \(d\): Differenz der Conversion-Rates \(\div\) ④ \(\mathrm{SE}\): Standardfehler

Die Formel in Worten

① Die Quadratwurzel aus der Streuung der gepoolten Rate \(\hat{p}(1-\hat{p})\) mal der Summe der Kehrwerte der Besucher \(\left(\dfrac{1}{n_A}+\dfrac{1}{n_B}\right)\) ist der

② \(\mathrm{SE}\): Standardfehler (ein Anhaltspunkt dafür, wie stark die Differenz zufällig schwankt).

③ Teilen Sie die \(d\): Differenz der Conversion-Rates

④ durch den \(\mathrm{SE}\): Standardfehler , und Sie erhalten den

⑤ \(z\): z-Wert (wie viele Male der zufälligen Schwankung die Differenz entspricht)

Einfaches Beispiel

Bei einer gepoolten Conversion-Rate von 0,0225, je 10.000 Besuchern in jeder Gruppe und einer Differenz von 0,005 betragen der Standardfehler und der z-Wert

Standardfehler \(\mathrm{SE}\) \(=\) Quadratwurzel aus „0,0225 × (1 − 0,0225) × (1/10000 + 1/10000)“

z-Wert \(z\) \(=\) Differenz (0,005) \(\div\) Standardfehler (0,002097)

\(0{,}0225 \times (1 - 0{,}0225) \times \left(\dfrac{1}{10000} + \dfrac{1}{10000}\right) = 0{,}02199375 \times 0{,}0002 \approx 0{,}0000043988\)

\(\mathrm{SE} = \sqrt{0{,}0000043988} \approx 0{,}002097\)

\(z = 0{,}005 \div 0{,}002097 \approx 2{,}384\)

Der Kerngedanke

Der z-Wert gibt an, wievielmal die zufällige Schwankung (der Standardfehler) die beobachtete Differenz beträgt. Gibt es keinen Unterschied, folgt der z-Wert der Standardnormalverteilung mit Mittelwert 0 und Standardabweichung 1. Eine Differenz mit \(|z|\) über 2 tritt also ohne echten Unterschied nur selten (etwa in 5 % der Fälle oder weniger) zufällig auf. Der Kehrwert der Besucher \(1/n\) steckt in der Formel des Standardfehlers: Je mehr Besucher, desto kleiner der Standardfehler, und dieselbe Differenz von 0,5 Punkten ergibt einen größeren z-Wert (sie wird leichter signifikant). Bei wenigen Besuchern lässt sich selbst bei einer großen Differenz nur sagen „vielleicht Zufall“. Diese Formel nähert die Streuung der Conversion-Anzahl (eine Binomialverteilung) durch eine Normalverteilung an. Als Faustregel sollten die erwarteten Conversions \(n\hat{p}\) und die erwarteten Nicht-Conversions \(n(1-\hat{p})\) in jeder Gruppe alle mindestens 5 betragen (möglichst 10 oder mehr), andernfalls zeigt das Ergebnis eine Warnung.

p-Werte (zweiseitig und einseitig)

Mathematische Schreibweise (die übliche Schreibweise)

\(p_2\) \(=\) \(2\) \(\times\) \((\) \(1\) \(-\) \(\Phi(|z|)\) \()\)

\(p_1\) \(=\) \(1\) \(-\) \(\Phi(z)\)

In Worten (die Symbole durch Wörter ersetzt)

④ \(p_2\): zweiseitiger p-Wert \(=\) ③ \(2\): für beide Ausläufer \(\times\) \((\) ① \(1\): Gesamtwahrscheinlichkeit \(-\) ② \(\Phi(|z|)\): kumulierte Wahrscheinlichkeit bis \(|z|\) \()\)

⑦ \(p_1\): einseitiger p-Wert \(=\) ⑤ \(1\): Gesamtwahrscheinlichkeit \(-\) ⑥ \(\Phi(z)\): kumulierte Wahrscheinlichkeit bis \(z\)

Die Formel in Worten

① Nehmen Sie die \(1\): Gesamtwahrscheinlichkeit ,

② ziehen Sie die \(\Phi(|z|)\): kumulierte Wahrscheinlichkeit bis \(|z|\) ab (das ergibt die Fläche eines Ausläufers),

③ multiplizieren Sie mit \(2\): für beide Ausläufer , und Sie erhalten den

④ \(p_2\): zweiseitiger p-Wert .

⑤ Nehmen Sie die \(1\): Gesamtwahrscheinlichkeit ,

⑥ ziehen Sie die \(\Phi(z)\): kumulierte Wahrscheinlichkeit bis \(z\) ab, und Sie erhalten den

⑦ \(p_1\): einseitiger p-Wert (für die Hypothese „B ist höher als A“)

Einfaches Beispiel

Bei einem z-Wert von 2,384 (die kumulierte Wahrscheinlichkeit der Standardnormalverteilung beträgt \(\Phi(2{,}384) \approx 0{,}99144\)) lauten der zweiseitige und der einseitige p-Wert

zweiseitiger p-Wert \(p_2\) \(=\) \(2\) \(\times\) \((\) \(1\) \(-\) \(\Phi(2{,}384)\) (0,99144) \()\)

\(p_2 = 2 \times (1 - 0{,}99144) = 2 \times 0{,}00856 \approx 0{,}0171\)

\(p_1 = 1 - 0{,}99144 \approx 0{,}0086\)

Der Kerngedanke

Der p-Wert ist „die Wahrscheinlichkeit, rein zufällig eine mindestens so große Differenz zu erhalten, obwohl es in Wahrheit keinen Unterschied gibt“. Ein zweiseitiger p-Wert von 0,0171 besagt: „Gäbe es keinen Unterschied, träte eine so große Differenz (in beide Richtungen) nur etwa 1,7-mal in 100 Fällen auf.“ Er liegt unter dem Signifikanzniveau von 5 % (0,05), das Ergebnis lautet also „statistisch signifikant“, und er liegt über 1 % (0,01), also „bei 1 % nicht signifikant“. Ein zweiseitiger Test fragt „gibt es einen Unterschied zwischen A und B (wer auch immer höher liegt)?“, ein einseitiger Test nur „ist B höher als A?“. Der einseitige p-Wert ist halb so groß wie der zweiseitige und wird daher leichter signifikant, aber Sie dürfen ihn nur verwenden, wenn Sie **vor Beginn des Tests** festgelegt haben, dass Sie ein niedrigeres B nicht berücksichtigen. Nach dem Blick auf die Ergebnisse auf einseitig umzustellen, ist keine zulässige Verwendung. Aus demselben Grund erhöht es die Chance auf ein „signifikantes“ Ergebnis ohne echten Unterschied weit über 5 %, wenn Sie die Ergebnisse immer wieder ansehen und abbrechen, sobald es signifikant wird (Peeking), oder viele Versionen oder Kennzahlen gleichzeitig testen und alles übernehmen, was signifikant wird (multiples Testen). Die Grundregel lautet, die nötige Besucherzahl und die betrachteten Kennzahlen vor dem Test festzulegen, bis dahin zu warten und nur ein einziges Mal zu urteilen. \(\Phi\) (Phi) ist die Verteilungsfunktion der Standardnormalverteilung: die Wahrscheinlichkeit, dass der z-Wert höchstens so groß ist wie dieser Wert, also die Fläche links unter der Glockenkurve. Ihre Werte erhalten Sie aus einer Tabelle oder mit der Excel-Funktion NORM.S.VERT (der Rechner auf dieser Seite berechnet sie numerisch).

Konfidenzintervall der Differenz der Conversion-Rates

Mathematische Schreibweise (die übliche Schreibweise)

\(d_L,\ d_U\) \(=\) \(d\) \(\pm\) \(z_{\alpha/2}\) \(\times\) \(\sqrt{\dfrac{\hat{p}_A(1-\hat{p}_A)}{n_A}+\dfrac{\hat{p}_B(1-\hat{p}_B)}{n_B}}\)

In Worten (die Symbole durch Wörter ersetzt)

④ \(d_L,\ d_U\): untere und obere Grenze des Konfidenzintervalls \(=\) ① \(d\): Differenz der Conversion-Rates \(\pm\) ② \(z_{\alpha/2}\): bestimmt durch das Konfidenzniveau \(\times\) ③ \(\mathrm{SE}_d\): Standardfehler aus der Streuung jeder Gruppe

Die Formel in Worten

① Nehmen Sie die \(d\): Differenz der Conversion-Rates und addieren und subtrahieren Sie das Produkt aus

② dem \(z_{\alpha/2}\): bestimmt durch das Konfidenzniveau (1,96 bei 95 %) und dem

③ \(\mathrm{SE}_d\): Standardfehler aus der Streuung jeder Gruppe , und Sie erhalten die

④ \(d_L,\ d_U\): untere und obere Grenze des Konfidenzintervalls

Einfaches Beispiel

Beträgt die Conversion-Rate von A 0,02 (10.000 Besucher), die von B 0,025 (10.000 Besucher) und die Differenz 0,005, lautet das 95-%-Konfidenzintervall der Differenz

untere \(d_L\), obere \(d_U\) \(=\) Differenz (0,005) \(\pm\) \(z_{\alpha/2}\) (1,96) \(\times\) Standardfehler (0,002097)

\(\mathrm{SE}_d = \sqrt{\dfrac{0{,}02 \times 0{,}98}{10000} + \dfrac{0{,}025 \times 0{,}975}{10000}} = \sqrt{0{,}00000196 + 0{,}0000024375} \approx 0{,}002097\)

\(0{,}005 \pm 1{,}96 \times 0{,}002097 = 0{,}005 \pm 0{,}00411\)

\(0{,}00089 \le d \le 0{,}00911\ \ (0{,}09\ \text{bis}\ 0{,}91\ \text{Pp.})\)

Der Kerngedanke

Ein Test beantwortet nur mit Ja oder Nein: „Gibt es einen Unterschied?“. Ein Konfidenzintervall sagt zusätzlich etwas über die Größe: „Die wahre Differenz liegt wahrscheinlich in etwa diesem Bereich.“ In diesem Beispiel beträgt das 95-%-Konfidenzintervall 0,09 bis 0,91 Prozentpunkte. Es enthält die 0, Sie können also sagen „B ist höher“, aber es zeigt auch, dass der Bereich zu breit ist, um zu behaupten „es ist um genau 0,5 Punkte gestiegen“. Für den Standardfehler verwenden Sie die Streuung der Conversion-Rate jeder einzelnen Gruppe und nicht den gepoolten Wert des Tests (das Intervall setzt nicht „kein Unterschied“ voraus). \(z_{\alpha/2}\) ist der Wert der Standardnormalverteilung für das Konfidenzniveau: 1,645 bei 90 %, 1,96 bei 95 % und 2,576 bei 99 %. Wählen Sie das Konfidenzniveau als „100 − Signifikanzniveau“ (95 % bei einem Signifikanzniveau von 5 %), stimmen das zweiseitige Ergebnis und die Frage, ob das Intervall die 0 enthält, fast immer überein (bei einem einseitigen Test entsprechen sie sich nicht; außerdem verwendet der Test den gepoolten Standardfehler und das Intervall den jeder Gruppe, sodass sie sich knapp an der Grenze selten widersprechen können).

Der z-Wert ist die Differenz der Conversion-Rates geteilt durch die zufällige Schwankung (den Standardfehler) unter der Annahme, dass es keinen Unterschied gibt, und der p-Wert ist die Wahrscheinlichkeit, rein zufällig eine mindestens so große Differenz zu erhalten. Liegt der p-Wert unter dem Signifikanzniveau (etwa 5 %), lautet das Ergebnis „statistisch signifikant“, und das Konfidenzintervall der Differenz zeigt den wahrscheinlichen Bereich der wahren Differenz. „Statistisch signifikant“ heißt „kaum durch Zufall zu erklären“, nicht „der Effekt ist sicher oder groß“.

Symbole und Begriffe

Symbole

\(n_A,\ n_B\)	n Index A, n Index B	Besucher (Klicks oder Sessions) in den Gruppen A und B. \(n\) ist der Anfangsbuchstabe von „number“ (Anzahl) und in der Statistik der übliche Buchstabe für den Stichprobenumfang.
\(x_A,\ x_B\)	x Index A, x Index B	Conversions in den Gruppen A und B. Die Anzahl der Erfolge mit \(x\) zu bezeichnen, ist bei der Binomialverteilung üblich.
\(\hat{p}_A,\ \hat{p}_B\)	p Dach Index A, p Dach Index B	Conversion-Rates der Gruppen A und B (Anteile aus der Stichprobe). \(p\) ist der Anfangsbuchstabe von „proportion“ (Anteil) oder „probability“ (Wahrscheinlichkeit), und das „\(\hat{}\)“ (Dach) kennzeichnet einen aus der Stichprobe geschätzten Wert für den wahren Wert \(p\).
\(\hat{p}\)	p Dach	Gepoolte Conversion-Rate. Eine aus beiden Gruppen zusammen geschätzte Conversion-Rate unter der Annahme, dass es keinen Unterschied gibt: \(\hat{p} = (x_A + x_B) \div (n_A + n_B)\).
\(d\)	De	Differenz der Conversion-Rates (\(\hat{p}_B - \hat{p}_A\)), vom Anfangsbuchstaben von „difference“. Diese Seite zeigt sie mit 100 multipliziert in Prozentpunkten.
\(L\)	El	Relativer Uplift (%), vom Anfangsbuchstaben von „lift“. Um wie viel Prozent die Conversion-Rate von B gegenüber der von A gestiegen ist.
\(\mathrm{SE}\)	Es E	Standardfehler. Ein Maß dafür, wie stark ein Wert aus der Stichprobe (hier die Differenz der Conversion-Rates) zufällig schwankt. Es ist die Standardabweichung dieses Stichprobenwerts. Der Test verwendet die gepoolte Conversion-Rate, das Konfidenzintervall das \(\mathrm{SE}_d\) aus der Conversion-Rate jeder Gruppe.
\(z\)	Zett	z-Wert (Teststatistik). Die Differenz geteilt durch den Standardfehler, also wievielmal die zufällige Schwankung die Differenz beträgt. Gibt es keinen Unterschied, folgt er der Standardnormalverteilung (Mittelwert 0, Standardabweichung 1), der p-Wert ergibt sich also aus seiner Größe.
\(\|z\|\)	Betrag von z	Die Größe des z-Werts ohne Vorzeichen. Ein zweiseitiger Test fragt nicht, in welche Richtung die Differenz geht, und verwendet daher den Betrag.
\(\Phi\)	Phi (Großbuchstabe)	Die Verteilungsfunktion der Standardnormalverteilung. \(\Phi(z)\) ist die Wahrscheinlichkeit, dass ein standardnormalverteilter Wert höchstens \(z\) beträgt, die Fläche unter der Glockenkurve links von \(z\). Der griechische Großbuchstabe Phi ist das übliche Symbol dafür.
\(p_2,\ p_1\)	p Index 2, p Index 1	Der zweiseitige und der einseitige p-Wert. Die Indizes 2 und 1 stehen für „zwei Ausläufer“ und „ein Ausläufer“, eine Schreibweise nur auf dieser Seite. Statistiklehrbücher schreiben einfach \(p\).
\(\alpha\)	Alpha	Das Signifikanzniveau: die vorher festgelegte Grenze, ab der „bei einem kleineren p-Wert die Nullhypothese verworfen wird“. Üblich sind 5 % (0,05). Der griechische Buchstabe Alpha; es ist die Wahrscheinlichkeit eines Fehlers 1. Art (eine Differenz als real werten, obwohl es keine gibt).
\(z_{\alpha/2}\)	z Index Alpha halbe	Der Grenz-z-Wert (kritischer Wert), der zusammen in beiden Ausläufern die Wahrscheinlichkeit \(\alpha\) übrig lässt. 1,96 bei einem 95-%-Konfidenzintervall (\(\alpha = 0{,}05\)) und 2,576 bei 99 %. Für einen Ausläufer ist es \(z_\alpha\) (1,645 bei 5 %).
\(d_L,\ d_U\)	d Index L, d Index U	Die untere (Lower) und die obere (Upper) Grenze des Konfidenzintervalls der Differenz: die beiden Enden des Bereichs, in dem die wahre Differenz wahrscheinlich liegt.

Begriffe

A/B-Test	Ein Experiment, bei dem Besuchern im selben Zeitraum zufällig die Originalversion (A) oder eine geänderte Version (B) gezeigt wird und die Ergebnisse verglichen werden. Weit verbreitet bei Websites, Anzeigen und E-Mails. Die zufällige Aufteilung sorgt dafür, dass andere Faktoren als die Version (Wochentag, Traffic-Quelle usw.) in beiden Gruppen gleich verteilt sind.
Conversion-Rate (CVR)	Der Anteil der Besuche (Klicks), der zu einem Ergebnis (Conversion) wie einem Kauf oder einer Anmeldung geführt hat. Um die Conversion-Rate einer einzelnen Gruppe zu berechnen oder zurückzurechnen, nutzen Sie den Conversion-Rate-Rechner.
Nullhypothese	Die Hypothese, die der Test widerlegen will: „A und B haben in Wahrheit dieselbe Conversion-Rate“ (\(p_A = p_B\)). Der Test prüft, wie unwahrscheinlich die beobachtete Differenz wäre, wenn das stimmte.
Alternativhypothese	Die Hypothese, die Sie zeigen wollen und die der Nullhypothese entgegensteht. Beim zweiseitigen Test lautet sie „A und B unterscheiden sich“ (\(p_A \neq p_B\)), beim einseitigen Test „B ist höher als A“ (\(p_B > p_A\)).
Signifikanzniveau	Die vor dem Test festgelegte Grenze - liegt der p-Wert darunter, wird die Nullhypothese verworfen. Üblich sind 5 %, für einen strengeren Test 1 %. „Bei 5 % signifikant“ heißt, dass die Wahrscheinlichkeit einer so großen Differenz ohne echten Unterschied unter 5 % liegt.
p-Wert	Die Wahrscheinlichkeit, unter der Annahme, dass die Nullhypothese (kein Unterschied) stimmt, rein zufällig eine mindestens so große Differenz zu erhalten. Je kleiner er ist, desto schwerer lässt sich das Ergebnis durch Zufall erklären. Beachten Sie, dass er nicht „die Wahrscheinlichkeit, dass B besser ist“ bedeutet (ein verbreitetes Missverständnis).
statistisch signifikant	Der p-Wert liegt unter dem Signifikanzniveau, die Differenz lässt sich also kaum durch zufällige Schwankung erklären. Es verspricht nicht, dass die Differenz groß oder der Effekt sicher ist. Bei einer riesigen Besucherzahl wird selbst eine winzige Differenz signifikant.
Teststatistik	Eine einzelne Zahl, die für den Test aus den Daten berechnet wird. Auf dieser Seite ist es der z-Wert, „Differenz ÷ Standardfehler“. Wie extrem er ist, bestimmt den p-Wert.
z-Test für zwei Anteile	Ein Test, der mit der Normalverteilung prüft, ob sich die Anteile (etwa Conversion-Rates) zweier Gruppen unterscheiden. Er ist die grundlegendste Methode, die Signifikanz eines A/B-Tests zu beurteilen. Mit einem 2×2-Chi-Quadrat-Test erreichen Sie fast dasselbe, und die zweiseitigen p-Werte stimmen überein.
Standardfehler	Die Standardabweichung einer Kenngröße aus einer Stichprobe (hier der Differenz der Conversion-Rates), also wie stark sie je nach Stichprobe zufällig schwankt. Er schrumpft proportional zur Quadratwurzel der Besucherzahl, für einen halb so großen Standardfehler brauchen Sie also 4-mal so viele Besucher.
Pooling	Die Daten beider Gruppen unter der Annahme, dass es keinen Unterschied gibt, zu einer einzigen Schätzung der Conversion-Rate zusammenfassen. Das Wort kommt vom englischen „pool“ (zusammenlegen). Der Standardfehler für den Test verwendet diesen gepoolten Wert.
Konfidenzintervall	Der Bereich, in dem die wahre Differenz wahrscheinlich liegt. Ein 95-%-Konfidenzintervall ist ein Verfahren, Intervalle so zu bilden, dass bei vielen Wiederholungen des Experiments 95 % davon die wahre Differenz enthalten. Enthält das Intervall die 0 nicht, stimmt das fast immer mit der Signifikanz bei einem zweiseitigen Test von 5 % überein.
zweiseitiger Test	Ein Test auf „gibt es einen Unterschied (wer auch immer höher liegt)?“. Verwenden Sie ihn bei einem gewöhnlichen A/B-Test, bei dem Sie nicht wissen, in welche Richtung es geht.
einseitiger Test	Ein Test mit fester Richtung, etwa „ist B höher als A?“. Sein p-Wert ist halb so groß wie der zweiseitige und wird daher leichter signifikant. Verwenden Sie ihn nur, wenn Sie die Richtung vor dem Test festgelegt haben.
Ablehnungsbereich	Der Ausläufer der Standardnormalverteilung, in dem Sie die Nullhypothese verwerfen, wenn der z-Wert dort landet. Bei zweiseitig 5 % sind es die beiden Ausläufer \(z < -1{,}96\) und \(z > 1{,}96\) mit einer Gesamtfläche von 0,05. Es ist der eingefärbte Teil des Diagramms auf dieser Seite.
kritischer Wert	Der z-Wert am Rand des Ablehnungsbereichs. 1,96 bei zweiseitig 5 %, 2,576 bei zweiseitig 1 % und 1,645 bei einseitig 5 %. Der „z-Wert-Abstand“ im Ergebnis zeigt, wie weit dieser z-Wert über (oder unter) dem kritischen Wert liegt.
Normalapproximation	Die Conversion-Anzahl folgt eigentlich einer Binomialverteilung, aber bei vielen Besuchern lässt sie sich durch eine Normalverteilung (Glockenkurve) gut annähern. Der z-Test nutzt diese Näherung, daher sollten als Faustregel die erwarteten Conversions \(n\hat{p}\) und die erwarteten Nicht-Conversions \(n(1-\hat{p})\) in jeder Gruppe mindestens 5 betragen (möglichst 10 oder mehr).
Teststärke (Power)	Die Wahrscheinlichkeit, dass der Test einen echten Unterschied als signifikant erkennt. Bei wenigen Besuchern ist die Teststärke niedrig, und selbst ein echter Effekt fällt oft „nicht signifikant“ aus. „Nicht signifikant“ beweist nicht „kein Unterschied“.
Fehler 1. Art	Ein Ergebnis als signifikant werten, obwohl es in Wahrheit keinen Unterschied gibt (ein falsch positives Ergebnis). Das Signifikanzniveau \(\alpha\) ist die Wahrscheinlichkeit dieses Fehlers, die Sie akzeptieren. Bei 5 % gilt „führen Sie 100 Tests ohne echten Unterschied durch, werden etwa 5 zufällig signifikant“.
multiples Testen	Viele Versionen oder Kennzahlen gleichzeitig testen. Selbst bei einem Signifikanzniveau von 5 % wird bei 20 getesteten Kennzahlen wahrscheinlich eine zufällig „signifikant“. Sie müssen die Kennzahlen vorher eingrenzen oder ein strengeres Signifikanzniveau verwenden (Bonferroni-Korrektur und andere).
Peeking (vorzeitiger Abbruch)	Die Ergebnisse während des Tests immer wieder ansehen und abbrechen, sobald es signifikant aussieht. Der p-Wert schwankt im Verlauf eines Tests, wenn Sie also beim ersten Mal „abbrechen, wenn er unter 5 % fällt“, liegt die Wahrscheinlichkeit für Signifikanz ohne echten Unterschied weit über 5 %. Die Grundregel lautet, die nötige Besucherzahl zuerst festzulegen und zu warten, bis sie erreicht ist.
relativer Uplift	Um wie viel Prozent die Conversion-Rate von B gegenüber der von A gestiegen ist: die Differenz \(d\) geteilt durch die Conversion-Rate von A, mal 100. „Um 25 % gestiegen“ lässt sich leichter in Schätzungen zusätzlicher Conversions und Umsätze übertragen als „um 0,5 Punkte gestiegen“.
Prozentpunkt	Die Einheit für das Ergebnis der Subtraktion zweier Prozentwerte (abgekürzt Pp.). Sie wird verwendet wie in „2,5 % − 2 % = 0,5 Prozentpunkte“; „0,5 %“ könnte mit „0,5 % von 2 %“ verwechselt werden.

Was Sie vorab wissen sollten

Hier steht, was Ihnen hilft, die Berechnung auf dieser Seite mit echtem Verständnis zu nutzen, statt nur auf die Schaltfläche zu klicken.
Wenn Sie nicht weiterkommen, ist das Wiederholen dieser Themen der schnellste Weg.

Prozente (Klasse 6–7, 11–13 Jahre)	Wissen, dass ein Prozentsatz als „Teil ÷ Ganzes“ berechnet wird (Conversion-Rate = Conversions ÷ Besucher) Zwischen Prozentsätzen und Dezimalzahlen wechseln können (\(2{,}5\,\%\) = \(0{,}025\)) Wissen, dass eine Differenz zwischen Prozentwerten in Prozentpunkten angegeben wird (2,5 % − 2 % = 0,5 Prozentpunkte)
Kehrwerte und Wurzeln (Klasse 6–8, 11–14 Jahre)	Kehrwerte addieren können, etwa \(\dfrac{1}{5000} + \dfrac{1}{5000}\) = \(0{,}0004\) Quadratwurzeln verstehen und einfache bestimmen können, etwa \(\sqrt{0{,}0001} = 0{,}01\)
Normalverteilung, z-Werte (Sek. II)	Wissen, dass die Normalverteilung mit Mittelwert 0 und σ 1 (die „Standard“-Form) glockenförmig ist und dass „die Wahrscheinlichkeit für höchstens \(z\)“, also \(\Phi(z)\), die Fläche links unter der Kurve ist Näherungswerte aus einer z-Tabelle ablesen können, etwa \(\Phi(1{,}96)\) ≈ \(0{,}975\) Ein Gefühl dafür haben, dass „die Wahrscheinlichkeit, 2 oder mehr σ vom Mittelwert entfernt zu landen, etwa 5 % beträgt“
Testlogik (Sek. II, Stochastik)	Den Ablauf verstehen, eine Nullhypothese „kein Unterschied“ aufzustellen und danach zu urteilen, wie unwahrscheinlich das beobachtete Ergebnis unter ihr wäre Verstehen, wie Signifikanzniveau, p-Wert und Ablehnungsbereich zusammenhängen (der p-Wert liegt unter dem Signifikanzniveau ⇔ der z-Wert liegt im Ablehnungsbereich)
Binomialverteilung (Sek. II)	Wissen, dass „die Anzahl der Erfolge bei \(n\) Versuchen mit der Wahrscheinlichkeit \(p\)“ einer Binomialverteilung folgt und dass sich diese für großes \(n\) durch eine Normalverteilung annähern lässt

Mit Excel berechnen

Kopieren Sie die gesamte Tabelle unten und fügen Sie sie in Zelle A1 von Excel ein. Sie funktioniert unverändert.

Tabelle zur Berechnung der Conversion-Rate jeder Gruppe

Besucher in A n_A	10000
Conversions in A x_A	200
Besucher in B n_B	10000
Conversions in B x_B	250
Conversion-Rate von A p̂_A	=B2/B1
Conversion-Rate von B p̂_B	=B4/B3

Tabelle zur Berechnung der Differenz und des relativen Uplifts

Conversion-Rate von A p̂_A	0,02
Conversion-Rate von B p̂_B	0,025
Differenz d	=B2-B1
Relativer Uplift L (%)	=B3/B1*100

Tabelle zur Berechnung der gepoolten Conversion-Rate

Conversions in A x_A	200
Conversions in B x_B	250
Besucher in A n_A	10000
Besucher in B n_B	10000
Gepoolte Conversion-Rate p̂	=(B1+B2)/(B3+B4)

Tabelle zur Berechnung des Standardfehlers und des z-Werts

Gepoolte Conversion-Rate p̂	0,0225
Besucher in A n_A	10000
Besucher in B n_B	10000
Differenz d	0,005
Standardfehler SE	=WURZEL(B1(1-B1)(1/B2+1/B3))
z-Wert z	=B4/B5

Tabelle zur Berechnung der p-Werte (zweiseitig und einseitig)

z-Wert z	2,384
Zweiseitiger p-Wert p₂	=2*(1-NORM.S.VERT(ABS(B1);WAHR))
Einseitiger p-Wert p₁	=1-NORM.S.VERT(B1;WAHR)

Tabelle zur Berechnung des Konfidenzintervalls der Differenz

Conversion-Rate von A p̂_A	0,02
Besucher in A n_A	10000
Conversion-Rate von B p̂_B	0,025
Besucher in B n_B	10000
Differenz d	0,005
Konfidenzniveau (0,95 = 95 %)	0,95
z_(α/2)	=NORM.S.INV(1-(1-B6)/2)
Standardfehler SE_d	=WURZEL(B1(1-B1)/B2+B3(1-B3)/B4)
Untergrenze d_L	=B5-B7*B8
Obergrenze d_U	=B5+B7*B8

Nach dem Einfügen sind die oberen Zeilen Ihre Eingaben, und die Zeilen mit Formeln werden automatisch berechnet. Anteile sind Dezimalzahlen zwischen 0 und 1, etwa 0,02, für einen Prozentwert multiplizieren Sie mit 100.
In der ersten Tabelle zeigt B5 die Conversion-Rate von A mit 0,02 und B6 die von B mit 0,025. Die zweite Tabelle ergibt eine Differenz von 0,005 (0,5 Prozentpunkte) und einen Uplift von 25, die dritte eine gepoolte Conversion-Rate von 0,0225 und die vierte einen Standardfehler von etwa 0,002097 und einen z-Wert von etwa 2,384.
In der fünften Tabelle liefert NORM.S.VERT(z;WAHR) die kumulierte Wahrscheinlichkeit Φ(z) der Standardnormalverteilung. Der zweiseitige p-Wert beträgt etwa 0,0171 und der einseitige etwa 0,0086. In der sechsten Tabelle bestimmt NORM.S.INV aus einer kumulierten Wahrscheinlichkeit den z-Wert (1,96 bei einem Konfidenzniveau von 95 %), was eine Untergrenze von etwa 0,0009 und eine Obergrenze von etwa 0,0091 ergibt (0,09 bis 0,91 Prozentpunkte).

Mit Google Tabellen berechnen

Kopieren Sie die gesamte Tabelle unten und fügen Sie sie in Zelle A1 von Google Tabellen ein. Sie funktioniert unverändert.

Tabelle zur Berechnung der Conversion-Rate jeder Gruppe

Besucher in A n_A	10000
Conversions in A x_A	200
Besucher in B n_B	10000
Conversions in B x_B	250
Conversion-Rate von A p̂_A	=B2/B1
Conversion-Rate von B p̂_B	=B4/B3

Tabelle zur Berechnung der Differenz und des relativen Uplifts

Conversion-Rate von A p̂_A	0,02
Conversion-Rate von B p̂_B	0,025
Differenz d	=B2-B1
Relativer Uplift L (%)	=B3/B1*100

Tabelle zur Berechnung der gepoolten Conversion-Rate

Conversions in A x_A	200
Conversions in B x_B	250
Besucher in A n_A	10000
Besucher in B n_B	10000
Gepoolte Conversion-Rate p̂	=(B1+B2)/(B3+B4)

Tabelle zur Berechnung des Standardfehlers und des z-Werts

Gepoolte Conversion-Rate p̂	0,0225
Besucher in A n_A	10000
Besucher in B n_B	10000
Differenz d	0,005
Standardfehler SE	=WURZEL(B1(1-B1)(1/B2+1/B3))
z-Wert z	=B4/B5

Tabelle zur Berechnung der p-Werte (zweiseitig und einseitig)

z-Wert z	2,384
Zweiseitiger p-Wert p₂	=2*(1-STANDNORMVERT(ABS(B1)))
Einseitiger p-Wert p₁	=1-STANDNORMVERT(B1)

Tabelle zur Berechnung des Konfidenzintervalls der Differenz

Conversion-Rate von A p̂_A	0,02
Besucher in A n_A	10000
Conversion-Rate von B p̂_B	0,025
Besucher in B n_B	10000
Differenz d	0,005
Konfidenzniveau (0,95 = 95 %)	0,95
z_(α/2)	=STANDNORMINV(1-(1-B6)/2)
Standardfehler SE_d	=WURZEL(B1(1-B1)/B2+B3(1-B3)/B4)
Untergrenze d_L	=B5-B7*B8
Obergrenze d_U	=B5+B7*B8

Fast dieselben Formeln wie in Excel funktionieren. Die kumulierte Wahrscheinlichkeit der Standardnormalverteilung schreiben Sie als STANDNORMVERT(z) und ihre Umkehrung als STANDNORMINV(p) (sie arbeiten wie NORM.S.VERT und NORM.S.INV in Excel). Kopieren Sie die ganze Tabelle, fügen Sie sie in Zelle A1 ein und ersetzen Sie die Eingaben durch Ihre eigenen Zahlen.

Mit Python berechnen

import math

visits_a, conversions_a = 10000, 200   # Besucher und Conversions in A
visits_b, conversions_b = 10000, 250   # Besucher und Conversions in B
alpha = 0.05                           # Signifikanzniveau (5 %)

def normal_cdf(z):
    # Verteilungsfunktion der Standardnormalverteilung Φ(z)
    return 0.5 * math.erfc(-z / math.sqrt(2))

def normal_ppf(p):
    # Umkehrfunktion von Φ (Bisektion; zur Bestimmung von z_(α/2))
    low, high = -10.0, 10.0
    for _ in range(100):
        mid = (low + high) / 2
        if normal_cdf(mid) < p:
            low = mid
        else:
            high = mid
    return (low + high) / 2

cvr_a = conversions_a / visits_a
cvr_b = conversions_b / visits_b
diff = cvr_b - cvr_a
lift = diff / cvr_a * 100
pooled = (conversions_a + conversions_b) / (visits_a + visits_b)
se_pooled = math.sqrt(pooled * (1 - pooled) * (1 / visits_a + 1 / visits_b))
z = diff / se_pooled
p_two_sided = 2 * (1 - normal_cdf(abs(z)))
p_one_sided = 1 - normal_cdf(z)

se_diff = math.sqrt(cvr_a * (1 - cvr_a) / visits_a + cvr_b * (1 - cvr_b) / visits_b)
z_half = normal_ppf(1 - alpha / 2)
ci_low, ci_high = diff - z_half * se_diff, diff + z_half * se_diff

print(f"Conversion-Rate A: {cvr_a * 100:.2f} %  Conversion-Rate B: {cvr_b * 100:.2f} %")
print(f"Differenz: {diff * 100:.2f} Prozentpunkte  Relativer Uplift: {lift:.1f} %")
print(f"z-Wert: {z:.3f}  zweiseitiger p-Wert: {p_two_sided:.4f}  einseitiger p-Wert: {p_one_sided:.4f}")
print("Ergebnis (zweiseitig):", "statistisch signifikant" if p_two_sided < alpha else "nicht statistisch signifikant")
print(f"{(1 - alpha) * 100:.0f}-%-Konfidenzintervall der Differenz: {ci_low * 100:.2f} bis {ci_high * 100:.2f} Prozentpunkte")

Läuft nur mit der Standardbibliothek (math.erfc liefert die kumulierte Wahrscheinlichkeit der Standardnormalverteilung). In diesem Beispiel gibt es einen z-Wert von 2,384, einen zweiseitigen p-Wert von 0,0171, einen einseitigen p-Wert von 0,0086, das Ergebnis „statistisch signifikant“ und ein 95-%-Konfidenzintervall der Differenz von 0,09 bis 0,91 Prozentpunkte aus (Python zeigt Dezimalzahlen mit Punkt an). Ändern Sie oben die vier Zahlen und das Signifikanzniveau und führen Sie den Code aus. Steht scipy zur Verfügung, können Sie stattdessen scipy.stats.norm.cdf und norm.ppf verwenden.

Die Formel in LaTeX und anderen mathematischen Schreibweisen (zum Kopieren)

Conversion-Rate jeder Gruppe

p̂_A = x_A ÷ n_A

\hat{p}_A = \dfrac{x_A}{n_A}

<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>A</mi></msub>
    <mo>=</mo>
    <mfrac>
      <msub><mi>x</mi><mi>A</mi></msub>
      <msub><mi>n</mi><mi>A</mi></msub>
    </mfrac>
  </mrow>
</math>

hat(p)_A = x_A / n_A

xA/nA

pA := xA/nA;

pA = xA/nA;

p̂_A = x_A/n_A

Differenz der Conversion-Rates und relativer Uplift

d = p̂_B − p̂_A,  L = d ÷ p̂_A × 100

d = \hat{p}_B - \hat{p}_A, \quad L = \dfrac{d}{\hat{p}_A} \times 100

<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <mi>d</mi><mo>=</mo>
    <msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>B</mi></msub>
    <mo>&#x2212;</mo>
    <msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>A</mi></msub>
    <mo>,</mo><mspace width="1em"/>
    <mi>L</mi><mo>=</mo>
    <mfrac><mi>d</mi><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>A</mi></msub></mfrac>
    <mo>&#xD7;</mo><mn>100</mn>
  </mrow>
</math>

d = hat(p)_B - hat(p)_A, L = d / hat(p)_A xx 100

d = pB - pA; d/pA*100

d := pB - pA; L := d/pA*100;

d = pB - pA; L = d/pA*100;

d = p̂_B − p̂_A, L = d/p̂_A × 100

Gepoolte Conversion-Rate (eine Rate für beide Gruppen zusammen)

p̂ = (x_A + x_B) ÷ (n_A + n_B)

\hat{p} = \dfrac{x_A + x_B}{n_A + n_B}

<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <mover accent="true"><mi>p</mi><mo>^</mo></mover>
    <mo>=</mo>
    <mfrac>
      <mrow><msub><mi>x</mi><mi>A</mi></msub><mo>+</mo><msub><mi>x</mi><mi>B</mi></msub></mrow>
      <mrow><msub><mi>n</mi><mi>A</mi></msub><mo>+</mo><msub><mi>n</mi><mi>B</mi></msub></mrow>
    </mfrac>
  </mrow>
</math>

hat(p) = (x_A + x_B) / (n_A + n_B)

(xA + xB)/(nA + nB)

pPool := (xA + xB)/(nA + nB);

pPool = (xA + xB)/(nA + nB);

p̂ = (x_A + x_B)/(n_A + n_B)

Standardfehler und z-Wert (z-Test für zwei Anteile)

SE = √(p̂(1 − p̂)(1/n_A + 1/n_B)),  z = d ÷ SE

\mathrm{SE} = \sqrt{\hat{p}(1-\hat{p})\left(\dfrac{1}{n_A}+\dfrac{1}{n_B}\right)}, \quad z = \dfrac{d}{\mathrm{SE}}

<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <mi>z</mi><mo>=</mo>
    <mfrac>
      <mrow><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>B</mi></msub><mo>&#x2212;</mo><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>A</mi></msub></mrow>
      <msqrt>
        <mover accent="true"><mi>p</mi><mo>^</mo></mover>
        <mo>(</mo><mn>1</mn><mo>&#x2212;</mo><mover accent="true"><mi>p</mi><mo>^</mo></mover><mo>)</mo>
        <mo>(</mo>
        <mfrac><mn>1</mn><msub><mi>n</mi><mi>A</mi></msub></mfrac>
        <mo>+</mo>
        <mfrac><mn>1</mn><msub><mi>n</mi><mi>B</mi></msub></mfrac>
        <mo>)</mo>
      </msqrt>
    </mfrac>
  </mrow>
</math>

SE = sqrt(hat(p)(1 - hat(p))(1/n_A + 1/n_B)), z = d / SE

se = Sqrt[pPool*(1 - pPool)*(1/nA + 1/nB)]; z = d/se

SE := sqrt(pPool*(1 - pPool)*(1/nA + 1/nB)); z := d/SE;

SE = sqrt(pPool*(1 - pPool)*(1/nA + 1/nB)); z = d/SE;

SE = √(p̂(1 − p̂)(1/n_A + 1/n_B)), z = d/SE

p-Werte (zweiseitig und einseitig)

p₂ = 2(1 − Φ(|z|)),  p₁ = 1 − Φ(z)

p_2 = 2\left(1 - \Phi(|z|)\right), \quad p_1 = 1 - \Phi(z)

<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <msub><mi>p</mi><mn>2</mn></msub><mo>=</mo>
    <mn>2</mn><mo>(</mo><mn>1</mn><mo>&#x2212;</mo>
    <mi>&#x3A6;</mi><mo>(</mo><mo>|</mo><mi>z</mi><mo>|</mo><mo>)</mo><mo>)</mo>
    <mo>,</mo><mspace width="1em"/>
    <msub><mi>p</mi><mn>1</mn></msub><mo>=</mo>
    <mn>1</mn><mo>&#x2212;</mo><mi>&#x3A6;</mi><mo>(</mo><mi>z</mi><mo>)</mo>
  </mrow>
</math>

p_2 = 2(1 - Phi(|z|)), p_1 = 1 - Phi(z)

p2 = 2*(1 - CDF[NormalDistribution[0, 1], Abs[z]]); p1 = 1 - CDF[NormalDistribution[0, 1], z]

p2 := 2*(1 - Statistics:-CDF(Normal(0, 1), abs(z))); p1 := 1 - Statistics:-CDF(Normal(0, 1), z);

p2 = 2*(1 - normcdf(abs(z))); p1 = 1 - normcdf(z);

p_2 = 2(1 − Φ(|z|)), p_1 = 1 − Φ(z)

Konfidenzintervall der Differenz der Conversion-Rates

d ± z_(α/2) × √(p̂_A(1 − p̂_A)/n_A + p̂_B(1 − p̂_B)/n_B)

d \pm z_{\alpha/2}\sqrt{\dfrac{\hat{p}_A(1-\hat{p}_A)}{n_A}+\dfrac{\hat{p}_B(1-\hat{p}_B)}{n_B}}

<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <mi>d</mi><mo>&#xB1;</mo>
    <msub><mi>z</mi><mrow><mi>&#x3B1;</mi><mo>/</mo><mn>2</mn></mrow></msub>
    <msqrt>
      <mfrac>
        <mrow><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>A</mi></msub><mo>(</mo><mn>1</mn><mo>&#x2212;</mo><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>A</mi></msub><mo>)</mo></mrow>
        <msub><mi>n</mi><mi>A</mi></msub>
      </mfrac>
      <mo>+</mo>
      <mfrac>
        <mrow><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>B</mi></msub><mo>(</mo><mn>1</mn><mo>&#x2212;</mo><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>B</mi></msub><mo>)</mo></mrow>
        <msub><mi>n</mi><mi>B</mi></msub>
      </mfrac>
    </msqrt>
  </mrow>
</math>

d +- z_(alpha/2) sqrt((hat(p)_A(1 - hat(p)_A))/n_A + (hat(p)_B(1 - hat(p)_B))/n_B)

seD = Sqrt[pA*(1 - pA)/nA + pB*(1 - pB)/nB]; {d - zHalf*seD, d + zHalf*seD}

seD := sqrt(pA*(1 - pA)/nA + pB*(1 - pB)/nB); [d - zHalf*seD, d + zHalf*seD];

seD = sqrt(pA*(1 - pA)/nA + pB*(1 - pB)/nB); ci = [d - zHalf*seD, d + zHalf*seD];

d ± z_(α/2) √(p̂_A(1 − p̂_A)/n_A + p̂_B(1 − p̂_B)/n_B)

Die Berechnung von ChatGPT ausführen lassen

Sie sind ein Assistent für statistische Berechnungen (Hypothesentests). Führen Sie die folgende Berechnung tatsächlich mit Python-Code aus und stützen Sie Ihre Antwort nur auf die Zahlen aus dem Ergebnis der Ausführung (antworten Sie nicht per Kopfrechnen oder Schätzen).

Die Ergebnisse des A/B-Tests lauten:
- Gruppe A: 10000 Besucher, 200 Conversions
- Gruppe B: 10000 Besucher, 250 Conversions
Berechnen Sie jeweils:
1. Die Conversion-Rate jeder Gruppe (%), die Differenz der Conversion-Raten (Prozentpunkte) und den relativen Uplift (%)
2. Die gepoolte Conversion-Rate und den gepoolten Standardfehler SE = √(p̂(1−p̂)(1/n_A + 1/n_B))
3. Den z-Wert = Differenz ÷ SE sowie den zweiseitigen und den einseitigen p-Wert (Standardnormalverteilung)
4. Ob die Differenz bei einem Signifikanzniveau von 5 % (zweiseitig) statistisch signifikant ist
5. Das 95-%-Konfidenzintervall der Differenz (mit dem Standardfehler aus der Conversion-Rate jeder Gruppe, √(p̂_A(1−p̂_A)/n_A + p̂_B(1−p̂_B)/n_B))

Verwenden Sie in Python math.erfc (oder scipy.stats.norm) und zeigen Sie die verwendeten Formeln und die Zahlen aus dem Ergebnis der Ausführung.

Anleitung

1

Zahlen eingeben

Geben Sie die Zahlen, mit denen Sie rechnen möchten, in die Eingabefelder ein
2

Berechnen

Klicken Sie auf die Schaltfläche „Berechnen“
3

Ergebnis ablesen

Das Ergebnis erscheint sofort. Auf derselben Seite finden Sie auch den Rechenweg und die Erklärung der Formel