Darf man einen A/B-Test abbrechen, sobald er signifikant wird?

Nein, und der Preis dieser Gewohnheit ist messbar. Auf synthetischen Daten, auf denen keine Variante gewinnt, schließt ein Test, der ein einziges Mal zum geplanten Termin gelesen wird, in 4,875 % der Fälle falsch. Das akzeptierte Risiko lag bei 5 %, und es wird gehalten. Derselbe Test, jeden Tag vier Wochen lang gelesen und am ersten signifikanten Tag abgebrochen, schließt in 26,870 % der Fälle falsch. Mehr als jeder vierte Test benennt einen Gewinner, den es nicht gibt. Einmal pro Woche zu lesen rettet nicht: 12,020 %. Die erste Woche abzuwarten und dann täglich zu lesen auch nicht: 18,300 %.

Es gibt einen ehrlichen Weg, täglich hinzusehen. Eine sogenannte jederzeit gültige Schranke bleibt legitim, wie viele Lesungen auch erfolgen, und sie hält ihr Versprechen: 2,000 % Fehlalarme über 84 tägliche Lesungen, bei 5 % erlaubten. Sie kostet Zeit. Um die Trennschärfe des Tests mit festem Termin zu erreichen, also seine Fähigkeit, eine wirklich vorhandene Verbesserung zu erkennen, braucht sie 52 Tage statt 28, also einen Faktor 1,86. Drei weitere Einstellungen, weiter unten veröffentlicht, gehen bis 2,39.

Ein Team startet einen A/B-Test auf seiner Produktseite. Es erhält 250 Besucher am Tag, jeder davon zufällig einer der beiden Fassungen zugeordnet, mit einer Chance von zwei, wie es ein echter A/B-Test tut. Die Referenz-Konversionsrate liegt bei 5 %, die geplante Dauer bei vier Wochen, also etwa 3.500 Besucher je Fassung. Das Dashboard aktualisiert sich jeden Morgen und zeigt einen p-Wert: die Wahrscheinlichkeit, einen mindestens so großen Abstand zu beobachten wie den gemessenen, wenn die beiden Fassungen gleichwertig wären. Je kleiner er ist, desto unwahrscheinlicher wäre der Abstand durch bloßen Zufall. Die Versuchung ist dauernd da: wenn es nach neun Tagen schon signifikant ist, warum dann den geplanten Termin abwarten? Die Daten dieser Seite sind synthetisch: man weiß per Konstruktion, welche Varianten wirklich gewinnen, und genau das erlaubt es, die Fehler zu zählen.

Wie groß ist die Wahrscheinlichkeit, dass ein Entscheidungsverfahren samt Abbruchregel auf einen Unterschied schließt, obwohl keine Variante die Konversion verbessert? Und umgekehrt: welche Trennschärfe und welche Verzögerung bietet dieses Verfahren, wenn die Variante die Konversion wirklich verbessert?

• Estimand, also die Größe, die man schätzen will: die Wahrscheinlichkeit, auf einen Unterschied zu schließen, berechnet über das gesamte Verfahren samt aller Blicke und nicht über einen einzelnen Test. Diese Wahrscheinlichkeit trägt einen gängigen Namen, die Größe des Tests: es ist das Fehlalarmrisiko, das das Verfahren wirklich erreicht, im Gegensatz zu dem 5-%-Risiko, das es ausweist.
• Population: Tests mit zwei Fassungen, konstantem Tagesverkehr und zufällig gezogener Zuordnung, deren Kennzahl binär ist.
• Horizont: 28 geplante Tage, Überwachung bis 84 Tage getrieben, um zu messen, was die zusätzlichen Lesungen kosten.

Der p-Wert eines z-Tests und die 5-%-Schwelle, mit der man ihn vergleicht, setzen eine einzige Lesung voraus, zu einem vor dem Start festgelegten Termin. Täglich gelesen, schwankt dieselbe Statistik: sie überschreitet die Schwelle, fällt zurück, überschreitet sie wieder. Die Regel „ich höre beim ersten Überschreiten auf“ greift diese vorübergehenden Überschreitungen ab. Die Autoren unserer Hauptquelle stellen es so fest: Ergebnisse werden häufig laufend mit Methoden überwacht, die eine feste Stichprobe voraussetzen ^[C02], und diese Überwachung bläht das Risiko eines falschen Schlusses merklich auf, was Statistiker Fehler erster Art nennen ^[C03]. Diese Seite misst, um wie viel.

Drei Arten zu entscheiden, auf genau denselben Daten:

1. Fester Termin: die Dauer wird im Voraus gewählt, man sieht nur am Ende hin. Das angekündigte Risiko ist das wahre Risiko, aber man kann nicht früher aufhören.
2. Erster signifikanter Blick: man liest jeden Tag und hört auf, sobald der p-Wert unter 5 % fällt. Das ist die gängige Praxis, und sie ist es, die entgleist.
3. Jederzeit gültige Schranke: man liest jeden Tag, vergleicht aber den kumulierten Abstand mit einer Schranke, die mit der angesammelten Information steigt und so berechnet ist, dass die Wahrscheinlichkeit, sie an irgendeinem Tag zu überschreiten, unter 5 % bleibt. Eine solche Schranke erlaubt es, hinzusehen, wann man will, und nach beliebiger Regel aufzuhören, unter den Annahmen, die ihre Autoren nennen und die diese Seite durch die Konstruktion ihres Versuchsplans herstellt ^[C04]. Sie stammt aus einem jederzeit gültigen Konzentrationsrahmen und nicht aus einer Ungleichung mit fester Stichprobe ^[C08].

Das mathematische Objekt hinter der dritten Regel heißt Konfidenzfolge: eine Folge von Intervallen, die gleichmäßig über einen unbeschränkten Horizont gültig ist ^[C01]. Diese Freiheit hat einen Preis, den die Autoren selbst nennen: die Intervalle sind breiter als jene, die auf asymptotischen Näherungen beruhen, also nur gelten, wenn die Stichprobe groß ist ^[C05].

Für jeden Tag und jede Fassung: die Zahl der Besucher und die Zahl der Konversionen, kumuliert. Nichts Individuelles. Und zwei Dinge, vor dem Start aufgeschrieben: die geplante Dauer und die Entscheidungsregel einschließlich der Leseabstände. Ohne sie ist nachträglich keine Garantie berechenbar.

Dieser Abschnitt richtet sich an Praktiker. Wer entscheidet, kann ihn überspringen und bei „Das vollständige Zahlenbeispiel“ wieder einsteigen: der Satz „Im Klartext“ am Ende dieses Abschnitts genügt, um die Tabellen zu lesen.

• nᶜ, nᵛ: Besucher, die Kontrolle und Variante erhalten, zufällig, da die Zuordnung gezogen wird. Cₜ, Vₜ: ihre kumulierten Konversionen.
• α: das für das gesamte Verfahren akzeptierte Fehlalarmrisiko, hier 5 %.
• Regeln 1 und 2, z-Statistik mit gemeinsamer Varianz: zₜ ist der Abstand der beiden beobachteten Raten, geteilt durch √(p̄ₜ(1 − p̄ₜ)(1/nᶜ + 1/nᵛ)), wobei p̄ₜ die Rate beider Fassungen zusammen ist. Man schließt auf einen Unterschied, in der einen oder der anderen Richtung, da der Test zweiseitig ist, wenn |zₜ| ≥ 1,96 (1,959964 in den Programmen). Für Regel 1 findet diese Lesung nur zum geplanten Termin statt, in unserem Plan am Tag 28, und die Tabellen spielen dieselbe Regel für vier verschiedene geplante Dauern nach; für Regel 2 am ersten Tag, der überschreitet.
• Regel 3, sogenannte Normalmischungs-Schranke: anstelle einer einzigen Schwelle mittelt sie die Schwellen einer Familie möglicher Abstände, was sie gültig macht, wie groß der wirkliche Abstand auch ist. Sie wird auf der Uhr der Konversionen gelesen und nicht auf jener der Besucher. Man verfolgt den rohen Abstand Sₜ = Vₜ − Cₜ und die Gesamtzahl der Konversionen Wₜ = Cₜ + Vₜ und schließt am ersten Tag, an dem

|Sₜ| ≥ √( (Wₜ + ρ) · log( (Wₜ + ρ) / (ρ α²) ) ).

Hier ist log der natürliche Logarithmus. Das Quadrat auf α, und nicht α allein, kommt von der Zweiseitigkeit des Tests. Das ist die geschlossene Form der zweiseitigen Normalmischungs-Schranke unserer Quelle ^[C09], angewandt mit einem Anfangs-Likelihood-Verhältnis von 1, dem Wert, den die Quelle selbst in allen skalaren Fällen festlegt ^[C14].

• Warum diese Uhr, und warum die Zuordnung gezogen werden muss. Jeder Besucher wird einer Fassung durch eine Ziehung mit einer Chance von zwei zugeordnet. Unter der Annahme, dass kein Effekt vorliegt, konvertieren die beiden Fassungen mit derselben Rate; ein gegebener Besucher ist also „Konversion der Variante“ mit Wahrscheinlichkeit p/2 und „Konversion der Kontrolle“ mit derselben Wahrscheinlichkeit. Bedingt auf eine Konversion gehört sie der Variante mit Wahrscheinlichkeit genau einer Hälfte, unabhängig von den anderen. Der Zuwachs von Sₜ beträgt somit +1 oder −1 wie beim Münzwurf. Ein solcher Zuwachs heißt subgaußisch mit Varianz 1: seine extremen Abweichungen überschreiten die einer Normalverteilung mit Varianz 1 nicht, und das ist die Bedingung, die der Satz verlangt, aus dem die Schranke stammt: er fordert, dass der kumulierte Abstand in beiden Richtungen subgaußisch ist mit dem Varianzprozess, dem man folgt ^[C11]. Sie gilt für jede Konversionsrate, denn die Ungleichung cosh(λ) ≤ exp(λ²/2) gilt für jede reelle Zahl λ, wobei λ der Neigungsparameter ist, mit dem man diese beiden Verteilungen vergleicht.
• Was mit einer festen Größe je Fassung falsch wäre. Würden jeder Fassung 125 Besucher auferlegt, so folgte die Zahl der Variantenkonversionen bei gegebener Gesamtzahl einer hypergeometrischen Verteilung, also einer Ziehung ohne Zurücklegen: die Zuwächse blieben untereinander austauschbar, wären aber nicht mehr unabhängig: jede zugeschriebene Konversion nimmt der anderen Fassung einen Platz, also sagt die Kenntnis der ersten etwas über die folgenden. Ihre bedingte Varianz fiele unter 1: auf dem kumulierten Abstand, den die Schranke wirklich liest, betrüge sie über den ganzen Horizont etwa 0,95 statt 1. Der Schluss bliebe vorsichtig, denn die Ziehung ohne Zurücklegen streut weniger, aber das Münzwurf-Argument wäre falsch. Deshalb wird die Zuordnung gezogen, und deshalb messen die Programme diese beiden Anteile, bevor sie rechnen.
• ρ legt fest, wo die Schranke am engsten ist, und das ist nicht ρ selbst: die Quelle zeigt, dass dieser Punkt bei etwa 8,21 mal ρ liegt und dass es dasselbe Verhältnis ist, das das ρ liefert, welches die Schwelle zu einem angestrebten Termin minimiert ^[C12]. Die Programme finden dieses Verhältnis durch eine deklarierte numerische Suche wieder, statt es fest einzuschreiben, und eine Invariante prüft, dass es wirklich 8,212 beträgt. Die Quelle weist darauf hin, dass diese Einstellung in der Praxis entscheidend ist ^[C10]: die Seite veröffentlicht daher vier Einstellungen, darunter jene, die die Quelle berechnen lässt.

Im Klartext: Regel 2 vergleicht jeden Tag denselben Abstand mit derselben Schwelle, als gäbe es nur einen Tag. Regel 3 hebt die Schwelle, während man hinsieht, sodass die Gesamtheit der Blicke und nicht jeder einzeln das 5-%-Versprechen hält.

1. Vor jeder Berechnung gemessene Invarianten, mit Abbruch im Fehlerfall, wenn eine davon scheitert: die Subgaußianitäts-Ungleichung, über 2.000 Werte von λ, von 0,01 bis 20; der Anteil der der Variante zugeordneten Besucher, der sich auf einen halben Punkt an 50 % halten muss; der Anteil der Konversionen, die auf die Variante fallen, der sich auf einen Punkt an 50 % halten muss; das Verhältnis des engsten Punktes zur Einstellung, das 8,212 betragen muss, wie die Quelle es nennt; die geschlossene Form der Schranke, an fünf Punkten mit einer anderen algebraischen Schreibweise verglichen; der Verbrauch einer einzigen Zufallsziehung je Binomialverteilung, geprüft durch Vergleich des Generatorzustands mit einem exakten Schritt seiner Rekursion; die Uhr, auf der die Schranke gelesen wird, von Anfang bis Ende an einem kurzen Test geprüft, dessen Urteile allein aus der Konversionssumme neu berechnet werden. Gemessen an 500.000 Besuchern: 50,090 % Zuordnung zur Variante und 50,091 % der 25.288 Konversionen, die auf die Variante fallen.
2. Unabhängige Prüfung der Schranke selbst: 5.000 Zufallswege von 2.000 Schritten, jeder Schritt +1 oder −1 wie beim Münzwurf. Das ist genau der Zuwachs, den die Schranke voraussetzt, und die Nullhypothese gilt dort per Konstruktion. Der Anteil der Wege, die die Schranke überschreiten, muss unter 5 % bleiben: er beträgt 2,980 %, und das Programm bricht ab, wenn er diese Schwelle übersteigt. Diese Prüfung betrifft die Schranke, nicht den Versuchsplan.
3. Zweite blockierende Prüfung, am Plan selbst: 2.000 Wiederholungen ohne jeden Effekt, 84 Tage lang täglich gelesen, deren Fehlalarmrate unter 5 % bleiben muss. Sie beträgt 1,750 %. Und eine Messung des gefährlichen Falls: dieselbe Schranke auf eine klebende Zuordnung angewandt, in Blöcken von zehn Besuchern, ergibt 8,780 % — jenseits der erlaubten Schwelle, was zeigt, dass die Garantie am Plan hängt und nicht an der Schranke allein. Diese Messung ist nicht blockierend, sie ist die Warnung.
4. Synthetisches Experiment, erzeugt von einem offen aufgeschriebenen Pseudozufallszahlengenerator (Startwert 20260916; x ← 1103515245 · x + 12345 mod 2³¹), identisch in Python und in R.
5. Jeder Tag wird in drei Schritten gezogen: die Aufteilung der 250 Besucher auf die beiden Fassungen, dann die Konversionen jeder Fassung. Die drei Zahlen werden exakt aus der Binomialverteilung gezogen, durch Inversion: man zieht eine Zahl zwischen 0 und 1 und liest den ihr entsprechenden Wert in der Verteilung ab, ohne jede Näherung.
6. Zwei Szenarien: keine gewinnende Variante (5 % gegen 5 %) und eine echte Verbesserung um 1,5 Punkt (5 % gegen 6,5 %).
7. Die Regeln werden auf dieselben Daten angewandt. Sechs Leserhythmen werden bewertet: täglich über 7, 14, 28 und 84 Tage, wöchentlich über vier Wochen und täglich erst ab Tag 7.
8. Regel 3 wird für vier im Vorhinein deklarierte Einstellungen bewertet: jene, die die Quelle berechnen lässt, und drei Kalibrierungen an den Tagen 7, 28 und 56.
9. Exakte Größe des Tests mit festem Termin, berechnet und nicht simuliert. Für eine gegebene Zahl von Kontrollkonversionen ist die Menge der Variantenkonversionszahlen, die zur Ablehnung führen, das Äußere eines Trinoms, eines Ausdrucks zweiten Grades. Die exakte Wahrscheinlichkeit folgt dann aus der Verteilungsfunktion der Binomialverteilung, die die Wahrscheinlichkeit liefert, höchstens eine gegebene Zahl von Konversionen zu erhalten. Sie wird bei gleichen Größen gelesen, was der Plan im Erwartungswert ist. Die Simulation dient dazu, diese Berechnung zu prüfen, niemals als Quelle der Wahrheit.
10. 20.000 Wiederholungen je Szenario. Die Anteile werden als Anzahl und als Rate mit fünf Dezimalstellen gedruckt: eine Rate aus 20.000 ist auf fünf Dezimalstellen exakt, während bei vier Dezimalstellen manche Werte genau in der Mitte liegen und Python und R sie in entgegengesetzte Richtungen runden.

Synthetische Daten, Startwert 20260916. Das sind keine Marktergebnisse. Die Prozentsätze sind das exakte Verhältnis der von den Programmen gedruckten Anzahlen, auf drei Dezimalstellen angegeben, ohne Rundung.

Ein Test ohne jeden Effekt, für schlüssig erklärt. Schon beim ersten Versuch trifft das Programm auf einen Test, in dem die beiden Fassungen identisch sind. Am Tag 9 beträgt der kumulierte Abstand −20 Konversionen und die Statistik −1,9907. Die Regel des ersten signifikanten Blicks hört dort auf und schließt auf einen Unterschied, zum Nachteil der Variante, was genügt hätte, sie zu Unrecht zu verwerfen. Am Tag 28 jedoch, zum geplanten Termin, ist die Statistik auf −0,6120 zurückgekehrt, und der Test schließt nicht. Die jederzeit gültige Schranke wiederum wurde in den 28 simulierten Tagen nicht überschritten. Drei Regeln, zwei Urteile: die tägliche Lesung schließt, der feste Termin und die gültige Schranke schließen nicht. Nur die erste irrt, und sie ist die einzige, deren ausgewiesenes Risiko nichts wert ist.

Fehlalarme, wenn keine Variante gewinnt (20.000 Wiederholungen). In Klammern ein Simulations-Standardfehler, also eine Monte-Carlo-Standardabweichung, und kein Konfidenzintervall: er misst die Ungenauigkeit der Ziehung, nicht die eines echten Tests.

Zwei vernünftigere Rhythmen über dieselben vier Wochen: eine wöchentliche Lesung, vier Blicke, ergibt 12,020 % (± 0,230) Fehlalarme; eine tägliche Lesung ab Tag 7, zweiundzwanzig Blicke, ergibt 18,300 % (± 0,273). Die Blicke zu strecken oder die erste Woche abzuwarten mindert das Übel, ohne es zu beseitigen: das Risiko bleibt zwei- bis viermal so hoch wie das ausgewiesene. Wenn die Variante wirklich gewinnt, erkennen diese beiden Rhythmen in 81,970 % (± 0,272) und 85,500 % (± 0,249) der Fälle, gegenüber 76,965 % beim festen Termin: die gewonnene Erkennung wird genau mit dem Fehlalarmrisiko von oben bezahlt und ist daher kein Vergleich bei gleichem Risiko.

Exakte Größe des Tests mit festem Termin, ohne Simulation berechnet, bei gleichen Größen beider Fassungen, was der Plan im Erwartungswert ist: 4,9718 % bei 7 Tagen, 5,0075 % bei 14 Tagen, 4,9795 % bei 28 Tagen, 4,9973 % bei 84 Tagen. Der Test hält sein 5-%-Risiko also auf drei Hundertstel Punkt genau. Der Abstand zwischen diesem exakten Wert und der simulierten Spalte beträgt am Tag 28 0,7 Standardfehler, was gewöhnliches Ziehungsrauschen ist.

Erkennungen, wenn die Variante wirklich um 1,5 Punkt gewinnt:

Achtung bei der mittleren Spalte. Die tägliche Lesung erkennt häufiger, aber um den Preis eines fünfeinhalbmal höheren Fehlalarmrisikos: 26,870 % gegen 4,875 %. Zwei Verfahren vergleicht man nur dann anhand ihrer Trennschärfe, wenn sie dasselbe Risiko halten. Hier halten es nur der feste Termin und die gültige Schranke.

Die Einstellung der Schranke, veröffentlicht, weil sie entscheidend ist. Dieselbe Schranke, dieselben Daten, vier im Voraus deklarierte Einstellungen. Die erste ist jene, die die Quelle berechnen lässt: da der engste Punkt bei 8,21 mal ρ liegt, erzwingt das Anstreben des geplanten Termins ρ = 350 ÷ 8,21 ≈ 42,6 Konversionen und nicht die 350, die zu diesem Termin erwartet werden. Die drei anderen folgen dem gegenteiligen Instinkt, der für ρ die zu einem Termin erwarteten Konversionen nimmt. Da die Schranke in Wirklichkeit 8,21 mal weiter am engsten ist, stellt diese Wahl sie für einen Termin weit nach dem ein, den man anzustreben glaubt: Tag 57 für die Einstellung „Tag 7“, Tag 230 für die von Tag 28. Die Tabelle zeigt, was dieser Instinkt kostet.

Diese Gleichstandstage sind auf einen Tag genau zu nehmen: am Vortag beträgt die Trennschärfe der Schranke noch 76,185 %, 76,475 %, 76,630 % und 75,855 %, bei einem Ziel von 76,965 %, das selbst nur auf 0,298 Punkt genau bekannt ist.

Wenn die Variante wirklich gewinnt, schließt die Referenzschranke im Median am Tag 31, über die 95,255 % der Fälle, in denen sie binnen 84 Tagen schließt. Die tägliche Lesung hört im Median am Tag 8 auf, über die 87,090 % der Fälle, in denen sie binnen 28 Tagen schließt. Die beiden Mediane betreffen also verschiedene Fenster und lassen sich nicht Glied für Glied vergleichen. Und dieselbe Eile, auf das Szenario ohne Effekt angewandt, erzeugt dort 26,870 % Fehlalarme.

• Zufällig gezogene Zuordnung, mit einer Chance von zwei, Besucher für Besucher. Das ist die tragende Annahme: sie lässt jede Konversion wie einen Münzwurf fallen und macht die Schranke zulässig. Verteilt Ihr Werkzeug wirklich zufällig, und tut es das Besucher für Besucher statt nach festen Quoten? Die Zulässigkeit kommt aus der Konstruktion des Plans, nicht aus der Messung: die beiden Anteile, die die Programme prüfen, mit einer Toleranz von einem halben Punkt auf 500.000 Besucher, erkennen nur einen grob falschen Verteilungsschlüssel. Eine Abhängigkeit zwischen Besuchern können sie nicht sehen.
• Von einem Besucher zum nächsten unabhängige Zuordnung, und keine klebende. Das ist die in der Praxis fragilste und die gefährlichste Annahme: eine Zuordnung per Cookie oder per Sitzung behält für alle Besuche einer Person dieselbe Fassung. Die Anteile bleiben im Mittel bei einer Hälfte, die Prüfungen der Programme werden grün, und die Garantie fällt. Wir haben es gemessen, mit Blöcken von zehn Besuchern, die sich eine Fassung teilen: 8,780 % Fehlalarme bei 5 % versprochenen, also beinahe das Doppelte. Ordnet Ihr Werkzeug jeden Besuch zufällig zu, oder klebt es jedem Besucher eine Fassung an?
• Nur eine mögliche Konversion je Besucher. Kommen Ihre Besucher mehrmals zurück, oder teilen sie sich ein Gerät?
• Stabiler Verkehr und stabile Referenzrate: unser synthetisches Experiment hat weder Saisonalität noch Spitzentag noch Drift der Basisrate. Sieht Ihr Wochenendverkehr aus wie der vom Dienstag? Eine beiden Fassungen gemeinsame Drift verzerrt den Vergleich nicht, eine fassungseigene Drift schon.
• Eine einzige Kennzahl, ein einziger Test. Wie viele Varianten und wie viele Kennzahlen zeigt Ihr Dashboard nebeneinander? Sobald es mehrere sind, zusammen gelesen, ändert das Problem seine Natur und verlangt eine Korrektur für multiple Tests.
• Vor dem Start deklarierte Abbruchregel. Nachträglich nicht prüfbare Annahme: nur eine schriftliche Vorab-Erklärung verbürgt sie.
• Endlicher Überwachungshorizont. Die 2,000 % sind eine Rate über 84 Lesungen. Die angerufene Garantie gilt über einen unbeschränkten Horizont, aber die gemessene Zahl wächst mit der Zahl der Lesungen und darf nicht als Niveau der Schranke gelesen werden.
• Daten, die aus genau dem Modell gezogen sind, das der Test voraussetzt: unabhängige Konversionen, konstante Raten, ausgewogene Zuordnung. Annahme, die hier per Konstruktion wahr und daher für alle drei Regeln günstig ist. Auf echten Daten addieren sich Abweichungen von diesem Modell zu den Zahlen dieser Seite, sie ziehen nicht davon ab.

• Der Monte-Carlo-Simulationsfehler wird neben jeder Rate der drei Ergebnistabellen veröffentlicht; die Spalte der Schwellen dagegen ist deterministisch und hat keinen. Über 20.000 Wiederholungen beträgt er etwa 0,15 Punkt für eine Rate von 5 % und 0,31 Punkt für eine Rate von 27 %. Der Hauptkontrast der Seite, 4,875 % gegen 26,870 %, beträgt 22 Punkte: er steht in keinem Verhältnis zu diesen Standardfehlern.
• Die berechnete exakte Größe hängt dagegen von keiner Ziehung ab. Auf sie stützt sich die Seite, um zu behaupten, dass der Test mit festem Termin sein Risiko hält, und nicht auf die simulierte Zahl, deren Abstand zu 5 % nicht schlüssig gewesen wäre.
• Die jederzeit gültige Schranke ist vorsichtig: sie garantiert 5 % und liefert 2,000 % mit der Referenzeinstellung, noch weniger mit den späten Einstellungen. Das ist der Preis einer Garantie, die nichts über die Art des Hinsehens voraussetzt. Und es ist der Preis dieser Schranke: dieselbe Quelle schlägt eine andere vor, die enger ist, wenn die Zuwächse beschränkt sind, wie hier ^[C13]. Wir haben sie nicht umgesetzt, der Faktor 1,86 ist also der Preis der Normalmischung bei dieser Einstellung, nicht der Preis der jederzeitigen Gültigkeit im Allgemeinen.
• Ihr Preis wird gemessen und nicht aus der Schwelle abgeleitet. Die Schwelle beträgt 3,1140 in z-Einheiten gegenüber 1,959964 beim Test mit festem Termin, also 1,589 mal mehr; die Kosten in Dauer betragen dagegen 1,86. Beide lassen sich nicht ineinander umrechnen, denn die Schwelle sinkt, während sich Information ansammelt, und weil alle Zwischenlesungen zählen. Die Autoren beschränken den Preis in der Breite übrigens auf weniger als eine Verdopplung ^[C06], aber für eine andere ihrer Schranken als die hier verwendete, und unsere späteste Einstellung erreicht 2,293 mal die feste Schwelle in z-Einheiten: wir behaupten daher keine Übereinstimmung mit dieser Aussage, nur die Messungen von oben.
• Was diese Simulation nicht entscheiden kann: ein einziger Verkehr (250 Besucher am Tag), eine einzige Referenzrate (5 %), eine einzige echte Verbesserung (1,5 Punkt). Bei weniger Verkehr oder niedrigerer Rate sind die vorübergehenden Überschreitungen noch häufiger; wie viel häufiger, sagt hier nichts.
• Diagnostik für die eigenen Tests: die Lesungen zählen und prüfen, dass die Verteilung auf die Fassungen wirklich zufällig gezogen wird. Wenn niemand weiß, wie oft das Dashboard vor der Entscheidung aufgerufen wurde, hat das ausgewiesene Risiko keinen Sinn.

Die 5-%-Schwelle ist keine Eigenschaft des p-Werts: sie ist eine Eigenschaft des Verfahrens, das ihn verwendet. In unserem synthetischen Experiment verwandelt tägliches Lesen mit Abbruch beim ersten Überschreiten ein Risiko von 5 % in ein Risiko von 26,870 % über vier Wochen und von 35,385 % über zwölf. Einmal pro Woche zu lesen bringt es auf 12,020 % zurück, was noch mehr als das Doppelte des ausgewiesenen Risikos ist. Bei anderem Verkehr werden sich diese Werte ändern; der Mechanismus nicht. Die Aufblähung kommt nicht von einem Mangel des Tests, sondern von der Abbruchregel, die die günstigen Tage auswählt.

Das Gegenmittel gibt es und es funktioniert, aber es ist nicht kostenlos. Eine jederzeit gültige Schranke erlaubt die tägliche Lesung und hält ihre Garantie, um den Preis einer um den Faktor 1,86 verlängerten Dauer mit der Einstellung, die die Quelle berechnen lässt, und bis 2,39 mit einer schlecht gewählten Einstellung. Eine andere Schranke derselben Quelle, enger für beschränkte Zuwächse, täte es besser; diese Seite bepreist sie nicht ^[C13]. Zwischen beiden bleibt die sparsamste Lösung die älteste: die Dauer im Voraus festlegen und erst am Ende entscheiden.

• Erlaubt: „Mit einer im Voraus festgelegten Dauer und einer einzigen Lesung beträgt unser Risiko eines falschen Schlusses 5 %; die exakte Größe des Tests, bei gleichen Größen berechnet, beträgt zum geplanten Termin 4,9795 %.“
• Erlaubt: „Wenn wir den Test täglich lesen und dieses Risiko halten wollen, brauchen wir eine jederzeit gültige Schranke und müssen auf diesem Versuchsplan eine 1,86 mal längere Dauer einplanen, mit der nach der Quelle berechneten Einstellung, für dieselbe Trennschärfe.“
• Verboten: „Der Test ist heute signifikant, also gewinnt die Variante.“ Ohne deklarierte Abbruchregel hat dieser Satz kein zugeordnetes Risiko.
• Verboten: die 26,870 % auf einen anderen Test zu übertragen, und auch nicht den Dauerfaktor. Beide hängen von der Zahl der Lesungen, vom Tagesverkehr, vom wirklichen Effekt und von der Einstellung der Schranke ab. Übertragbar ist der Mechanismus, nicht die Werte.
• Verboten: diese Schranke auf einen Test anzuwenden, dessen Zuordnung klebend ist, per Cookie oder per Sitzung. Hier gemessen: 8,780 % Fehlalarme bei 5 % versprochenen. Das ist die gefährliche Richtung, und keine der Prüfungen der Programme erkennt sie.
• Verboten: die beiden von den Programmen gemessenen Anteile als Beweis zu lesen, dass die Schranke zulässig ist. Sie erkennen nur einen grob falschen Verteilungsschlüssel; die Zulässigkeit kommt aus der Konstruktion des Plans.
• Verboten: diese Zahlen als Marktergebnisse auszugeben. Die Daten sind synthetisch und aus genau dem Modell gezogen, das der Test voraussetzt.

Vor dem Start aufschreiben: die Dauer, die Entscheidungskennzahl und die Lesefrequenz. Dann in Kenntnis der Sache wählen. Für einen Test, dessen Einsatz eine schnelle Entscheidung rechtfertigt, eine jederzeit gültige Schranke vorsehen, sie rechnerisch statt nach Augenmaß einstellen und die Dauer entsprechend einplanen. Für einen Routinetest das Dashboard bis zum geplanten Termin schließen. Und wenn jemand schon zehnmal hingesehen hat, es sagen: die Entscheidung bleibt menschlich, aber sie muss mit dem wahren Risiko vor Augen fallen, nicht mit dem, das das Werkzeug ausweist.

• Anwenden: sobald ein Test vor seinem Enddatum aufgerufen werden kann, was für fast alle Online-Tests gilt, auch wenn der Zwischenblick ein einziger ist — ein Fall, den der Mechanismus deckt, den diese Seite aber nicht bepreist, da der sparsamste von ihr gemessene Rhythmus vier Blicke zählt.
• Nicht allein anwenden: bei mehreren Varianten oder mehreren zusammen gelesenen Kennzahlen, wo zusätzlich eine Korrektur für multiple Tests nötig ist; bei sehr unregelmäßigem Verkehr, einer festen statt zufällig gezogenen Verteilung oder einer driftenden Basisrate, wo der Vergleich selbst neu zu überdenken ist.
• Alternativen, beide außerhalb des Felds unserer Quellen und daher ohne Belegverweis genannt:

• Gruppensequentielle Pläne reservieren einen Teil des Risikos für jede im Protokoll vorgesehene Zwischenanalyse. Sie passen, wenn die Zahl der Lesungen im Voraus bekannt ist, wo die Schranke dieser Seite nichts voraussetzt.
• Bayessche Ansätze formulieren ihre Garantien anders. Sie lassen sich nicht Glied für Glied mit einer Fehlerrate vergleichen.

• Python 3.14.5, nur Standardbibliothek: msc-p048-reference.py, Aufruf mit python msc-p048-reference.py
• R 4.6.1, nur Basis: msc-p048-reference.R, Aufruf mit Rscript msc-p048-reference.R
• Die beiden Programme drucken genau dieselben Zeilen. Der sha256-Abdruck der Ausgabe, nach Normalisierung der Zeilenenden, ist in manifest.json festgehalten. Deklarierter Startwert 20260916, 20.000 Wiederholungen je Szenario.
• Vier Vorsichtsmaßnahmen waren nötig, damit beide Sprachen dasselbe drucken, und sie stehen im Code. Der erste Term der Binomialverteilung wird durch wiederholte Multiplikationen statt durch eine Potenz gebildet, deren letztes Bit sich zwischen Python und R unterscheidet. Der Multiplikator des Generators wird in der R-Fassung in zwei Hälften zerlegt, die keine ausreichend breiten Ganzzahlen hat, um das exakte Produkt zu halten. Die Raten werden mit fünf Dezimalstellen gedruckt, wo eine Rate aus 20.000 exakt ist. Und die Berechnung der Größen je Fassung wird geklammert, weil die Ganzzahldivision von R stärker bindet als die Multiplikation.
• Das Beispiel von Tag 9 zu reproduzieren verlangt, die Verbrauchsreihenfolge des Generators zu achten: gemessene Invarianten, Suche nach dem Beispiel, Szenario ohne Effekt, dann Szenario mit Verbesserung. Die Prüfung der Schranke durch Zufallswege verbraucht einen getrennten Strom, auf den Startwert zurückgesetzt.

Für einen gegebenen Test: die vor dem Start aufgeschriebene Dauer und Entscheidungsregel, die Zahl der tatsächlich erfolgten Lesungen, das Urteil nach der deklarierten Regel und, falls der Test mehrmals gelesen wurde, das wirkliche Risiko des befolgten Verfahrens anstelle dessen des Tests mit festem Termin.

• Howard, S. R., Ramdas, A., McAuliffe, J. & Sekhon, J. (2018). Time-uniform, nonparametric, nonasymptotic confidence sequences. The Annals of Statistics 49(2), 1055–1080 (2021). ↗ — Volltext geprüft an der frei zugänglichen arXiv-Fassung, arXiv:1810.08240v6 ^{[C01, C02, C03, C04, C05, C06, C09, C10, C11, C12, C13, C14]}.
• Howard, S. R., Ramdas, A., McAuliffe, J. & Sekhon, J. (2018). Exponential line-crossing inequalities, der hier geprüfte Titel des arXiv-Dokuments; veröffentlicht unter dem Titel Time-uniform Chernoff bounds via nonnegative supermartingales, Probability Surveys 17, 257–317 (2020). ↗ — Volltext geprüft an der frei zugänglichen arXiv-Fassung, arXiv:1808.03204v6 ^{[C07, C08]}.
• Die Schranke und ihre Zuschreibung: die hier verwendete Form ist die zweiseitige Normalmischungs-Schranke der ersten Quelle. Ihre Autoren führen die Mischungsmethode auf eine Linie zurück, die auf Ville und Wald und dann auf Darling und Robbins zurückgeht. Wir zitieren sie daher nach der Quelle, die wir gelesen haben, und nicht nach einem Text, den wir nicht besitzen. Die Wahl des Anfangs-Likelihood-Verhältnisses ist unsere Lesart und kein geprüftes Zitat.
• Evidenzniveau: Nachweis auf synthetischen Daten, zwei Szenarien, sechs Leserhythmen, vier Einstellungen, 20.000 Wiederholungen. Die exakte Größe des Tests wird den simulierten Werten gegenübergestellt berechnet; die Schranke wird gesondert an Zufallswegen geprüft, auf denen die Nullhypothese per Konstruktion wahr ist; die Annahme, die sie zulässig macht, wird durch die Konstruktion des Plans hergestellt, und zwei aggregierte Anteile werden vor jeder Berechnung geprüft, um einen grob falschen Verteilungsschlüssel zu erkennen. Der gefährliche Fall, die klebende Zuordnung, wird gesondert gemessen. Reproduzierbar in Python und in R. Das ist kein Marktergebnis.