Was tun, wenn Dutzende Varianten oder Segmente gleichzeitig getestet werden?

Auf synthetischen Daten — so gebaut, dass bekannt ist, wer wirklich gewonnen hat — entstehen fast mit Sicherheit falsche Siege, wenn 40 Tests ohne Korrektur auf dem 5-%-Niveau gefahren werden: 81 % der Serien von 40 Tests enthalten mindestens einen falschen Fund, und im Mittel sind 18 % der „Siege“ einer Serie falsch. Die Bonferroni-Korrektur senkt das Risiko, sich mindestens einmal zu irren, auf 3,9 %, findet aber nur noch ein Drittel der wahren Effekte wieder. Das Benjamini-Hochberg-Verfahren kontrolliert etwas anderes: den mittleren Anteil falscher Funde unter den Funden. Es hält ihn bei 4,0 % — genau dem Wert, den die Theorie hier vorhersagt, nicht niedriger — und findet dabei 52 % der wahren Effekte wieder. Die richtige Wahl hängt davon ab, was ein falscher Sieg gegenüber einem verpassten wahren Sieg kostet.

Ein E-Commerce-Team testet gleichzeitig 40 Varianten einer Produktseite, jede gegen ihre aktuelle Fassung. Jeder Test erhält 8.200 Besucher auf der Variante und 8.200 auf der aktuellen Seite — jede dieser beiden Gruppen heißt „Arm“. Die Referenz-Konversionsrate liegt bei 5 %. Das Team will „alles, was gewinnt“ ausrollen. In unseren Daten verbessern acht Varianten die Konversion wirklich um einen Punkt (von 5 % auf 6 %); die anderen 32 haben keinen Effekt. Diese Daten sind synthetisch: genau das erlaubt es, Test für Test zu wissen, wer wirklich gewonnen hat.

Welche der 40 Nullhypothesen „die Variante ändert die Konversion nicht“ sind zu verwerfen, damit die Fehler unter Kontrolle bleiben? Und welcher Fehler ist zu kontrollieren: die Wahrscheinlichkeit mindestens eines falschen Fundes (FWER, familienweise Fehlerrate) oder der erwartete Anteil falscher Funde unter den Funden (FDR, Rate falscher Funde)?

Das 5-%-Niveau garantiert, dass ein Test ohne Effekt in 5 % der Fälle „signifikant“ ausfällt. Bei 32 Tests ohne Effekt sind etwa 1,6 falsche Siege je Serie zu erwarten (32 × 0,05), und die Wahrscheinlichkeit, mindestens einen zu haben, wird sehr hoch: 80,6 %, also 1 − 0,95³². Jeder Test für sich genommen ist korrekt; es ist die Familie der Tests, die entgleist.

• Bonferroni verlangt von jedem Test ein 40-mal strengeres Niveau (5 % / 40). Es begrenzt die Wahrscheinlichkeit, dass mindestens ein Fehlalarm in der Serie auftritt, auf 5 % — um den Preis vieler verpasster wahrer Effekte. Storey und Tibshirani halten diese Kontrolle in ihrem eigenen Feld, der Genomik, für „viel zu konservativ“ (im Original „much too conservative“), wo Tausende Hypothesen geprüft werden und ein merklicher Teil von ihnen wahre Effekte sein dürfte ^{[C01, C02, C12]}. Hier zeigt es unsere Simulation, nicht das Zitat.
• Holm wendet dieselbe Idee Schritt für Schritt an, vom kleinsten zum größten: dieselbe Garantie, einige wahre Effekte mehr gefunden.
• Benjamini-Hochberg nimmt einige falsche Funde in Kauf, aber in begrenztem Anteil. Die FDR ist der erwartete Anteil falscher Funde unter den verworfenen Hypothesen ^{[C06, C07]}. Das ist eine weniger strenge, aber trennschärfere Garantie ^{[C08, C09]}.

Für jeden Test: die Anzahl und die Zahl der Konversionen jedes Arms, und die vor dem Blick auf die Ergebnisse festgelegte Entscheidungsregel (Niveau α, Niveau q). Keine personenbezogenen Daten: Summen je Test genügen. Der Datensatz der Seite enthält 40 Zeilen (test_id, Anzahlen, Konversionen) und, weil er synthetisch ist, eine Spalte mit dem wahren Effekt.

• m = 40 Tests, m₀ = 32 wahre Nullhypothesen (in der Praxis unbekannt).
• α: das im Voraus gewählte Signifikanzniveau, also das für einen Test akzeptierte Fehlalarmrisiko (hier 5 %). q: das im Voraus gewählte FDR-Niveau, also der unter den behaltenen Varianten akzeptierte Anteil falscher Siege (hier ebenfalls 5 %). k: der Rang eines Tests, nachdem die p-Werte vom kleinsten zum größten geordnet sind.
• pᵢ: der p-Wert des Tests i, also die Wahrscheinlichkeit, einen mindestens so großen Abstand zu beobachten wie den gemessenen, wenn die Variante nichts änderte. Er kommt aus einem z-Test auf zwei Konversionsraten, mit einer über beide Arme gepoolten Varianz, in beide Richtungen: Anstieg wie Rückgang.
• V: Zahl der falschen Funde; R: Gesamtzahl der Funde. P(·) liest sich „Wahrscheinlichkeit, dass“, E[·] „Mittelwert über eine große Zahl von Serien“.
• FWER = P(V ≥ 1). FDR = E[V / max(R, 1)], der erwartete Anteil falscher Funde.
• Bonferroni verwirft i, wenn pᵢ ≤ α / m.
• Holm ordnet die p-Werte p₍₁₎ ≤ … ≤ p₍ₘ₎ und verwirft, solange p₍ₖ₎ ≤ α / (m − k + 1).
• Benjamini-Hochberg sucht das größte k mit p₍ₖ₎ ≤ k · q / m und verwirft die k kleinsten p-Werte ^[C10].

Im Klartext: Bonferroni und Holm betrachten die ganze Serie — ihr Niveau ist streng genug, dass die Wahrscheinlichkeit, sich auch nur einmal über die 40 Tests zu irren, unter 5 % bleibt. Benjamini-Hochberg betrachtet die Ernte: sein Niveau lockert sich, je mehr kleine p-Werte sich häufen, denn viele kleine p-Werte deuten auf wahre Effekte und nicht auf Rauschen.

1. Größe im Voraus festgelegt: mit 8.200 Besuchern je Arm hat ein Test eine Chance von 80 %, einen wahren Gewinn von 1 Punkt auf einer Basis von 5 % zu erkennen, auf dem 5-%-Niveau in beide Richtungen — das nennt man Trennschärfe. Diese Größe wird vor dem Start festgelegt, niemals danach.
2. Erzeugung der Konversionen Besucher für Besucher mit einer deklarierten Kongruenzrekursion (Startwert 20260916; x ← 1103515245 · x + 12345 mod 2³¹), identisch in Python und in R.
3. z-Test mit gepoolter Varianz für jede Variante, dann die vier Regeln: keine Korrektur, Bonferroni, Holm, Benjamini-Hochberg (α = q = 0,05).
4. Exakte Werte, berechnet dort, wo der Plan es erlaubt: Wahrscheinlichkeit mindestens eines Fehlalarms, Trennschärfe je Test und die Benjamini-Hochberg-FDR unter Unabhängigkeit. Die Programme drucken sie neben den simulierten Werten.
5. Monte-Carlo-Simulation: 10.000 Serien von 40 Tests, Statistiken unmittelbar aus der Normalverteilung gezogen — die 32 Varianten ohne Effekt auf null zentriert, die 8 wahren Gewinner um 2,81 Standardabweichungen verschoben, die Verschiebung, die ein Gewinn von 1 Punkt mit 8.200 Besuchern je Arm mit sich bringt — verwendet wird die Standardabweichung der Differenz unter der Alternative, nicht die gepoolte, die der Test in den Nenner setzt; der Abstand zwischen beiden bleibt unter dem Simulationsfehler. Die Simulation dient dazu, die exakten Werte zu prüfen und zu schätzen, was sich nicht von Hand berechnen lässt, niemals als Quelle der Wahrheit.

Achtung: der Referenzdatensatz wird Besucher für Besucher gezogen, während die 10.000 simulierten Serien die Teststatistiken unmittelbar ziehen. Die Simulation misst also das Verhalten der Entscheidungsregeln, nicht die Güte der Normalapproximation des z-Tests.

Synthetische Daten, Startwert 20260916 — das sind keine Marktergebnisse.

Ein Test von Anfang bis Ende verfolgt. Der klarste Test der Serie ist Variante 5: 385 Konversionen von 8.200 Besuchern für die aktuelle Seite (4,70 %), 497 von 8.200 für die Variante (6,06 %). Über beide Arme gepoolte Rate: (385 + 497) / 16.400 = 5,38 %. Die z-Statistik beträgt (0,0606 − 0,0470) geteilt durch die Standardabweichung dieser Differenz, also 3,88, was einen zweiseitigen p-Wert von 0,000106 ergibt — den kleinsten der 40. Entscheidung, Regel für Regel: ohne Korrektur, 0,000106 ≤ 0,05, behalten; Bonferroni, 0,000106 ≤ 0,05/40 = 0,00125, behalten; Holm, erster Rang, gleiches Niveau, behalten; Benjamini-Hochberg, Rang 1, Niveau 1 × 0,05/40 = 0,00125, behalten.

Der Test, der die Regeln trennt. Der sechstkleinste p-Wert beträgt 0,006. Er übersteigt das Bonferroni-Niveau (0,00125), bleibt aber unter dem Benjamini-Hochberg-Niveau auf seinem Rang (6 × 0,05/40 = 0,0075): es ist der Fund, den nur Letzteres behält.

Diagnose der Serie. Acht p-Werte fallen unter 0,05, wo der Zufall allein 1,6 hervorbringen würde: die Häufung nahe null deutet auf wahre Effekte, und genau das macht eine Korrektur notwendig statt freiwillig.

Über 10.000 simulierte Serien, verglichen mit den exakten Werten, wo sie existieren (Simulationsfehler in Klammern):

Zu lesen ist das so: im Referenzdatensatz ist bei Benjamini-Hochberg einer von sechs Funden falsch. Das ist keine Anomalie: das Verfahren garantiert einen mittleren Anteil, nicht null Fehler in jeder Serie. Und dieser Mittelwert liegt nicht aus Bequemlichkeit „unter 5 %“: unter Unabhängigkeit beträgt er genau m₀ q / m = 32 × 0,05 / 40 = 0,040. Der simulierte Wert, 0,039, liegt einen Simulationsfehler vom exakten Wert entfernt: geprüft wird die Simulation, nicht die Theorie.

• Unabhängige Tests: in unserer Simulation hat jede Variante ihre eigene Kontrollgruppe. Das ist die Bedingung, unter der die Quelle ihre FDR-Ergebnisse herleitet ^[C11], und unter der der exakte Wert von 0,040 garantiert ist. Teilen Ihre Varianten dieselbe Kontrolle oder dieselben Besucher? Wenn ja, sind die Tests abhängig, und die drei Regeln stehen nicht gleich da: die Schranken von Bonferroni und Holm bleiben bei jeder Abhängigkeit gültig, weil sie nur auf der Addition von Wahrscheinlichkeiten ruhen, während die Garantie von Benjamini-Hochberg eine zusätzliche Bedingung an die Abhängigkeitsstruktur verlangt.
• Regel festgelegt, bevor die Daten gesehen werden: das Niveau q und die Liste der Tests werden vor dem Start aufgeschrieben. Haben Sie das getan? Es ist eine Disziplin, die wir uns auferlegen; Storey bemerkt im Übrigen, dass diese Pflicht einschränkend ist ^[C05], was seine q-Werte motiviert hat.
• Vollständige Familie: die 40 Tests werden alle zusammen korrigiert. Haben Sie nicht nachträglich Tests entfernt? Eine nachträglich nicht prüfbare Annahme: nur die Vorab-Erklärung verbürgt sie.
• Eine vorsichtige Annahme: das Verfahren geht davon aus, dass alle Varianten ohne Effekt sein könnten, was es strenger macht als nötig ^[C04]. Haben Sie, gestützt auf Ihre früheren Tests, eine Vorstellung vom Anteil der Varianten, die wirklich wirken? Ist dieser Anteil hoch, gewinnen q-Werte Trennschärfe zurück. Hier ist die exakte FDR (0,040) der Anteil der Varianten ohne Effekt (32/40), multipliziert mit q.

• Der angepasste p-Wert (Bonferroni, Holm) ist der um die Zahl der Tests korrigierte p-Wert: ihn mit 5 % zu vergleichen heißt, die Wahrscheinlichkeit mindestens eines Fehlalarms in der ganzen Familie zu kontrollieren. Der q-Wert antwortet auf eine andere Frage: er gibt den erwarteten Anteil falscher Funde an, wenn dieser Test zum Gewinner erklärt wird, zusammen mit allen, deren p-Wert kleiner ist ^[C03]. Zwei verschiedene Garantien, die nicht gleich zu lesen sind.
• Der Monte-Carlo-Simulationsfehler wird für jede Zahl veröffentlicht (die Spalte in Klammern), und die exakten Werte werden angegeben, wo sie existieren.
• Diagnostik für die eigenen Daten: die Verteilung der p-Werte. Eine Häufung nahe 0 deutet auf wahre Effekte; eine flache Verteilung vor allem auf Rauschen. In unserem Referenzdatensatz fallen 8 p-Werte unter 0,05, wo 1,6 durch Zufall erwartet waren.

In diesem genauen Szenario — 40 Tests, 8 wahre Gewinner, 80 % Trennschärfe je Test — trennen sich die Regeln so. Ohne Korrektur werden 80 % der wahren Gewinner wiedergefunden, aber im Mittel ist beinahe jeder fünfte verkündete Sieg falsch. Bonferroni senkt die Wahrscheinlichkeit, sich mindestens einmal in der Serie zu irren, auf 3,9 % und findet nur noch ein Drittel der wahren Gewinner. Holm bietet genau die gleiche Garantie und findet dabei einige mehr (0,343 gegen 0,336): sobald das Risiko kontrolliert werden soll, sich mindestens einmal zu irren, gibt es keinen Grund, Bonferroni zu bevorzugen. Benjamini-Hochberg findet die Hälfte der wahren Gewinner und hält dabei den mittleren Anteil falscher Siege unter den behaltenen Varianten bei 4,0 %. Ändern Sie die Zahl der Tests oder den Anteil wahrer Gewinner, und diese Werte ändern sich: übertragbar ist die Abwägung, nicht die Zahlen.

• Erlaubt: „Mit Benjamini-Hochberg bei q = 5 % übersteigt der Anteil falscher Siege unter den behaltenen Varianten im Mittel 5 % nicht. In einer gegebenen Serie kann er höher sein oder null.“
• Verboten: „Jede behaltene Variante ist mit 95 % ein Gewinner.“ Die Garantie betrifft die Gesamtheit der Funde, nicht jeden einzelnen.
• Verboten: diese Prozentsätze auf eine andere Kampagne zu übertragen, ohne die Rechnung neu zu machen; sie hängen von der Zahl der Tests und vom Anteil wahrer Gewinner ab.
• Verboten: die Zahlen dieser Seite als Marktergebnisse auszugeben. Sie kommen aus synthetischen Daten.

• Wenn ein falscher Sieg teuer ist (ein schwerer Umbau, eine vertragliche Bindung): das Risiko kontrollieren, sich mindestens einmal zu irren, mit dem sequenziellen Verfahren von Holm.
• Wenn exploriert wird und jeder Fund erneut validiert werden soll: den Anteil falscher Funde mit Benjamini-Hochberg kontrollieren und die behaltenen Varianten dann mit einem Folgetest bestätigen.
• Das Verfahren sortiert die Kandidaten; die Entscheidung auszurollen bleibt menschlich und muss Kosten und geschätzten Effekt abwägen, nicht nur das „Signifikante“.

• Anwenden: mehrere Varianten, Segmente, Kennzahlen oder Länder, gleichzeitig getestet und zusammen gedeutet.
• Nicht allein anwenden: ein einzelner vorab erklärter Test, der keine Korrektur verlangt; Tests, die unterwegs vor dem geplanten Enddatum aufgerufen werden und eine für wiederholte Blicke gebaute Methode verlangen; Nebenkennzahlen, die nicht zur Entscheidung dienen.
• Alternativen: die q-Werte von Storey und Tibshirani, die den Anteil der Varianten ohne Effekt schätzen und Trennschärfe gewinnen ^{[C03, C04]}; hierarchische oder vorausgewählte Tests, wenn die Familie strukturiert ist.

• Python 3.14.5, nur Standardbibliothek: python msc-p040-reference.py
• R 4.6.1, nur Basis: Rscript msc-p040-reference.R
• Die beiden Programme drucken genau dieselben Zeilen. sha256-Abdruck der Ausgabe, nach Normalisierung der Zeilenenden: f7fbde05e16c665db1da621cb9638d90c970a68897e805ba428117536607a9c5. Deklarierter Startwert 20260916; Kongruenzrekursion 1103515245 · x + 12345 mod 2³¹. Keine Fremdbibliothek: die Software validiert die Methode nicht, sie reproduziert sie — und die neben den simulierten Werten gedruckten exakten Werte machen das prüfbar.

Eine Tabelle je Test: p-Wert, nach der vorab erklärten Regel angepasster p-Wert, Entscheidung, und die Liste der Varianten, die mit einem Folgetest zu bestätigen sind.

• Storey, J. D. & Tibshirani, R. (2003). Statistical significance for genomewide studies. PNAS 100(16), 9440–9445. ↗ — Volltext geprüft ^{[C01–C05, C12]}.
• Storey, J. D. (2002). A direct approach to false discovery rates. JRSS B 64(3), 479–498. ↗ — Volltext geprüft ^[C06–C11].
• Was diese beiden Quellen nicht abdecken: die Verfahren von Bonferroni, Holm und Benjamini-Hochberg sind hier aus ihrer Definition umgesetzt, im Abschnitt „Das formale Modell“ ausgeschrieben und in den Programmen lesbar. Ihre Originalartikel sind im Volltext nicht zugänglich und zählen daher nicht zu unseren geprüften Quellen: diese Seite stützt sich auf keine Quelle, die sie nicht gelesen hat. Die Richtigkeit der Ergebnisse wird anders geprüft, über die exakten Werte, die die Programme berechnen und drucken.
• Evidenzniveau: Nachweis auf synthetischen Daten, mit exakten Referenzwerten, reproduzierbar in Python und in R. Das ist kein Marktergebnis.