Research & Evidence

Methode suchen

Titel, Fragen, Gebiete und MSC-Kennungen durchsuchen.

    ← Alle Methoden
    METHODEN-DOSSIERMSC-P-011Experimente und KausalitätGeprüftes wissenschaftliches Dossier

    Wie plant man einen A/B-Test, der tatsächlich einen Effekt schätzt?

    Vor dem Test sind Population, Randomisierungseinheit, Variante, Primärmetrik, MDE, Dauer, Ausschlüsse und Intention-to-treat-Analyse festzulegen.

    Wissenschaftliche Redaktion: Marketing Science Center

    Direkte Antwort

    Einen ITT mit bekannter Präzision für die berechtigte Population schätzen.

    Vor dem Test sind Population, Randomisierungseinheit, Variante, Primärmetrik, MDE, Dauer, Ausschlüsse und Intention-to-treat-Analyse festzulegen.

    Kohavi et al., 2009

    01

    Direkte Antwort

    Ein glaubwürdiger A/B-Test wird vor Exposition anhand Primärmetrik, MDE, Alpha, Power, Randomisierungseinheit und Ausfall geplant. Für 8,0 % gegenüber 8,7 % verlangt MSC-P-011 24.516 Einheiten je Arm, oder 31.326 nach 10 % Ausfall und einem Designeffekt von 1,15.

    02

    Wissenschaftliche Frage

    Wie viele Einheiten je Arm müssen randomisiert werden, um bei den gewählten Fehlerrisiken eine vorab festgelegte absolute Differenz eines binären Outcomes zu erkennen?

    03

    Population, Einheit und Horizont

    Einheit ist die geeignete Randomisierungseinheit, im zugewiesenen Arm über ein festes Fenster analysiert. Nutzer, Haushalt, Filiale und Region sind nicht austauschbar.

    04

    Estimand und Metrik

    Primärer Estimand ist die absolute ITT-Differenz p₁−p₀. Der MDE von 0,7 Punkten bzw. 8,75 % relativ ist eine Entscheidungsgröße, keine Prognose.

    05

    Benötigte Daten

    Benötigt werden Population, Ausgangsrate, MDE, Primärmetrik und Fenster, Alpha, Teststärke, Zuteilung, Ausfall, Clusterung, Kontamination und Datenverkehr.

    06

    Annahmen

    Zwei unabhängige Arme, 1:1, binäres Outcome, zweiseitiger Test, passende Normalapproximation, ITT und keine Wiederverwendung. Cluster und Wiederholungsmessungen brauchen andere Berechnungen.

    07

    Planungsformel

    n≈[z₁₋α/2√(2p̄(1−p̄))+z₁₋β√(p₀(1−p₀)+p₁(1−p₁))]²/(p₁−p₀)² mit p̄=(p₀+p₁)/2.

    08

    Reproduzierbare Berechnung

    Mit p₀=0,08, p₁=0,087, α=0,05 und Power 0,80: z=1,959964 und 0,841621. Das Skript berechnet 24.515,438 und rundet auf.

    09

    Planungsergebnisse

    Rohgröße: 24.516 je Arm. Mit Designeffekt 1,15 und 10 % Ausfall: 31.326 je Arm, 62.652 insgesamt.

    MSC-P-011 · binäres Zweiarmdesign
    AusgangsrateZielrateRoh pro ArmAngepasst pro ArmGesamt
    8,0 %8,7 %24.51631.32662.652

    10

    Planungsunsicherheit

    Die Größe reagiert stark auf Baseline und MDE. Über plausible Bereiche neu berechnen, aufrunden und Traffic sowie Ausfall als Machbarkeitsrisiko behandeln.

    11

    Protokoll vor Start

    Population, Einheit, Varianten, Primärmetrik, Fenster, MDE, Größe, Stoppregel, Ausschlüsse, ITT, fehlende Daten und Stichprobenverhältnis vorab fixieren.

    12

    Diagnostik

    Nach Start Zuteilungsintegrität, Stichprobenverhältnis, Kontamination, differenziellen Ausfall, Outcome-Verfügbarkeit, Exposition und Änderungsprotokoll prüfen.

    13

    Häufige Fehler

    Fehler sind MDE für kleine n zu wählen, Peeking, viele Metriken, Nutzer zu randomisieren aber Sessions zu analysieren, bei p<0,05 zu stoppen oder nach Zuteilung auszuschließen.

    14

    Interpretation

    80 % Power bedeutet 80 % Wahrscheinlichkeit, H₀ beim exakt geplanten Effekt und den Annahmen abzulehnen, nicht 80 % Chance, dass die Variante besser ist.

    15

    Vertretbare Entscheidung

    Entscheiden, ob der Test machbar ist, welcher MDE entscheidungsrelevant ist und wie viel Traffic und Zeit vor Start nötig sind.

    16

    Unzulässige Entscheidung

    Die berechnete Größe beweist weder Biasfreiheit, Metrikrelevanz noch realen Effekt und keine Kausalität bei beschädigter Randomisierung oder ITT.

    17

    Implementierung

    Das CC0-CSV dokumentiert das Design; MIT-Python nutzt die Standardnormalverteilung, weist ungültige Parameter ab, rundet auf und berichtet rohe sowie angepasste Größe.

    18

    Erwartetes Ergebnis

    Frage, Population, Einheit, Varianten, Metrik und Fenster, absoluter/relativer MDE, Alpha, Power, Formel, Anpassungen, Traffic, Dauer, Diagnostik, Analyse und Entscheidungsregel.

    19

    Wissenschaftliche Quellen

    Cohen begründet Power; CONSORT verlangt Dokumentation von Stichprobengröße, Outcomes, Randomisierung, analysierten Zahlen und Präzision. Keine Quelle prognostiziert 8,7 %.

    1. Cohen (1992) ↗Volltext geprüft
    2. Moher et al. (2010) ↗Volltext geprüft

    Datensatz · Werkzeug

    Werkzeug · MSC-T01A/B-Stichprobengröße→

    Methodische Verbindungen

    Übergeordnetes GebietMessung und Kausalität: Wie lässt sich ein Marketingeffekt belegen?

    Als Nächstes

    MSC-P-012Wie viele Beobachtungen braucht ein Experiment?→MSC-P-013Wie misst man den inkrementellen Kampagneneffekt mit einer Kontrollgruppe?→MSC-P-017Wie erkennt man Selektion, Kontamination und Ausfall in einem Experiment?→