Wie plant man einen A/B-Test, der tatsächlich einen Effekt schätzt?
Vor dem Test sind Population, Randomisierungseinheit, Variante, Primärmetrik, MDE, Dauer, Ausschlüsse und Intention-to-treat-Analyse festzulegen.
Direkte Antwort
Einen ITT mit bekannter Präzision für die berechtigte Population schätzen.
Vor dem Test sind Population, Randomisierungseinheit, Variante, Primärmetrik, MDE, Dauer, Ausschlüsse und Intention-to-treat-Analyse festzulegen.
ITT = mean(Y assigned B) − mean(Y assigned A)ESTIMAND
Schätzprofil
- Analyseeinheit
- Zugewiesene Einheit × Gruppe × PeriodeKontrollierte wissenschaftliche Terminologie (EN)
randomization unit - Exakter Estimand
ITT = E[Y|Z=1] − E[Y|Z=0]- Modell oder Ergebnis
ITT = mean(Y assigned B) − mean(Y assigned A)
01—08
Überprüfbarer Analyserahmen
- 01Frage
Wie plant man einen A/B-Test, der tatsächlich einen Effekt schätzt?
- 02Estimand
ITT = E[Y|Z=1] − E[Y|Z=0] · randomization unit
- 03Daten
unit_id · assignment · outcome · pre_period · exposure
- 04Modell oder Ergebnis
ITT = mean(Y assigned B) − mean(Y assigned A)
- 05Deklarierte Berechnung
ITT = mean(Y assigned B) − mean(Y assigned A) → ITT = E[Y|Z=1] − E[Y|Z=0]
- 06Unsicherheitsprüfungen
Sample ratio mismatch · Pre-period balance · Missing outcomes
- 07Methodenspezifische Validierung
Daten, Schätzstabilität und Interpretationsgrenzen prüfen. Sample ratio mismatch · Pre-period balance · Missing outcomes
- 08Grenzen
Metrik oder Dauer nach Sichtung des Ergebnisses ändern.
Benötigte Variablen
unit_idassignmentoutcomepre_periodexposure
Prüfungen · Kontrollierte wissenschaftliche Terminologie (EN)
- Sample ratio mismatch
- Pre-period balance
- Missing outcomes
Einen ITT mit bekannter Präzision für die berechtigte Population schätzen.
Metrik oder Dauer nach Sichtung des Ergebnisses ändern.
Wissenschaftliche Quellen
1 Quelle
Datensatz · Werkzeug
Methodische Verbindungen