Come progettare un A/B test che stimi davvero un effetto?
Prima del test vanno fissati popolazione, unità di randomizzazione, variante, metrica primaria, MDE, durata, esclusioni e analisi intention-to-treat.
Risposta diretta
Stimare un ITT con precisione nota per la popolazione eleggibile.
Prima del test vanno fissati popolazione, unità di randomizzazione, variante, metrica primaria, MDE, durata, esclusioni e analisi intention-to-treat.
ITT = mean(Y assigned B) − mean(Y assigned A)ESTIMAND
Profilo della stima
- Unità di analisi
- Unità assegnata × gruppo × periodoTerminologia scientifica controllata (EN)
randomization unit - Estimando esatto
ITT = E[Y|Z=1] − E[Y|Z=0]- Modello o risultato
ITT = mean(Y assigned B) − mean(Y assigned A)
01—08
Quadro di analisi verificabile
- 01Domanda
Come progettare un A/B test che stimi davvero un effetto?
- 02Estimando
ITT = E[Y|Z=1] − E[Y|Z=0] · randomization unit
- 03Dati
unit_id · assignment · outcome · pre_period · exposure
- 04Modello o risultato
ITT = mean(Y assigned B) − mean(Y assigned A)
- 05Calcolo dichiarato
ITT = mean(Y assigned B) − mean(Y assigned A) → ITT = E[Y|Z=1] − E[Y|Z=0]
- 06Controlli dell’incertezza
Sample ratio mismatch · Pre-period balance · Missing outcomes
- 07Validazione specifica
Verificare dati, stabilità della stima e limiti interpretativi. Sample ratio mismatch · Pre-period balance · Missing outcomes
- 08Limiti
Cambiare metrica o durata dopo aver visto il risultato.
Variabili necessarie
unit_idassignmentoutcomepre_periodexposure
Controlli · Terminologia scientifica controllata (EN)
- Sample ratio mismatch
- Pre-period balance
- Missing outcomes
Stimare un ITT con precisione nota per la popolazione eleggibile.
Cambiare metrica o durata dopo aver visto il risultato.
Fonti scientifiche
1 fonte
Dataset · Strumento
Connessioni metodologiche