Come progettare un A/B test che stimi davvero un effetto?
Prima del test vanno fissati popolazione, unità di randomizzazione, variante, metrica primaria, MDE, durata, esclusioni e analisi intention-to-treat.
Redazione scientifica: Marketing Science Center
Risposta diretta
Stimare un ITT con precisione nota per la popolazione eleggibile.
Prima del test vanno fissati popolazione, unità di randomizzazione, variante, metrica primaria, MDE, durata, esclusioni e analisi intention-to-treat.
01
Risposta diretta
Un A/B test credibile si dimensiona prima dell’esposizione con metrica primaria, MDE, alfa, potenza, unità e perdita al follow-up. Per 8,0% contro 8,7% MSC-P-011 richiede 24.516 unità per braccio, o 31.326 con una perdita del 10% e un effetto di piano pari a 1,15.
02
Domanda scientifica
Quante unità randomizzare per braccio per rilevare una differenza assoluta predefinita su un esito binario con i rischi di errore scelti?
03
Popolazione, unità e orizzonte
L’unità è quella di randomizzazione eleggibile, analizzata nel braccio assegnato in una finestra fissa. Utente, famiglia, negozio e area non sono intercambiabili.
04
Estimando e metrica
L’estimando primario è la differenza ITT assoluta p₁−p₀. L’MDE di 0,7 punti, 8,75% relativo, è una scelta, non una previsione.
05
Dati necessari
Servono popolazione, tasso base, MDE, metrica e finestra, alfa, potenza, allocazione, perdita al follow-up, raggruppamento, contaminazione e vincoli di traffico.
06
Ipotesi
Due bracci indipendenti, allocazione 1:1, esito binario, test bilaterale, approssimazione normale, ITT e nessun riuso. Cluster e misure ripetute richiedono altro calcolo.
07
Formula di pianificazione
n≈[z₁₋α/2√(2p̄(1−p̄))+z₁₋β√(p₀(1−p₀)+p₁(1−p₁))]²/(p₁−p₀)², con p̄=(p₀+p₁)/2.
08
Calcolo riproducibile
Con p₀=0,08, p₁=0,087, α=0,05 e potenza 0,80: z=1,959964 e 0,841621. Il calcolo dà 24.515,438 e arrotonda in alto.
09
Risultati di pianificazione
Dimensione grezza: 24.516 per braccio. Con effetto di piano 1,15 e perdita del 10%: 31.326 per braccio, 62.652 in totale.
| Tasso di riferimento | Tasso obiettivo | Grezzo per braccio | Corretto per braccio | Totale |
|---|---|---|---|---|
| 8,0% | 8,7% | 24.516 | 31.326 | 62.652 |
10
Incertezza di pianificazione
La dimensione dipende da tasso base e MDE. Ricalcolare su intervalli plausibili, arrotondare in alto e trattare l’incertezza su traffico e attrition come rischio di fattibilità.
11
Protocollo pre-lancio
Fissare popolazione, unità, varianti, metrica primaria, finestra, MDE, dimensione, regola di arresto, esclusioni, analisi ITT, gestione dei dati mancanti e controlli del rapporto campionario.
12
Diagnostica
Dopo il lancio: assegnazione, sample ratio, contaminazione, attrition differenziale, outcome, esposizione e registro modifiche.
13
Errori frequenti
Errori: scegliere il MDE per ottenere un campione piccolo, guardare i risultati prima della soglia fissata, moltiplicare le metriche, randomizzare utenti ma analizzare sessioni, fermarsi a p<0,05 o escludere dopo assegnazione.
14
Interpretazione
Potenza 80% significa 80% di probabilità di rifiutare H₀ sotto effetto e ipotesi esatti, non 80% che la variante sia migliore.
15
Decisione possibile
Decidere se il test è fattibile, quale MDE è utile alla decisione e quanto traffico e tempo riservare prima del lancio.
16
Decisione impossibile
La dimensione non prova assenza di bias, rilevanza della metrica o effetto reale, né causalità se randomizzazione o ITT falliscono.
17
Implementazione
Il CSV CC0 documenta il design; Python MIT usa la normale, rifiuta parametri invalidi, arrotonda e pubblica dimensione grezza e corretta.
CSV · CC0
msc-p011-ab-design.csv ↓Python · MIT
msc-p011-reference.py ↓18
Risultato atteso
Domanda, popolazione, unità, varianti, metrica, finestra, MDE, alfa, potenza, formula, correzioni, traffico, durata, diagnostica e decisione.
19
Fonti scientifiche
Cohen fonda la potenza; CONSORT richiede dimensione, outcome, randomizzazione, numeri analizzati e precisione. Nessuna fonte predice il tasso dell’8,7% del file sintetico.
- Cohen (1992) ↗Testo integrale verificato
- Moher et al. (2010) ↗Testo integrale verificato
Dati · Strumento
Connessioni metodologiche