Research & Evidence

Cerca un metodo

Cerca tra titoli, domande, territori e identificativi MSC.

    ← Tutti i metodi
    SCHEDA METODOMSC-P-011Sperimentazione e causalitàDossier scientifico verificato

    Come progettare un A/B test che stimi davvero un effetto?

    Prima del test vanno fissati popolazione, unità di randomizzazione, variante, metrica primaria, MDE, durata, esclusioni e analisi intention-to-treat.

    Redazione scientifica: Marketing Science Center

    Risposta diretta

    Stimare un ITT con precisione nota per la popolazione eleggibile.

    Prima del test vanno fissati popolazione, unità di randomizzazione, variante, metrica primaria, MDE, durata, esclusioni e analisi intention-to-treat.

    Kohavi et al., 2009

    01

    Risposta diretta

    Un A/B test credibile si dimensiona prima dell’esposizione con metrica primaria, MDE, alfa, potenza, unità e perdita al follow-up. Per 8,0% contro 8,7% MSC-P-011 richiede 24.516 unità per braccio, o 31.326 con una perdita del 10% e un effetto di piano pari a 1,15.

    02

    Domanda scientifica

    Quante unità randomizzare per braccio per rilevare una differenza assoluta predefinita su un esito binario con i rischi di errore scelti?

    03

    Popolazione, unità e orizzonte

    L’unità è quella di randomizzazione eleggibile, analizzata nel braccio assegnato in una finestra fissa. Utente, famiglia, negozio e area non sono intercambiabili.

    04

    Estimando e metrica

    L’estimando primario è la differenza ITT assoluta p₁−p₀. L’MDE di 0,7 punti, 8,75% relativo, è una scelta, non una previsione.

    05

    Dati necessari

    Servono popolazione, tasso base, MDE, metrica e finestra, alfa, potenza, allocazione, perdita al follow-up, raggruppamento, contaminazione e vincoli di traffico.

    06

    Ipotesi

    Due bracci indipendenti, allocazione 1:1, esito binario, test bilaterale, approssimazione normale, ITT e nessun riuso. Cluster e misure ripetute richiedono altro calcolo.

    07

    Formula di pianificazione

    n≈[z₁₋α/2√(2p̄(1−p̄))+z₁₋β√(p₀(1−p₀)+p₁(1−p₁))]²/(p₁−p₀)², con p̄=(p₀+p₁)/2.

    08

    Calcolo riproducibile

    Con p₀=0,08, p₁=0,087, α=0,05 e potenza 0,80: z=1,959964 e 0,841621. Il calcolo dà 24.515,438 e arrotonda in alto.

    09

    Risultati di pianificazione

    Dimensione grezza: 24.516 per braccio. Con effetto di piano 1,15 e perdita del 10%: 31.326 per braccio, 62.652 in totale.

    MSC-P-011 · disegno binario a due bracci
    Tasso di riferimentoTasso obiettivoGrezzo per braccioCorretto per braccioTotale
    8,0%8,7%24.51631.32662.652

    10

    Incertezza di pianificazione

    La dimensione dipende da tasso base e MDE. Ricalcolare su intervalli plausibili, arrotondare in alto e trattare l’incertezza su traffico e attrition come rischio di fattibilità.

    11

    Protocollo pre-lancio

    Fissare popolazione, unità, varianti, metrica primaria, finestra, MDE, dimensione, regola di arresto, esclusioni, analisi ITT, gestione dei dati mancanti e controlli del rapporto campionario.

    12

    Diagnostica

    Dopo il lancio: assegnazione, sample ratio, contaminazione, attrition differenziale, outcome, esposizione e registro modifiche.

    13

    Errori frequenti

    Errori: scegliere il MDE per ottenere un campione piccolo, guardare i risultati prima della soglia fissata, moltiplicare le metriche, randomizzare utenti ma analizzare sessioni, fermarsi a p<0,05 o escludere dopo assegnazione.

    14

    Interpretazione

    Potenza 80% significa 80% di probabilità di rifiutare H₀ sotto effetto e ipotesi esatti, non 80% che la variante sia migliore.

    15

    Decisione possibile

    Decidere se il test è fattibile, quale MDE è utile alla decisione e quanto traffico e tempo riservare prima del lancio.

    16

    Decisione impossibile

    La dimensione non prova assenza di bias, rilevanza della metrica o effetto reale, né causalità se randomizzazione o ITT falliscono.

    17

    Implementazione

    Il CSV CC0 documenta il design; Python MIT usa la normale, rifiuta parametri invalidi, arrotonda e pubblica dimensione grezza e corretta.

    18

    Risultato atteso

    Domanda, popolazione, unità, varianti, metrica, finestra, MDE, alfa, potenza, formula, correzioni, traffico, durata, diagnostica e decisione.

    19

    Fonti scientifiche

    Cohen fonda la potenza; CONSORT richiede dimensione, outcome, randomizzazione, numeri analizzati e precisione. Nessuna fonte predice il tasso dell’8,7% del file sintetico.

    1. Cohen (1992) ↗Testo integrale verificato
    2. Moher et al. (2010) ↗Testo integrale verificato

    Dati · Strumento

    Strumento · MSC-T01Dimensione campione A/B→

    Connessioni metodologiche

    Territorio principaleMisurazione e causalità: come stabilire un effetto di marketing?

    Da leggere dopo

    MSC-P-012Di quante osservazioni ha bisogno un esperimento?→MSC-P-013Come misurare l’effetto incrementale di una campagna con un gruppo di controllo?→MSC-P-017Come rilevare selezione, contaminazione e perdita di osservazioni in un esperimento?→