Research & Evidence

Cerca un metodo

Cerca tra titoli, domande, territori e identificativi MSC.

    ← Tutti i metodi
    SCHEDA METODOMSC-P-013Sperimentazione e causalitàDossier scientifico verificato

    Come misurare l’effetto incrementale di una campagna con un gruppo di controllo?

    L’estimando primario è la differenza assoluta di outcome tra gruppi assegnati. Lift relativo e conversioni incrementali sono trasformazioni secondarie con denominatore e popolazione espliciti.

    Redazione scientifica: Marketing Science Center

    Risposta diretta

    Stimare l’ITT della campagna e il relativo intervallo.

    L’estimando primario è la differenza assoluta di outcome tra gruppi assegnati. Lift relativo e conversioni incrementali sono trasformazioni secondarie con denominatore e popolazione espliciti.

    Rubin, 1974Hernán & Robins, Causal Inference: What If

    01

    Risposta diretta

    Una campagna randomizzata si valuta prima con la differenza assoluta di esito tra tutte le unità assegnate a test e controllo. Lift relativo e conversioni incrementali sono secondari e non sostituiscono ITT e intervallo.

    02

    Domanda decisionale

    Per la popolazione eleggibile e la finestra prefissata, quale differenza di conversione produce la politica di assegnazione, con quale precisione e rispetto a quale soglia di valore?

    03

    Popolazione, unità e orizzonte

    Popolazione: unità eleggibili prima dell’assegnazione. Unità: cliente, cookie, punto vendita o area realmente randomizzata. Orizzonte: 14 giorni nell’esempio. Ogni unità resta nel gruppo assegnato.

    04

    Estimando e disegno

    L’estimando primario è l’effetto medio dell’assegnazione, ITT = E[Y(1)−Y(0)]. La randomizzazione mira all’interscambiabilità iniziale; coerenza, positività e assenza di interferenza restano necessarie.

    05

    Dati necessari

    Conservare identificativo, eleggibilità, assegnazione, esito, stato di osservazione, esposizione, finestra ed esclusioni predefinite. I soli aggregati non diagnosticano duplicati, perdite o contaminazione.

    06

    Ipotesi di identificazione

    La sequenza deve essere imprevedibile e applicata all’unità dichiarata; trattamento e controllo devono essere ben definiti; il follow-up non deve dipendere dal gruppo; l’interferenza richiede un modello esplicito.

    07

    Modello e simboli

    Per un esito binario, p̂1=y1/n1 e p̂0=y0/n0. L’effetto primario è Δ̂=p̂1−p̂0. Il lift è Δ̂/p̂0; le conversioni incrementali nel test sono n1×Δ̂. Dichiarare sempre il denominatore.

    08

    Calcolo riproducibile

    Leggere il CSV, verificare due gruppi e denominatori, ricalcolare i tassi dai conteggi, calcolare Δ̂, errore standard e intervallo, poi lift e volume incrementale. Nessun seme: sono conteggi realizzati.

    09

    Risultato di riferimento

    Controllo: 1.600/20.000 = 8,00%. Test: 1.900/20.000 = 9,50%. ITT = +1,50 punti; lift = 18,75%; 300 conversioni incrementali nel test.

    MSC-P-013-CAMPAIGN-ITT
    GrupponyTasso
    Controllo20.0001.6008,00%
    Test20.0001.9009,50%

    10

    Incertezza

    L’approssimazione normale dà SE=0,2826 punti e IC95 [0,946; 2,054] punti. Con conteggi piccoli o tassi estremi usare un intervallo score; con randomizzazione cluster, stimare la varianza al livello di assegnazione.

    11

    ITT, esposizione e aderenza

    Il test ha 17.400 esposizioni su 20.000 assegnazioni. L’ITT conserva tutte le 20.000 unità e stima l’effetto della politica. Limitarsi agli esposti cambia estimando e introduce selezione post-randomizzazione.

    12

    Esiti mancanti

    Nel dataset non mancano esiti. In produzione, riportare i mancanti per gruppo, spiegarne il meccanismo e svolgere una sensibilità limitata. La cancellazione differenziale può annullare il vantaggio della randomizzazione.

    13

    Diagnostica del protocollo

    Controllare il rapporto campionario atteso, i duplicati di unità, l’equilibrio pretrattamento, la stabilità del tracking, la contaminazione, l’interferenza e la conformità della finestra. Sono diagnostiche del protocollo, non sostituti della stima.

    14

    Errori frequenti

    Errori tipici: trattare gli esposti come randomizzati, escludere non convertiti, chiamare lift una differenza assoluta, moltiplicare ITT per la popolazione sbagliata, fermarsi presto o ignorare la molteplicità.

    15

    Interpretazione

    Nel protocollo dichiarato, l’intervallo è compatibile con un effetto positivo della politica per questa popolazione e finestra. Non descrive gli esposti soltanto, la persistenza oltre 14 giorni o il trasporto.

    16

    Decisione possibile

    Confrontare il limite inferiore ITT con una soglia fissata prima dell’analisi, poi scegliere rilascio, altro pilota o arresto includendo costi, rischi e capacità. La decisione resta umana.

    17

    Decisione impossibile

    Non attribuire l’effetto ai soli esposti, a un singolo canale multicanale, alla creazione di domanda invece che allo spostamento temporale o a prestazioni future fuori popolazione e finestra.

    18

    Implementazione e risultato

    Il risultato minimo contiene protocollo bloccato, diagramma di flusso, conteggi per braccio, ITT assoluto, IC95, lift secondario, volume incrementale, diagnostica, soglia di valore, limiti e decisione possibile/impossibile. CSV e script Python riproducono i numeri.

    19

    Fonti scientifiche

    Hernán e Robins fondano ragionamento controfattuale, randomizzazione e ITT. Fagerland, Lydersen e Laake documentano intervalli per differenze di proporzioni e limiti di Wald. Nessuna fonte prova prestazioni commerciali.

    1. Fagerland, Lydersen & Laake (2015) ↗Testo integrale verificato

    Dati · Strumento

    Dati · MSC-P-013-CAMPAIGN-ITTHoldout randomizzato sintetico della campagna→

    Connessioni metodologiche

    Territorio principaleMisurazione e causalità: come stabilire un effetto di marketing?

    Da leggere dopo

    MSC-P-011Come progettare un A/B test che stimi davvero un effetto?→MSC-P-012Di quante osservazioni ha bisogno un esperimento?→MSC-P-017Come rilevare selezione, contaminazione e perdita di osservazioni in un esperimento?→MSC-P-015Come stimare un effetto con la differenza nelle differenze?→