Research & Evidence

Cerca un metodo

Cerca tra titoli, domande, territori e identificativi MSC.

    ← Tutti i metodi
    SCHEDA METODOMSC-P-017Sperimentazione e causalitàDossier scientifico verificato

    Come rilevare selezione, contaminazione e perdita di osservazioni in un esperimento?

    La diagnostica segue le unità dall’eleggibilità all’outcome: assegnazione, esposizione, contaminazione, mancanze ed esclusioni. L’ITT resta basato sull’assegnazione.

    Redazione scientifica: Marketing Science Center

    Risposta diretta

    Qualificare le minacce ed eseguire analisi di sensibilità.

    La diagnostica segue le unità dall’eleggibilità all’outcome: assegnazione, esposizione, contaminazione, mancanze ed esclusioni. L’ITT resta basato sull’assegnazione.

    CONSORT 2010 Explanation and ElaborationHernán & Robins, Causal Inference: What If

    01

    Sintesi operativa

    Domanda scientifica e perimetro

    Come rilevare selezione, contaminazione e perdita di osservazioni in un esperimento?

    Ammissibile

    Qualificare le minacce ed eseguire analisi di sensibilità.

    Vietato

    Correggere automaticamente una grave attrition differenziale.

    02

    Tre livelli di lettura

    1. 01

      Decisore — Collegare il risultato a decisione, soglia utile e costo dell’errore dichiarati.

    2. 02

      Professionista — Fissare popolazione, unità, orizzonte, variabili disponibili e regola di analisi prima del calcolo.

    3. 03

      Analista — Riprodurre il calcolo, quantificare l’incertezza e documentare diagnostica, fallimenti e sensibilità.

    03

    Situazione marketing concreta

    La diagnostica segue le unità dall’eleggibilità all’outcome: assegnazione, esposizione, contaminazione, mancanze ed esclusioni. L’ITT resta basato sull’assegnazione.

    04

    Domanda scientifica e perimetro

    Come rilevare selezione, contaminazione e perdita di osservazioni in un esperimento?

    Evidenza diagnostica, non un nuovo effetto causale

    Dati necessari

    Unità eleggibile lungo il flusso di analisi

    Popolazione, unità di analisi, data di origine e orizzonte devono essere dichiarati nel risultato. Senza di essi l’estimando cambia silenziosamente.

    05

    Perché un’analisi semplice può fallire

    • Correggere automaticamente una grave attrition differenziale.
    • I conteggi assegnati coincidono con il log di randomizzazione e l’allocazione prespecificata?
    • La mancanza dell’esito è confrontata per braccio secondo una regola dichiarata?
    • Esposizione e contaminazione sono definite senza condizionare l’analisi ITT primaria sul comportamento post-assegnazione?

    06

    Intuizione del metodo

    Il metodo non trasforma automaticamente un’associazione in evidenza. Collega una domanda dichiarata a estimando, specificazione, dati compatibili e regola interpretativa limitata.

    Evidenza diagnostica, non un nuovo effetto causale

    07

    Dati necessari

    Dizionario dei simboli scientifici

    assigned_arm
    Numero di unità eleggibili randomizzate al braccio dichiarato. Unità: unità · Tipo: intero non negativo · Ruolo: input
    observed_arm
    Numero di unità assegnate con esito primario osservato secondo la regola prespecificata sui dati mancanti. Unità: unità · Tipo: intero non negativo · Ruolo: input
    exposed_arm
    Numero di unità assegnate che hanno ricevuto l’esposizione misurata secondo la definizione prespecificata. Unità: unità · Tipo: intero non negativo · Ruolo: input
    attrition_arm
    Quota di unità assegnate senza esito primario osservato nel braccio. Unità: proporzione · Tipo: numero in [0, 1] · Ruolo: output
    exposure_T
    Quota di esposizione tra le unità assegnate al trattamento. Unità: proporzione · Tipo: numero in [0, 1] · Ruolo: diagnostico
    contamination_C
    Quota di esposizione tra le unità assegnate al controllo. Unità: proporzione · Tipo: numero in [0, 1] · Ruolo: diagnostico

    Input esatti e sigillati del motore

    assigned_treatment
    Valore: 5000 · Unità: unità · Tipo: intero · Stato dei dati: sintetico
    assigned_control
    Valore: 5000 · Unità: unità · Tipo: intero · Stato dei dati: sintetico
    observed_treatment
    Valore: 4800 · Unità: unità · Tipo: intero · Stato dei dati: sintetico
    observed_control
    Valore: 4900 · Unità: unità · Tipo: intero · Stato dei dati: sintetico
    exposed_treatment
    Valore: 4500 · Unità: unità · Tipo: intero · Stato dei dati: sintetico
    exposed_control
    Valore: 200 · Unità: unità · Tipo: intero · Stato dei dati: sintetico

    08

    Modello formale

    Modello formale

    attrition_treatment = 1 − observed_treatment/assigned_treatment; attrition_control = 1 − observed_control/assigned_control; differential_attrition = attrition_treatment − attrition_control; treatment_exposure = exposed_treatment/assigned_treatment; control_contamination = exposed_control/assigned_control

    Affermazioni supportate: MSC-P017-C01 · MSC-P017-C02 · MSC-P017-C03 · MSC-P017-C04 · MSC-P017-C05

    Domanda scientifica e perimetro

    Evidenza diagnostica, non un nuovo effetto causale

    09

    Calcolo dichiarato

    1. 01

      Riconciliare i conteggi delle unità eleggibili, assegnate, osservate ed esposte per braccio randomizzato e rifiutare ogni relazione di conteggio impossibile.

    2. 02

      Calcolare attrition per braccio, attrition differenziale, esposizione del trattamento e contaminazione del controllo.

    3. 03

      Riportare solo diagnostica d’implementazione; non affermare che ripari il bias o costituisca un test SRM.

    10

    Esempio numerico o caso applicativo

    Esempio applicativo — dati sintetici o parametri dichiarati; nessuna osservazione reale

    Input sigillati

    • assigned_treatment=5000 [unità]
    • assigned_control=5000 [unità]
    • observed_treatment=4800 [unità]
    • observed_control=4900 [unità]
    • exposed_treatment=4500 [unità]
    • exposed_control=200 [unità]

    Risultati riproducibili

    • attrition_treatment/control=0.04/0.02
    • differential_attrition=0.02
    • exposure/contamination=0.90/0.04

    Dossier verificato: affermazioni collegate a fonti a livello di passaggio, calcolo Python/R riprodotto, limiti espliciti e revisione scientifica indipendente completata.

    11

    Ipotesi di validità

    • I conteggi assegnati coincidono con il log di randomizzazione e l’allocazione prespecificata?
    • La mancanza dell’esito è confrontata per braccio secondo una regola dichiarata?
    • Esposizione e contaminazione sono definite senza condizionare l’analisi ITT primaria sul comportamento post-assegnazione?

    12

    Diagnostica e incertezza

    Diagnostica e incertezza

    I conteggi assegnati coincidono con il log di randomizzazione e l’allocazione prespecificata? · La mancanza dell’esito è confrontata per braccio secondo una regola dichiarata? · Esposizione e contaminazione sono definite senza condizionare l’analisi ITT primaria sul comportamento post-assegnazione?

    Diagnostica limitata

    La diagnostica descrive il flusso d’implementazione; non ripara il bias e non sostituisce un test SRM.

    Contratto esplicito d’incertezza · not_estimable_from_sealed_inputs

    Metodo: Valutazione esplicita della non stimabilità rispetto allo schema di input sigillato.

    Obiettivo: Incertezza campionaria dei tassi di attrition, esposizione e contaminazione.

    Evidenza del motore: diagnostic=diagnostics_do_not_repair_bias

    Interpretazione: I soli conteggi aggregati del flusso non identificano il processo di dipendenza o di mancanza necessario per intervalli di incertezza validi.

    Fermarsi se

    Correggere automaticamente una grave attrition differenziale.

    13

    Interpretazione del risultato

    • Qualificare le minacce ed eseguire analisi di sensibilità.
    • Il risultato è condizionato da popolazione, orizzonte, specificazione e controlli dichiarati. Non va esteso a un’altra decisione senza nuova giustificazione.

    14

    Conclusione ammissibile e vietata

    Ammissibile

    Qualificare le minacce ed eseguire analisi di sensibilità.

    Vietato

    Correggere automaticamente una grave attrition differenziale.

    15

    Decisione marketing possibile

    1. 01

      Qualificare le minacce ed eseguire analisi di sensibilità.

    2. 02

      Il risultato è condizionato da popolazione, orizzonte, specificazione e controlli dichiarati. Non va esteso a un’altra decisione senza nuova giustificazione.

    16

    Quando usare — quando fermarsi

    Usare se

    Qualificare le minacce ed eseguire analisi di sensibilità.

    Unità eleggibile lungo il flusso di analisi

    Fermarsi se

    Correggere automaticamente una grave attrition differenziale.

    Alternative metodologiche

    • Eseguire un test SRM esatto quando probabilità di allocazione e log sono disponibili.
    • Usare limiti di sensibilità per esiti mancanti o non aderenza.
    • Riportare ITT e analisi prespecificate per trattamento ricevuto senza sostituire l’estimando ITT.

    17

    Contratto di riproducibilità

    Python e R sono i riferimenti eseguibili. SPSS e SAS restano sintassi secondarie finché non sono verificati sugli stessi dati, specificazione e controlli.

    Il motore seleziona solo lo slice e il ramo esplicito di questa pagina. Hash, output e diagnostica restano sigillati nel dossier atomico; non è consentito alcun ramo generico di ripiego.

    Impronta dello slice: 86981a5527088e6e95da14a6c0091530f1f492c73e0b0dec47bdbd5cbda693e0

    Modello formale

    attrition_treatment = 1 − observed_treatment/assigned_treatment; attrition_control = 1 − observed_control/assigned_control; differential_attrition = attrition_treatment − attrition_control; treatment_exposure = exposed_treatment/assigned_treatment; control_contamination = exposed_control/assigned_control

    Dossier verificato: affermazioni collegate a fonti a livello di passaggio, calcolo Python/R riprodotto, limiti espliciti e revisione scientifica indipendente completata.

    18

    Risultato finale atteso

    1. 01

      Come rilevare selezione, contaminazione e perdita di osservazioni in un esperimento? — Unità eleggibile lungo il flusso di analisi

    2. 02

      assigned_arm · observed_arm · exposed_arm · attrition_arm · exposure_T · contamination_C

    3. 03

      attrition_treatment = 1 − observed_treatment/assigned_treatment; attrition_control = 1 − observed_control/assigned_control; differential_attrition = attrition_treatment − attrition_control; treatment_exposure = exposed_treatment/assigned_treatment; control_contamination = exposed_control/assigned_control

    4. 04

      I conteggi assegnati coincidono con il log di randomizzazione e l’allocazione prespecificata? · La mancanza dell’esito è confrontata per braccio secondo una regola dichiarata? · Esposizione e contaminazione sono definite senza condizionare l’analisi ITT primaria sul comportamento post-assegnazione?

    5. 05

      Qualificare le minacce ed eseguire analisi di sensibilità. / Correggere automaticamente una grave attrition differenziale.

    19

    Fonti scientifiche e stato dell’evidenza

    Dossier verificato: affermazioni collegate a fonti a livello di passaggio, calcolo Python/R riprodotto, limiti espliciti e revisione scientifica indipendente completata.

    1. MSC-P017-C01 — Il calcolo della dimensione campionaria deve nominare l’esito primario e tutte le quantità usate.
    2. MSC-P017-C02 — Le correzioni per attrition e non aderenza devono essere riportate.
    3. MSC-P017-C03 — L’analisi secondo l’assegnazione randomizzata preserva il confronto previsto.
    4. MSC-P017-C04 — La coerenza collega l’esito osservato a quello potenziale sotto la politica assegnata.
    5. MSC-P017-C05 — L’estimando causale presuppone che l’assegnazione di un cliente non alteri l’esito di un altro.
    1. CONSORT 2010 Explanation and Elaboration
    2. Hernán & Robins, Causal Inference: What If

    Connessioni metodologiche

    Territorio principaleMisurazione e causalità: come stabilire un effetto di marketing?

    Da leggere dopo

    MSC-P-010Quando condurre un esperimento di marketing?→MSC-P-011Come progettare un A/B test che stimi davvero un effetto?→MSC-P-013Come misurare l’effetto incrementale di una campagna con un gruppo di controllo?→