Research & Evidence

Cerca un metodo

Cerca tra titoli, domande, territori e identificativi MSC.

    ← Tutti i metodi
    SCHEDA METODOMSC-P-010Sperimentazione e causalitàDossier scientifico verificato

    Quando condurre un esperimento di marketing?

    Un esperimento è prioritario quando la domanda riguarda l’effetto di un’azione e l’assegnazione può essere controllata senza rischio sproporzionato. Altrimenti, il disegno osservazionale deve esplicitare le ipotesi.

    Redazione scientifica: Marketing Science Center

    Risposta diretta

    Scegliere un disegno proporzionato alla decisione e al rischio.

    Un esperimento è prioritario quando la domanda riguarda l’effetto di un’azione e l’assegnazione può essere controllata senza rischio sproporzionato. Altrimenti, il disegno osservazionale deve esplicitare le ipotesi.

    Jackson et al., 2022Hernán & Robins, Causal Inference: What If

    01

    Sintesi operativa

    Domanda scientifica e perimetro

    Quando condurre un esperimento di marketing?

    Ammissibile

    Scegliere un disegno proporzionato alla decisione e al rischio.

    Vietato

    Pretendere causalità forte quando non esiste variazione credibile.

    02

    Tre livelli di lettura

    1. 01

      Decisore — Collegare il risultato a decisione, soglia utile e costo dell’errore dichiarati.

    2. 02

      Professionista — Fissare popolazione, unità, orizzonte, variabili disponibili e regola di analisi prima del calcolo.

    3. 03

      Analista — Riprodurre il calcolo, quantificare l’incertezza e documentare diagnostica, fallimenti e sensibilità.

    03

    Situazione marketing concreta

    Un esperimento è prioritario quando la domanda riguarda l’effetto di un’azione e l’assegnazione può essere controllata senza rischio sproporzionato. Altrimenti, il disegno osservazionale deve esplicitare le ipotesi.

    04

    Domanda scientifica e perimetro

    Quando condurre un esperimento di marketing?

    Filtro locale di governance per decidere se approfondire un esperimento causale; non EVSI/EVPI

    Dati necessari

    Unità eleggibile × assegnazione × orizzonte di valore fisso

    Popolazione, unità di analisi, data di origine e orizzonte devono essere dichiarati nel risultato. Senza di essi l’estimando cambia silenziosamente.

    05

    Perché un’analisi semplice può fallire

    • Pretendere causalità forte quando non esiste variazione credibile.
    • Tutte le quantità monetarie usano lo stesso orizzonte e la stessa base valutaria?
    • Lo scenario di valutazione è stato fissato prima di osservare un risultato sperimentale?
    • Probabilità e conseguenze dei rischi sono documentate e non nascoste in un punteggio opaco?

    06

    Intuizione del metodo

    Il metodo non trasforma automaticamente un’associazione in evidenza. Collega una domanda dichiarata a estimando, specificazione, dati compatibili e regola interpretativa limitata.

    Filtro locale di governance per decidere se approfondire un esperimento causale; non EVSI/EVPI

    07

    Dati necessari

    Dizionario dei simboli scientifici

    local_decision_value
    Valore monetario locale della risoluzione della decisione nello scenario e nell’orizzonte prespecificati; non è EVSI né EVPI. Unità: euro sull’orizzonte dichiarato · Tipo: numero · Ruolo: input
    experiment_cost
    Costo monetario incrementale totale di progettazione, conduzione e analisi dell’esperimento sullo stesso orizzonte. Unità: euro · Tipo: numero non negativo · Ruolo: input
    expected_operational_harm
    Danno monetario atteso secondo un modello di probabilità dichiarato per i rischi operativi ed etici. Unità: euro · Tipo: numero non negativo · Ruolo: input
    local_screen
    Bilancio locale di governance per decidere se approfondire il disegno sperimentale; non è una stima d’effetto né un valore formale dell’informazione. Unità: euro · Tipo: numero · Ruolo: output

    Input esatti e sigillati del motore

    local_decision_value_eur
    Valore: 25000 · Unità: EUR · Tipo: numero · Stato dei dati: sintetico
    experiment_cost_eur
    Valore: 12000 · Unità: EUR · Tipo: numero · Stato dei dati: sintetico
    operational_risk_eur
    Valore: 5000 · Unità: EUR · Tipo: numero · Stato dei dati: sintetico
    anticipated_gain_pp
    Valore: 2.0 · Unità: punto_percentuale · Tipo: numero · Stato dei dati: sintetico
    minimum_useful_gain_pp
    Valore: 1.5 · Unità: punto_percentuale · Tipo: numero · Stato dei dati: parametro dichiarato
    action_reversible
    Valore: 1 · Unità: binario · Tipo: intero · Stato dei dati: sintetico
    assignment_feasible
    Valore: 1 · Unità: binario · Tipo: intero · Stato dei dati: sintetico
    value_horizon_days
    Valore: 30 · Unità: giorno · Tipo: intero · Stato dei dati: parametro dichiarato
    valuation_scenario_prespecified
    Valore: 1 · Unità: binario · Tipo: intero · Stato dei dati: parametro dichiarato
    risk_probability_model_declared
    Valore: 1 · Unità: binario · Tipo: intero · Stato dei dati: parametro dichiarato

    08

    Modello formale

    Modello formale

    local_net_screen_eur = local_decision_value_eur − experiment_cost_eur − operational_risk_eur; passes_local_screen = 1 only if local_net_screen_eur > 0, anticipated_gain_pp >= minimum_useful_gain_pp, action_reversible = 1, assignment_feasible = 1, valuation_scenario_prespecified = 1, risk_probability_model_declared = 1, and value_horizon_days > 0

    Affermazioni supportate: MSC-P010-C01 · MSC-P010-C02 · MSC-P010-C03 · MSC-P010-C04 · MSC-P010-C05 · MSC-P010-C06 · MSC-P010-C07 · MSC-P010-C08 · MSC-P010-C09

    Domanda scientifica e perimetro

    Filtro locale di governance per decidere se approfondire un esperimento causale; non EVSI/EVPI

    09

    Calcolo dichiarato

    1. 01

      Allineare valore, costo e danno a valuta, scenario e orizzonte comuni; richiedere la dichiarazione dello scenario e del modello di rischio.

    2. 02

      Sottrarre costo e danno operativo atteso dal valore locale, poi confrontare il guadagno previsto con il guadagno minimo utile.

    3. 03

      Qualificare l’output come filtro di governance non universale e vietare il linguaggio VOI o di effetto causale.

    10

    Esempio numerico o caso applicativo

    Esempio applicativo — dati sintetici o parametri dichiarati; nessuna osservazione reale

    Input sigillati

    • local_decision_value_eur=25000 [EUR]
    • experiment_cost_eur=12000 [EUR]
    • operational_risk_eur=5000 [EUR]
    • anticipated_gain_pp=2.0 [punto_percentuale]
    • minimum_useful_gain_pp=1.5 [punto_percentuale]
    • action_reversible=1 [binario]
    • assignment_feasible=1 [binario]
    • value_horizon_days=30 [giorno]
    • valuation_scenario_prespecified=1 [binario]
    • risk_probability_model_declared=1 [binario]

    Risultati riproducibili

    • local_net_screen=€8,000
    • passes_local_screen=true

    Dossier verificato: affermazioni collegate a fonti a livello di passaggio, calcolo Python/R riprodotto, limiti espliciti e revisione scientifica indipendente completata.

    11

    Ipotesi di validità

    • Tutte le quantità monetarie usano lo stesso orizzonte e la stessa base valutaria?
    • Lo scenario di valutazione è stato fissato prima di osservare un risultato sperimentale?
    • Probabilità e conseguenze dei rischi sono documentate e non nascoste in un punteggio opaco?

    12

    Diagnostica e incertezza

    Diagnostica e incertezza

    Tutte le quantità monetarie usano lo stesso orizzonte e la stessa base valutaria? · Lo scenario di valutazione è stato fissato prima di osservare un risultato sperimentale? · Probabilità e conseguenze dei rischi sono documentate e non nascoste in un punteggio opaco?

    Diagnostica limitata

    Filtro locale di governance non universale; non è valore dell’informazione né stima d’effetto.

    Contratto esplicito d’incertezza · not_estimable_from_sealed_inputs

    Metodo: Valutazione esplicita della non stimabilità rispetto allo schema di input sigillato.

    Obiettivo: Incertezza negli input locali di valore, costo, rischio e guadagno.

    Evidenza del motore: diagnostic=local_nonuniversal_governance_screen_not_voi_or_effect_estimate

    Interpretazione: Gli input puntuali sigillati non contengono distribuzioni di probabilità; il filtro non quantifica EVSI, EVPI o incertezza decisionale.

    Fermarsi se

    Pretendere causalità forte quando non esiste variazione credibile.

    13

    Interpretazione del risultato

    • Scegliere un disegno proporzionato alla decisione e al rischio.
    • Il risultato è condizionato da popolazione, orizzonte, specificazione e controlli dichiarati. Non va esteso a un’altra decisione senza nuova giustificazione.

    14

    Conclusione ammissibile e vietata

    Ammissibile

    Scegliere un disegno proporzionato alla decisione e al rischio.

    Vietato

    Pretendere causalità forte quando non esiste variazione credibile.

    15

    Decisione marketing possibile

    1. 01

      Scegliere un disegno proporzionato alla decisione e al rischio.

    2. 02

      Il risultato è condizionato da popolazione, orizzonte, specificazione e controlli dichiarati. Non va esteso a un’altra decisione senza nuova giustificazione.

    16

    Quando usare — quando fermarsi

    Usare se

    Scegliere un disegno proporzionato alla decisione e al rischio.

    Unità eleggibile × assegnazione × orizzonte di valore fisso

    Fermarsi se

    Pretendere causalità forte quando non esiste variazione credibile.

    Alternative metodologiche

    • Usare EVPI o EVSI con un modello decisionale probabilistico completo.
    • Usare un filtro qualitativo di fattibilità ed etica quando la monetizzazione sarebbe fuorviante.
    • Condurre un piccolo pilota solo dopo aver definito regole di arresto ed estimando causale.

    17

    Contratto di riproducibilità

    Python e R sono i riferimenti eseguibili. SPSS e SAS restano sintassi secondarie finché non sono verificati sugli stessi dati, specificazione e controlli.

    Il motore seleziona solo lo slice e il ramo esplicito di questa pagina. Hash, output e diagnostica restano sigillati nel dossier atomico; non è consentito alcun ramo generico di ripiego.

    Impronta dello slice: 9f3be1ae9f83565bb0f6f7351672c8284fe0eaf705c212e574f0545f899f4c14

    Modello formale

    local_net_screen_eur = local_decision_value_eur − experiment_cost_eur − operational_risk_eur; passes_local_screen = 1 only if local_net_screen_eur > 0, anticipated_gain_pp >= minimum_useful_gain_pp, action_reversible = 1, assignment_feasible = 1, valuation_scenario_prespecified = 1, risk_probability_model_declared = 1, and value_horizon_days > 0

    Dossier verificato: affermazioni collegate a fonti a livello di passaggio, calcolo Python/R riprodotto, limiti espliciti e revisione scientifica indipendente completata.

    18

    Risultato finale atteso

    1. 01

      Quando condurre un esperimento di marketing? — Unità eleggibile × assegnazione × orizzonte di valore fisso

    2. 02

      local_decision_value · experiment_cost · expected_operational_harm · local_screen

    3. 03

      local_net_screen_eur = local_decision_value_eur − experiment_cost_eur − operational_risk_eur; passes_local_screen = 1 only if local_net_screen_eur > 0, anticipated_gain_pp >= minimum_useful_gain_pp, action_reversible = 1, assignment_feasible = 1, valuation_scenario_prespecified = 1, risk_probability_model_declared = 1, and value_horizon_days > 0

    4. 04

      Tutte le quantità monetarie usano lo stesso orizzonte e la stessa base valutaria? · Lo scenario di valutazione è stato fissato prima di osservare un risultato sperimentale? · Probabilità e conseguenze dei rischi sono documentate e non nascoste in un punteggio opaco?

    5. 05

      Scegliere un disegno proporzionato alla decisione e al rischio. / Pretendere causalità forte quando non esiste variazione credibile.

    19

    Fonti scientifiche e stato dell’evidenza

    Dossier verificato: affermazioni collegate a fonti a livello di passaggio, calcolo Python/R riprodotto, limiti espliciti e revisione scientifica indipendente completata.

    1. MSC-P010-C01 — L’obiettivo causale confronta gli esiti potenziali medi sotto due interventi definiti.
    2. MSC-P010-C02 — La coerenza collega l’esito osservato a quello potenziale sotto la politica assegnata.
    3. MSC-P010-C03 — L’estimando causale presuppone che l’assegnazione di un cliente non alteri l’esito di un altro.
    4. MSC-P010-C04 — L’adattamento di una regressione non stabilisce da solo un disegno causale.
    5. MSC-P010-C05 — La specificazione preventiva copre la domanda di ricerca e il piano di analisi prima di osservare gli esiti.
    6. MSC-P010-C06 — I metodi del valore dell’informazione sostengono priorità di ricerca e disegno degli studi.
    7. MSC-P010-C07 — Il valore formale dell’informazione richiede incertezza probabilistica dei parametri.
    8. MSC-P010-C08 — Il valore formale dell’informazione richiede perdite o benefici specifici della decisione.
    9. MSC-P010-C09 — ENBS si basa su EVSI, non su un punteggio locale arbitrario.
    1. Jackson et al., 2022
    2. Hernán & Robins, Causal Inference: What If
    3. Arnold et al., 2020
    4. Nosek et al., 2018

    Connessioni metodologiche

    Territorio principaleMisurazione e causalità: come stabilire un effetto di marketing?

    Da leggere dopo

    MSC-P-011Come progettare un A/B test che stimi davvero un effetto?→MSC-P-012Di quante osservazioni ha bisogno un esperimento?→MSC-P-017Come rilevare selezione, contaminazione e perdita di osservazioni in un esperimento?→