Research & Evidence

Cerca un metodo

Cerca tra titoli, domande, territori e identificativi MSC.

    ← Tutti i metodi
    SCHEDA METODOMSC-P-012Sperimentazione e causalitàDossier scientifico verificato

    Di quante osservazioni ha bisogno un esperimento?

    La dimensione dipende da tasso di base o varianza, MDE, alfa, potenza, allocazione, attrition e clustering. Si calcola prima del test e si arrotonda per eccesso.

    Redazione scientifica: Marketing Science Center

    Risposta diretta

    Dimensionare un test per un effetto minimo predefinito.

    La dimensione dipende da tasso di base o varianza, MDE, alfa, potenza, allocazione, attrition e clustering. Si calcola prima del test e si arrotonda per eccesso.

    Cohen, 1992CONSORT 2010 Explanation and Elaboration

    01

    Sintesi operativa

    Domanda scientifica e perimetro

    Di quante osservazioni ha bisogno un esperimento?

    Ammissibile

    Dimensionare un test per un effetto minimo predefinito.

    Vietato

    Usare la potenza osservata post hoc come evidenza.

    02

    Tre livelli di lettura

    1. 01

      Decisore — Collegare il risultato a decisione, soglia utile e costo dell’errore dichiarati.

    2. 02

      Professionista — Fissare popolazione, unità, orizzonte, variabili disponibili e regola di analisi prima del calcolo.

    3. 03

      Analista — Riprodurre il calcolo, quantificare l’incertezza e documentare diagnostica, fallimenti e sensibilità.

    03

    Situazione marketing concreta

    La dimensione dipende da tasso di base o varianza, MDE, alfa, potenza, allocazione, attrition e clustering. Si calcola prima del test e si arrotonda per eccesso.

    04

    Domanda scientifica e perimetro

    Di quante osservazioni ha bisogno un esperimento?

    n per braccio per un outcome binario, MDE, α e 1−β; allocazione uguale, approssimazione normale

    Dati necessari

    Unità di randomizzazione per braccio

    Popolazione, unità di analisi, data di origine e orizzonte devono essere dichiarati nel risultato. Senza di essi l’estimando cambia silenziosamente.

    05

    Perché un’analisi semplice può fallire

    • Usare la potenza osservata post hoc come evidenza.
    • L’outcome binario primario e la sua finestra di osservazione fissa sono dichiarati?
    • p0 e p1 sono valori di pianificazione difendibili e non tassi osservati a posteriori?
    • La struttura di assegnazione richiede correzioni per attrition, allocazione disuguale o disegno a cluster?

    06

    Intuizione del metodo

    Il metodo non trasforma automaticamente un’associazione in evidenza. Collega una domanda dichiarata a estimando, specificazione, dati compatibili e regola interpretativa limitata.

    n per braccio per un outcome binario, MDE, α e 1−β; allocazione uguale, approssimazione normale

    07

    Dati necessari

    Dizionario dei simboli scientifici

    p0
    Probabilità dell’evento di riferimento nel braccio comparatore. Unità: probabilità · Tipo: numero in (0, 1) · Ruolo: input
    p1
    Probabilità obiettivo dell’evento che rappresenta l’effetto minimo che il disegno è dimensionato per rilevare. Unità: probabilità · Tipo: numero in (0, 1) · Ruolo: input
    p_bar
    Punto medio di pianificazione (p0 + p1) / 2 per l’approssimazione normale con allocazione uguale. Unità: probabilità · Tipo: numero · Ruolo: derivato
    alpha
    Probabilità prespecificata di errore di tipo I bilaterale. Unità: probabilità · Tipo: numero in (0, 1) · Ruolo: input
    power
    Probabilità prespecificata di rifiutare l’ipotesi nulla alla differenza obiettivo secondo il modello di pianificazione. Unità: probabilità · Tipo: numero in (0, 1) · Ruolo: input
    z_alpha
    Quantile della normale standard 1 − alpha/2, calcolato da alpha. Unità: adimensionale · Tipo: numero positivo · Ruolo: derivato
    z_power
    Quantile della normale standard alla potenza dichiarata, calcolato dalla potenza. Unità: adimensionale · Tipo: numero · Ruolo: derivato
    n_raw
    Dimensione campionaria per braccio non arrotondata secondo l’approssimazione normale, prima delle correzioni di disegno. Unità: unità di randomizzazione per braccio · Tipo: numero positivo · Ruolo: derivato
    n_planned
    Dimensione campionaria operativa per braccio dopo l’arrotondamento per eccesso e ogni correzione separatamente dichiarata per attrition o clustering. Unità: unità di randomizzazione per braccio · Tipo: intero positivo · Ruolo: output

    Input esatti e sigillati del motore

    baseline_rate
    Valore: 0.10 · Unità: probabilità · Tipo: numero · Stato dei dati: sintetico
    target_rate
    Valore: 0.12 · Unità: probabilità · Tipo: numero · Stato dei dati: sintetico
    alpha_two_sided
    Valore: 0.05 · Unità: probabilità · Tipo: numero · Stato dei dati: parametro dichiarato
    power
    Valore: 0.80 · Unità: probabilità · Tipo: numero · Stato dei dati: parametro dichiarato
    attrition_rate
    Valore: 0 · Unità: probabilità · Tipo: numero · Stato dei dati: parametro dichiarato
    design_effect
    Valore: 1 · Unità: adimensionale · Tipo: numero · Stato dei dati: parametro dichiarato

    08

    Modello formale

    Modello formale

    p_bar = (baseline_rate + target_rate)/2; z_alpha = Φ⁻¹(1−alpha_two_sided/2); z_power = Φ⁻¹(power); n_raw = [z_alpha×sqrt(2p_bar(1−p_bar)) + z_power×sqrt(baseline_rate(1−baseline_rate)+target_rate(1−target_rate))]^2/(target_rate−baseline_rate)^2; n_planned = ceil(n_raw×design_effect/(1−attrition_rate))

    Affermazioni supportate: MSC-P012-C01 · MSC-P012-C02 · MSC-P012-C03 · MSC-P012-C04 · MSC-P012-C05

    Domanda scientifica e perimetro

    n per braccio per un outcome binario, MDE, α e 1−β; allocazione uguale, approssimazione normale

    09

    Calcolo dichiarato

    1. 01

      Verificare tassi di outcome binario, alfa bilaterale, potenza, allocazione uguale e una differenza obiettivo non nulla.

    2. 02

      Calcolare entrambi i quantili normali da alfa e potenza, quindi valutare la formula di pianificazione per due proporzioni.

    3. 03

      Arrotondare per eccesso e dichiarare il perimetro dell’approssimazione; applicare correzioni per attrition o effetto del disegno solo se fornite esplicitamente.

    10

    Esempio numerico o caso applicativo

    Esempio calcolato — dati sintetici o parametri dichiarati; nessuna osservazione reale

    Input sigillati

    • baseline_rate=0.10 [probabilità]
    • target_rate=0.12 [probabilità]
    • alpha_two_sided=0.05 [probabilità]
    • power=0.80 [probabilità]
    • attrition_rate=0 [probabilità]
    • design_effect=1 [adimensionale]

    Risultati riproducibili

    • computed_z_alpha=1.959964
    • computed_z_power=0.841621
    • raw_n_per_arm=3840.847482
    • planned_n_per_arm=3841

    Dossier verificato: affermazioni collegate a fonti a livello di passaggio, calcolo Python/R riprodotto, limiti espliciti e revisione scientifica indipendente completata.

    11

    Ipotesi di validità

    • L’outcome binario primario e la sua finestra di osservazione fissa sono dichiarati?
    • p0 e p1 sono valori di pianificazione difendibili e non tassi osservati a posteriori?
    • La struttura di assegnazione richiede correzioni per attrition, allocazione disuguale o disegno a cluster?

    12

    Diagnostica e incertezza

    Diagnostica e incertezza

    L’outcome binario primario e la sua finestra di osservazione fissa sono dichiarati? · p0 e p1 sono valori di pianificazione difendibili e non tassi osservati a posteriori? · La struttura di assegnazione richiede correzioni per attrition, allocazione disuguale o disegno a cluster?

    Diagnostica limitata

    Approssimazione normale con allocazione uguale; i quantili sono calcolati da alfa e potenza, poi il risultato è arrotondato per eccesso.

    Contratto esplicito d’incertezza · design_sensitivity

    Metodo: Calcolo deterministico del motore di riferimento sul segmento di input sigillato.

    Obiettivo: Sensibilità della dimensione campionaria richiesta ad alfa, potenza, attrition ed effetto del disegno prespecificati.

    Evidenza del motore: metric.raw_n_per_arm= · metric.planned_n_per_arm= · metric.z_alpha_two_sided= · metric.z_power=

    Interpretazione: Il risultato è una quantità deterministica di pianificazione condizionata a tutti gli input dichiarati, non un intervallo di confidenza per l’effetto futuro.

    Fermarsi se

    Usare la potenza osservata post hoc come evidenza.

    13

    Interpretazione del risultato

    • Dimensionare un test per un effetto minimo predefinito.
    • Il risultato è condizionato da popolazione, orizzonte, specificazione e controlli dichiarati. Non va esteso a un’altra decisione senza nuova giustificazione.

    14

    Conclusione ammissibile e vietata

    Ammissibile

    Dimensionare un test per un effetto minimo predefinito.

    Vietato

    Usare la potenza osservata post hoc come evidenza.

    15

    Decisione marketing possibile

    1. 01

      Dimensionare un test per un effetto minimo predefinito.

    2. 02

      Il risultato è condizionato da popolazione, orizzonte, specificazione e controlli dichiarati. Non va esteso a un’altra decisione senza nuova giustificazione.

    16

    Quando usare — quando fermarsi

    Usare se

    Dimensionare un test per un effetto minimo predefinito.

    Unità di randomizzazione per braccio

    Fermarsi se

    Usare la potenza osservata post hoc come evidenza.

    Alternative metodologiche

    • Usare un disegno binario esatto o basato su simulazione quando l’approssimazione normale è debole.
    • Usare un calcolo per randomizzazione a cluster con correlazione intraclasse quando l’assegnazione è raggruppata.
    • Usare un disegno sequenziale o group-sequential solo con una regola di monitoraggio prespecificata.

    17

    Contratto di riproducibilità

    Python e R sono i riferimenti eseguibili. SPSS e SAS restano sintassi secondarie finché non sono verificati sugli stessi dati, specificazione e controlli.

    Il motore seleziona solo lo slice e il ramo esplicito di questa pagina. Hash, output e diagnostica restano sigillati nel dossier atomico; non è consentito alcun ramo generico di ripiego.

    Impronta dello slice: e2ce0f592a6aa84d9930f38499580ab88972e6eba77945d2b617d51b9f8a8bc1

    Risorsa disponibile · MSC-T01

    Dimensione campione A/B

    Modello formale

    p_bar = (baseline_rate + target_rate)/2; z_alpha = Φ⁻¹(1−alpha_two_sided/2); z_power = Φ⁻¹(power); n_raw = [z_alpha×sqrt(2p_bar(1−p_bar)) + z_power×sqrt(baseline_rate(1−baseline_rate)+target_rate(1−target_rate))]^2/(target_rate−baseline_rate)^2; n_planned = ceil(n_raw×design_effect/(1−attrition_rate))

    Dossier verificato: affermazioni collegate a fonti a livello di passaggio, calcolo Python/R riprodotto, limiti espliciti e revisione scientifica indipendente completata.

    18

    Risultato finale atteso

    1. 01

      Di quante osservazioni ha bisogno un esperimento? — Unità di randomizzazione per braccio

    2. 02

      p0 · p1 · p_bar · alpha · power · z_alpha · z_power · n_raw · n_planned

    3. 03

      p_bar = (baseline_rate + target_rate)/2; z_alpha = Φ⁻¹(1−alpha_two_sided/2); z_power = Φ⁻¹(power); n_raw = [z_alpha×sqrt(2p_bar(1−p_bar)) + z_power×sqrt(baseline_rate(1−baseline_rate)+target_rate(1−target_rate))]^2/(target_rate−baseline_rate)^2; n_planned = ceil(n_raw×design_effect/(1−attrition_rate))

    4. 04

      L’outcome binario primario e la sua finestra di osservazione fissa sono dichiarati? · p0 e p1 sono valori di pianificazione difendibili e non tassi osservati a posteriori? · La struttura di assegnazione richiede correzioni per attrition, allocazione disuguale o disegno a cluster?

    5. 05

      Dimensionare un test per un effetto minimo predefinito. / Usare la potenza osservata post hoc come evidenza.

    19

    Fonti scientifiche e stato dell’evidenza

    Dossier verificato: affermazioni collegate a fonti a livello di passaggio, calcolo Python/R riprodotto, limiti espliciti e revisione scientifica indipendente completata.

    1. MSC-P012-C01 — La pianificazione della potenza riguarda una differenza tra due proporzioni indipendenti.
    2. MSC-P012-C02 — La pianificazione dipende congiuntamente da dimensione dell’effetto, criterio di significatività e potenza.
    3. MSC-P012-C03 — La determinazione della dimensione campionaria deve nominare l’outcome primario e tutte le quantità usate.
    4. MSC-P012-C04 — Le correzioni per attrition e non conformità devono essere riportate.
    5. MSC-P012-C05 — Le dimensioni dell’effetto sostengono la pianificazione prospettica dello studio.
    1. Cohen, 1992
    2. CONSORT 2010 Explanation and Elaboration
    3. Lakens, 2013

    Dati · Strumento

    Strumento · MSC-T01Dimensione campione A/B→

    Connessioni metodologiche

    Territorio principaleMetodi statistici decisionali: scegliere, quantificare, validare

    Da leggere dopo

    MSC-P-011Come progettare un A/B test che stimi davvero un effetto?→MSC-P-013Come misurare l’effetto incrementale di una campagna con un gruppo di controllo?→MSC-P-003Come esprimere l’incertezza di un risultato di marketing?→