Research & Evidence

Cerca un metodo

Cerca tra titoli, domande, territori e identificativi MSC.

    ← Tutti i metodi
    SCHEDA METODOMSC-P-004Fondamenti dell’evidenzaDossier scientifico verificato

    Significatività o dimensione dell’effetto: quale risultato interpretare?

    Il p-value misura la compatibilità dei dati con un modello nullo. La dimensione dell’effetto descrive l’ampiezza osservata e va accompagnata da un intervallo e da una soglia di rilevanza pratica.

    Redazione scientifica: Marketing Science Center

    Risposta diretta

    Valutare insieme rilevazione, ampiezza e precisione.

    Il p-value misura la compatibilità dei dati con un modello nullo. La dimensione dell’effetto descrive l’ampiezza osservata e va accompagnata da un intervallo e da una soglia di rilevanza pratica.

    American Statistical Association, 2016Lakens, 2013

    01

    La regola decisionale

    Interpretare sempre insieme quattro oggetti: stima dell’effetto, intervallo, p-value del test dichiarato e soglia di importanza pratica fissata prima del risultato. Un p-value piccolo non misura ampiezza o utilità; uno grande non dimostra assenza.

    American Statistical Association (2016)

    02

    Tre livelli di lettura

    1. 1

      Decisore: chiedere se l’intervallo supera la soglia aziendale, non solo se p è inferiore a 0,05.

    2. 2

      Professionista: riportare differenza assoluta, lift relativo, intervallo, p-value, numerosità e regola di molteplicità.

    3. 3

      Analista: definire estimando, processo di campionamento, δ, livello dell’intervallo e sensibilità.

    03

    Situazione marketing concreta

    Un team confronta due tassi di conversione e deve decidere se la differenza giustifica il rilascio. Il costo richiede almeno +1 punto. La vera domanda è: quali ampiezze restano compatibili con i dati e superano la soglia?

    04

    Domanda scientifica esatta

    Nelle popolazioni, unità e finestre dichiarate, qual è la differenza descrittiva Δ = πB − πA, con quale precisione, e l’intervallo è compatibile con zero, con un effetto utile δ o con [−δ,+δ]?

    05

    Perché p < 0,05 non basta

    • Con n molto grande, una differenza minima può dare un p-value piccolo senza valore economico.
    • Un risultato non significativo può essere troppo impreciso per distinguere assenza, danno o beneficio utile.
    • Scegliere δ dopo i dati trasforma la regola aziendale in giustificazione ex post.

    American Statistical Association (2016) Lakens, Scheel & Isager (2018)

    06

    Intuizione prima delle equazioni

    • Il p-value risponde a una domanda di compatibilità sotto un modello nullo dichiarato; non dà la probabilità che H0 sia vera.
    • La dimensione dell’effetto dà l’ampiezza su una scala scelta; l’intervallo mostra i valori compatibili con dati e modello.
    • La soglia δ traduce costo, margine o rischio in differenza minima utile; non è una costante universale.

    Lakens (2013)

    07

    Dati necessari

    • Due gruppi binomiali indipendenti, nA/nB e conversioni yA/yB; nessuna assegnazione causale è rivendicata.
    • Stessa definizione di conversione, stessa finestra e popolazioni esplicitamente comparabili.
    • Soglia pratica δ = 1 punto fissata prima dell’analisi; alfa = 5% e famiglia di test dichiarata.

    08

    Modello formale e simboli

    Effetto

    πA,πB; Δ=πB−πAp̂A=yA/nA; p̂B=yB/nB; Δ̂=p̂B−p̂A; lift=Δ̂/p̂A

    nA,nB: unità; yA,yB: conversioni; π: parametro di popolazione; p̂: tasso osservato; Δ: estimando; Δ̂: stimatore; δ: differenza minima utile fissata prima dell’analisi.

    Incertezza

    H0:Δ=0; p̂pool=(yA+yB)/(nA+nB); SE0=√[p̂pool(1−p̂pool)(1/nA+1/nB)]; z=Δ̂/SE0; p=2Φ(−|z|)SE=√[p̂A(1−p̂A)/nA+p̂B(1−p̂B)/nB]; CI95=Δ̂±z0.975SE; CI90=Δ̂±z0.95SETOST: H01:Δ≤−δ; H02:Δ≥+δ; max(p1,p2)<α

    α è il rischio di primo tipo dichiarato; Φ è la CDF normale standard; zq è il suo quantile q. L’IC di Wald è usato qui solo con grandi conteggi; preferire un metodo score quando l’approssimazione è fragile.

    Fagerland, Lydersen & Laake (2015) Lakens, Scheel & Isager (2018)

    09

    Calcolo dichiarato, passo dopo passo

    1. 01

      Fissare popolazione, finestra, metrica, alfa, molteplicità e δ prima dei risultati.

    2. 02

      Calcolare tassi, Δ in punti e lift relativo senza cambiare unità durante l’interpretazione.

    3. 03

      Calcolare p sotto H0:Δ=0 e IC95 di Δ; per equivalenza, testare [−δ,+δ] con due test unilaterali.

    4. 04

      Classificare il risultato rispetto a zero e δ, quindi documentare la decisione e ciò che essa non dimostra.

    10

    Quattro risultati con significati diversi

    Illustrazione sintetica — valori didattici, non osservati

    Quattro risultati con significati diversi
    ScenarioConteggi A → BTassi A → BΔ̂Lift relativopIC95IC90TOST pDecisione
    detectable_negligible500000/50000 → 500000/5100010,000% → 10,200%0,200 pp2,000%0,0009046[0,0819; 0,3181][0,1009; 0,2991]1,62e-40detectable-but-negligible
    inconclusive1000/100 → 1000/12010,000% → 12,000%2,000 pp20,000%0,152918[-0,7411; 4,7411][-0,3004; 4,3004]0,762700inconclusive
    practically_convincing10000/1000 → 10000/125010,000% → 12,500%2,500 pp25,000%2,21e-8[1,6248; 3,3752][1,7655; 3,2345]0,999609practically-convincing-benefit
    practically_equivalent50000/5000 → 50000/502510,000% → 10,050%0,050 pp0,500%0,792373[-0,3223; 0,4223][-0,2624; 0,3624]2,85e-7practically-equivalent

    Il primo scenario rifiuta sia Δ=0 sia effetti di almeno 1 punto: è rilevabile e contenuto nella zona di trascurabilità pratica. Questo doppio risultato non deriva mai dalla sola stima puntuale.

    CSV Python · MIT R · MIT SPSS · MIT SAS · MIT

    11

    Ipotesi di validità

    • Le unità sono indipendenti entro e tra i gruppi? In caso contrario, la varianza considera la dipendenza reale?
    • Ogni unità ha un esito binario, una probabilità stabile nel gruppo e una sola osservazione nella finestra?
    • I conteggi sono sufficienti per l’approssimazione normale? In caso contrario, si usa un metodo binomiale o score adeguato?
    • δ deriva da una funzione di valore documentata e fissata prima dell’analisi, anziché dal risultato osservato?

    12

    Diagnostica e incertezza

    Verificare i quattro conteggi binomiali, denominatori e assenza di duplicati.

    Riportare IC95 per Δ e IC90 per TOST; ampiezza eccessiva indica informazione insufficiente.

    Ripetere per valori δ difendibili e correzione di molteplicità predefinita.

    13

    Interpretare il risultato

    • Rilevabile ma trascurabile: zero è escluso e l’IC90 è interamente in [−δ,+δ]; la sola stima puntuale non basta.
    • Inconcludente: l’intervallo contiene zero ed effetti utili; raccogliere dati o decidere con rischio esplicito.
    • Praticamente convincente: IC95 supera δ nella direzione utile sotto le ipotesi dichiarate.
    • Praticamente equivalente: IC90 in [−δ,+δ] e i due test unilaterali passano.

    14

    Conclusioni ammissibili e vietate

    Ammissibile

    • Descrivere ampiezza e precisione per le popolazioni osservate.
    • Dire quali valori utili o trascurabili restano compatibili con i dati.

    Vietato

    • Trasformare significatività in importanza, probabilità di H0 o causalità.
    • Interpretare p ≥ 0,05 come prova di assenza senza equivalenza giustificata.

    15

    Decisione marketing possibile

    1. 01

      Distribuire solo se l’intervallo plausibile supera la soglia di valore e i rischi sono accettabili.

    2. 02

      Fermare per futilità solo con equivalenza pratica sostenuta intorno a un δ difendibile.

    3. 03

      Altrimenti trattare come inconcludente e scegliere tra più dati, pilota limitato o decisione sotto rischio.

    16

    Quando usare e quando non usare

    Usare

    • Confronti tra due proporzioni indipendenti già giustificati dal piano.
    • Lettura decisionale dopo controllo di disegno, dati e molteplicità.

    Non usare

    • Per scegliere il test: vedere MSC-P-039.
    • Per potenza e n: MSC-P-012; per causalità: MSC-P-013.

    17

    Implementazioni riproducibili

    Python 3.13 · riferimento

    python msc-p004-reference.py --csv msc-p004-significance-effect-size.csv

    R 4.5 · riferimento

    Rscript msc-p004-reference.R msc-p004-significance-effect-size.csv

    SPSS 31 · secondario

    INSERT FILE='msc-p004-reference.sps'.

    SAS 9.4 · secondario

    %include 'msc-p004-reference.sas';

    Python e R sono i riferimenti eseguibili verificati. Le sintassi secondarie SPSS e SAS applicano gli stessi conteggi, formule e regole decisionali; eseguirle nell’ambiente nativo prima dell’uso operativo.

    18

    Risultato finale atteso

    1. 01

      Domanda, popolazione, unità, finestra e disegno.

    2. 02

      Δ assoluto, lift relativo, p-value, IC95 e δ predefinito.

    3. 03

      Classe decisionale, ipotesi, molteplicità, limiti e decisione impossibile.

    19

    Fonti scientifiche e livello di prova

    1. Il p-value non misura ampiezza o importanza e non deve decidere da solo.

    2. Lakens (2013)Articolo metodologico, CC BY

      Le dimensioni dell’effetto comunicano ampiezza e supportano confronto, sintesi e pianificazione.

    3. Lakens, Scheel & Isager (2018)Tutorial metodologico, open access

      L’equivalenza richiede limiti basati sul più piccolo effetto d’interesse e due test unilaterali.

    4. L’IC di Wald per due proporzioni richiede grandi conteggi ed è meno robusto degli intervalli score.

    Connessioni metodologiche

    Territorio principaleMetodi statistici decisionali: scegliere, quantificare, validare

    Da leggere dopo

    MSC-P-003Come esprimere l’incertezza di un risultato di marketing?→MSC-P-012Di quante osservazioni ha bisogno un esperimento?→MSC-P-013Come misurare l’effetto incrementale di una campagna con un gruppo di controllo?→MSC-P-039Quale test statistico scegliere?→