Research & Evidence

Cerca un metodo

Cerca tra titoli, domande, territori e identificativi MSC.

    ← Tutti i metodi
    SCHEDA METODOMSC-P-029Scienza del clienteDossier scientifico verificato

    Quali clienti hanno la probabilità di abbandono più elevata?

    Il churn si prevede per una data decisionale e un orizzonte fissi. Separazione temporale, prevenzione del leakage e calibrazione contano quanto la discriminazione.

    Redazione scientifica: Marketing Science Center

    Risposta diretta

    Dare priorità a una revisione umana usando un rischio probabilistico calibrato.

    Il churn si prevede per una data decisionale e un orizzonte fissi. Separazione temporale, prevenzione del leakage e calibrazione contano quanto la discriminazione.

    scikit-learn average_precision_scoreDimitriadis et al., 2023

    01

    Sintesi operativa

    Domanda scientifica e perimetro

    Quali clienti hanno la probabilità di abbandono più elevata?

    Ammissibile

    Dare priorità a una revisione umana usando un rischio probabilistico calibrato.

    Vietato

    Affermare quale azione ridurrà il churn dal solo modello predittivo.

    02

    Tre livelli di lettura

    1. 01

      Decisore — Collegare il risultato a decisione, soglia utile e costo dell’errore dichiarati.

    2. 02

      Professionista — Fissare popolazione, unità, orizzonte, variabili disponibili e regola di analisi prima del calcolo.

    3. 03

      Analista — Riprodurre il calcolo, quantificare l’incertezza e documentare diagnostica, fallimenti e sensibilità.

    03

    Situazione marketing concreta

    Il churn si prevede per una data decisionale e un orizzonte fissi. Separazione temporale, prevenzione del leakage e calibrazione contano quanto la discriminazione.

    04

    Domanda scientifica e perimetro

    Quali clienti hanno la probabilità di abbandono più elevata?

    Rischio predittivo di abbandono su holdout temporale

    Dati necessari

    Cliente × finestra delle variabili × orizzonte

    Popolazione, unità di analisi, data di origine e orizzonte devono essere dichiarati nel risultato. Senza di essi l’estimando cambia silenziosamente.

    05

    Perché un’analisi semplice può fallire

    • Affermare quale azione ridurrà il churn dal solo modello predittivo.
    • Ogni variabile era disponibile al tempo di previsione dichiarato e il holdout è successivo nel tempo?
    • I punteggi di previsione ex aequo sono raggruppati in modo coerente nel calcolo dell’average precision?
    • Calibrazione, discriminazione e utilità decisionale sono valutate separatamente su un campione abbastanza grande e rappresentativo del deployment?

    06

    Intuizione del metodo

    Il metodo non trasforma automaticamente un’associazione in evidenza. Collega una domanda dichiarata a estimando, specificazione, dati compatibili e regola interpretativa limitata.

    Rischio predittivo di abbandono su holdout temporale

    07

    Dati necessari

    Dizionario dei simboli scientifici

    p_i
    Probabilità prevista di abbandono per il cliente i nel holdout, usando solo informazioni disponibili alla data decisionale. Unità: probabilità · Tipo: numero strettamente compreso tra 0 e 1 · Ruolo: input
    y_i
    Esito binario osservato di abbandono entro l’orizzonte fissato per il cliente i nel holdout. Unità: binario · Tipo: 0 o 1 · Ruolo: input
    Brier
    Errore quadratico medio di probabilità sul holdout temporale. Unità: probabilità al quadrato · Tipo: numero non negativo · Ruolo: output
    log_loss
    Media della log-verosimiglianza negativa di Bernoulli sul holdout temporale. Unità: nat per osservazione · Tipo: numero non negativo · Ruolo: output
    calibration_gap
    Probabilità media prevista meno tasso osservato dell’evento; con questa convenzione un valore negativo indica sottoprevisione media. Unità: probabilità · Tipo: numero in [−1, 1] · Ruolo: output
    AP_threshold
    Average precision non interpolata calcolata sulle soglie di previsione uniche con punteggi ex aequo raggruppati; non una PR-AUC generica. Unità: proporzione · Tipo: numero in [0, 1] · Ruolo: output

    Input esatti e sigillati del motore

    predicted_risk_1
    Valore: 0.05 · Unità: probabilità · Tipo: numero · Stato dei dati: sintetico
    predicted_risk_2
    Valore: 0.10 · Unità: probabilità · Tipo: numero · Stato dei dati: sintetico
    predicted_risk_3
    Valore: 0.20 · Unità: probabilità · Tipo: numero · Stato dei dati: sintetico
    predicted_risk_4
    Valore: 0.30 · Unità: probabilità · Tipo: numero · Stato dei dati: sintetico
    predicted_risk_5
    Valore: 0.45 · Unità: probabilità · Tipo: numero · Stato dei dati: sintetico
    predicted_risk_6
    Valore: 0.60 · Unità: probabilità · Tipo: numero · Stato dei dati: sintetico
    predicted_risk_7
    Valore: 0.75 · Unità: probabilità · Tipo: numero · Stato dei dati: sintetico
    predicted_risk_8
    Valore: 0.90 · Unità: probabilità · Tipo: numero · Stato dei dati: sintetico
    outcome_1
    Valore: 0 · Unità: binario · Tipo: intero · Stato dei dati: sintetico
    outcome_2
    Valore: 0 · Unità: binario · Tipo: intero · Stato dei dati: sintetico
    outcome_3
    Valore: 0 · Unità: binario · Tipo: intero · Stato dei dati: sintetico
    outcome_4
    Valore: 1 · Unità: binario · Tipo: intero · Stato dei dati: sintetico
    outcome_5
    Valore: 0 · Unità: binario · Tipo: intero · Stato dei dati: sintetico
    outcome_6
    Valore: 1 · Unità: binario · Tipo: intero · Stato dei dati: sintetico
    outcome_7
    Valore: 1 · Unità: binario · Tipo: intero · Stato dei dati: sintetico
    outcome_8
    Valore: 1 · Unità: binario · Tipo: intero · Stato dei dati: sintetico
    temporal_holdout_declared
    Valore: 1 · Unità: binario · Tipo: intero · Stato dei dati: parametro dichiarato

    08

    Modello formale

    Modello formale

    temporal_holdout_declared = 1; Brier = mean((p_i−y_i)^2); log_loss = −mean(y_i×log(p_i)+(1−y_i)×log(1−p_i)); calibration_gap = mean(p_i)−mean(y_i); AP_threshold = grouped_average_precision(p_i, y_i)

    Affermazioni supportate: MSC-P029-C01 · MSC-P029-C02 · MSC-P029-C03 · MSC-P029-C04 · MSC-P029-C05 · MSC-P029-C06 · MSC-P029-C07 · MSC-P029-C08 · MSC-P029-C09 · MSC-P029-C10

    Domanda scientifica e perimetro

    Rischio predittivo di abbandono su holdout temporale

    09

    Calcolo dichiarato

    1. 01

      Fissare il holdout temporale e verificare probabilità ed esiti appaiati con entrambe le classi rappresentate.

    2. 02

      Calcolare Brier, log loss, average precision raggruppata per soglia e scarto di calibrazione previsione meno osservazione.

    3. 03

      Riportare separatamente discriminazione e calibrazione e qualificare il minuscolo holdout sintetico come insufficiente per il deployment o la validazione causale.

    10

    Esempio numerico o caso applicativo

    Illustrazione sintetica — valori didattici, non osservati — dati sintetici o parametri dichiarati; nessuna osservazione reale

    Input sigillati

    • predicted_risk_1=0.05 [probabilità]
    • predicted_risk_2=0.10 [probabilità]
    • predicted_risk_3=0.20 [probabilità]
    • predicted_risk_4=0.30 [probabilità]
    • predicted_risk_5=0.45 [probabilità]
    • predicted_risk_6=0.60 [probabilità]
    • predicted_risk_7=0.75 [probabilità]
    • predicted_risk_8=0.90 [probabilità]
    • outcome_1=0 [binario]
    • outcome_2=0 [binario]
    • outcome_3=0 [binario]
    • outcome_4=1 [binario]
    • outcome_5=0 [binario]
    • outcome_6=1 [binario]
    • outcome_7=1 [binario]
    • outcome_8=1 [binario]
    • temporal_holdout_declared=1 [binario]

    Risultati riproducibili

    • Brier=0.122188
    • log_loss=0.385684
    • threshold_grouped_average_precision=0.95
    • mean_predicted_minus_observed=-0.08125

    Dossier verificato: affermazioni collegate a fonti a livello di passaggio, calcolo Python/R riprodotto, limiti espliciti e revisione scientifica indipendente completata.

    11

    Ipotesi di validità

    • Ogni variabile era disponibile al tempo di previsione dichiarato e il holdout è successivo nel tempo?
    • I punteggi di previsione ex aequo sono raggruppati in modo coerente nel calcolo dell’average precision?
    • Calibrazione, discriminazione e utilità decisionale sono valutate separatamente su un campione abbastanza grande e rappresentativo del deployment?

    12

    Diagnostica e incertezza

    Diagnostica e incertezza

    Ogni variabile era disponibile al tempo di previsione dichiarato e il holdout è successivo nel tempo? · I punteggi di previsione ex aequo sono raggruppati in modo coerente nel calcolo dell’average precision? · Calibrazione, discriminazione e utilità decisionale sono valutate separatamente su un campione abbastanza grande e rappresentativo del deployment?

    Diagnostica limitata

    La convenzione di segno è previsione meno osservazione. L’average precision è raggruppata per soglia e non è una PR-AUC generica. Solo una minuscola illustrazione sintetica.

    Contratto esplicito d’incertezza · not_estimable_from_sealed_inputs

    Metodo: Valutazione esplicita della non stimabilità rispetto allo schema di input sigillato.

    Obiettivo: Incertezza campionaria delle metriche di calibrazione e discriminazione sul holdout.

    Evidenza del motore: diagnostic=average_precision_is_threshold_grouped_not_generic_pr_auc_tiny_synthetic_holdout_not_deployment_validation_or_causal_effect

    Interpretazione: Otto osservazioni sintetiche di holdout non bastano per intervalli di confidenza difendibili o incertezza per sottogruppo.

    Fermarsi se

    Affermare quale azione ridurrà il churn dal solo modello predittivo.

    13

    Interpretazione del risultato

    • Dare priorità a una revisione umana usando un rischio probabilistico calibrato.
    • Il risultato è condizionato da popolazione, orizzonte, specificazione e controlli dichiarati. Non va esteso a un’altra decisione senza nuova giustificazione.

    14

    Conclusione ammissibile e vietata

    Ammissibile

    Dare priorità a una revisione umana usando un rischio probabilistico calibrato.

    Vietato

    Affermare quale azione ridurrà il churn dal solo modello predittivo.

    15

    Decisione marketing possibile

    1. 01

      Dare priorità a una revisione umana usando un rischio probabilistico calibrato.

    2. 02

      Il risultato è condizionato da popolazione, orizzonte, specificazione e controlli dichiarati. Non va esteso a un’altra decisione senza nuova giustificazione.

    16

    Quando usare — quando fermarsi

    Usare se

    Dare priorità a una revisione umana usando un rischio probabilistico calibrato.

    Cliente × finestra delle variabili × orizzonte

    Fermarsi se

    Affermare quale azione ridurrà il churn dal solo modello predittivo.

    Alternative metodologiche

    • Usare curve di calibrazione con incertezza per fascia di rischio e sottogruppo.
    • Usare analisi ROC solo per domande di discriminazione, non di calibrazione.
    • Usare curve decisionali o analisi delle soglie sensibile ai costi quando l’obiettivo è l’utilità dell’azione.

    17

    Contratto di riproducibilità

    Python e R sono i riferimenti eseguibili. SPSS e SAS restano sintassi secondarie finché non sono verificati sugli stessi dati, specificazione e controlli.

    Il motore seleziona solo lo slice e il ramo esplicito di questa pagina. Hash, output e diagnostica restano sigillati nel dossier atomico; non è consentito alcun ramo generico di ripiego.

    Impronta dello slice: 05348452a7d6e9c0921fab5459274f7d09e9ba76b92659dd05112935133f85f7

    Modello formale

    temporal_holdout_declared = 1; Brier = mean((p_i−y_i)^2); log_loss = −mean(y_i×log(p_i)+(1−y_i)×log(1−p_i)); calibration_gap = mean(p_i)−mean(y_i); AP_threshold = grouped_average_precision(p_i, y_i)

    Dossier verificato: affermazioni collegate a fonti a livello di passaggio, calcolo Python/R riprodotto, limiti espliciti e revisione scientifica indipendente completata.

    18

    Risultato finale atteso

    1. 01

      Quali clienti hanno la probabilità di abbandono più elevata? — Cliente × finestra delle variabili × orizzonte

    2. 02

      p_i · y_i · Brier · log_loss · calibration_gap · AP_threshold

    3. 03

      temporal_holdout_declared = 1; Brier = mean((p_i−y_i)^2); log_loss = −mean(y_i×log(p_i)+(1−y_i)×log(1−p_i)); calibration_gap = mean(p_i)−mean(y_i); AP_threshold = grouped_average_precision(p_i, y_i)

    4. 04

      Ogni variabile era disponibile al tempo di previsione dichiarato e il holdout è successivo nel tempo? · I punteggi di previsione ex aequo sono raggruppati in modo coerente nel calcolo dell’average precision? · Calibrazione, discriminazione e utilità decisionale sono valutate separatamente su un campione abbastanza grande e rappresentativo del deployment?

    5. 05

      Dare priorità a una revisione umana usando un rischio probabilistico calibrato. / Affermare quale azione ridurrà il churn dal solo modello predittivo.

    19

    Fonti scientifiche e stato dell’evidenza

    Dossier verificato: affermazioni collegate a fonti a livello di passaggio, calcolo Python/R riprodotto, limiti espliciti e revisione scientifica indipendente completata.

    1. MSC-P029-C01 — I punteggi probabilistici vanno valutati su un set di test dichiarato.
    2. MSC-P029-C02 — La calibrazione riguarda la frequenza osservata dell’evento condizionata alla probabilità prevista.
    3. MSC-P029-C03 — La discriminazione ROC non determina la calibrazione delle probabilità.
    4. MSC-P029-C04 — Calibrazione e discriminazione richiedono diagnostiche distinte.
    5. MSC-P029-C05 — Brier e logaritmico sono regole di punteggio probabilistico proprie.
    6. MSC-P029-C06 — Obiettivi predittivi e causali modificano l’intero processo di modellazione, non solo la metrica finale.
    7. MSC-P029-C07 — L’accuratezza predittiva va valutata su osservazioni escluse dalla stima.
    8. MSC-P029-C08 — L’AP riportata usa la precisione specifica per soglia ponderata dagli incrementi di richiamo.
    9. MSC-P029-C09 — La convenzione eseguibile è non interpolata.
    10. MSC-P029-C10 — L’average precision non è indicata come PR-AUC trapezoidale generica.
    1. scikit-learn average_precision_score
    2. Dimitriadis et al., 2023
    3. Shmueli, 2010

    Connessioni metodologiche

    Territorio principaleScienza del cliente e della scelta: comportamento, valore ed eterogeneità

    Da leggere dopo

    MSC-P-026Logit vs Probit: come scegliere per una probabilità di acquisto?→MSC-P-018Regressione predittiva o causale: cosa si vuole stimare?→MSC-P-019Come diagnosticare una regressione di marketing prima di interpretarla?→