Quali clienti hanno la probabilità di abbandono più elevata?
Il churn si prevede per una data decisionale e un orizzonte fissi. Separazione temporale, prevenzione del leakage e calibrazione contano quanto la discriminazione.
Redazione scientifica : Marketing Science Center
Risposta diretta
Dare priorità a una revisione umana usando un rischio probabilistico calibrato.
Il churn si prevede per una data decisionale e un orizzonte fissi. Separazione temporale, prevenzione del leakage e calibrazione contano quanto la discriminazione.
scikit-learn average_precision_scoreDimitriadis et al., 2023
01
Sintesi operativa
Domanda scientifica e perimetro
Quali clienti hanno la probabilità di abbandono più elevata?
Ammissibile
Dare priorità a una revisione umana usando un rischio probabilistico calibrato.
Vietato
Affermare quale azione ridurrà il churn dal solo modello predittivo.
02
Tre livelli di lettura
- 01
Decisore — Collegare il risultato a decisione, soglia utile e costo dell’errore dichiarati.
- 02
Professionista — Fissare popolazione, unità, orizzonte, variabili disponibili e regola di analisi prima del calcolo.
- 03
Analista — Riprodurre il calcolo, quantificare l’incertezza e documentare diagnostica, fallimenti e sensibilità.
03
Situazione marketing concreta
Il churn si prevede per una data decisionale e un orizzonte fissi. Separazione temporale, prevenzione del leakage e calibrazione contano quanto la discriminazione.
04
Domanda scientifica e perimetro
Quali clienti hanno la probabilità di abbandono più elevata?
Rischio predittivo di abbandono su holdout temporale
Dati necessari
Cliente × finestra delle variabili × orizzonte
Popolazione, unità di analisi, data di origine e orizzonte devono essere dichiarati nel risultato. Senza di essi l’estimando cambia silenziosamente.
05
Perché un’analisi semplice può fallire
- Affermare quale azione ridurrà il churn dal solo modello predittivo.
- Disponibilità delle variabili al tempo decisionale
- Separazione temporale
- Calibrazione
06
Intuizione del metodo
Il metodo non trasforma automaticamente un’associazione in evidenza. Collega una domanda dichiarata a estimando, specificazione, dati compatibili e regola interpretativa limitata.
Rischio predittivo di abbandono su holdout temporale
07
Dati necessari
Dizionario dei simboli scientifici
p_i- Probabilità prevista di abbandono per il cliente i nel holdout, usando solo informazioni disponibili alla data decisionale. Unità:
probabilità· Tipo:numero strettamente compreso tra 0 e 1· Ruolo:input y_i- Esito binario osservato di abbandono entro l’orizzonte fissato per il cliente i nel holdout. Unità:
binario· Tipo:0 o 1· Ruolo:input Brier- Errore quadratico medio di probabilità sul holdout temporale. Unità:
probabilità al quadrato· Tipo:numero non negativo· Ruolo:output log_loss- Media della log-verosimiglianza negativa di Bernoulli sul holdout temporale. Unità:
nat per osservazione· Tipo:numero non negativo· Ruolo:output calibration_gap- Probabilità media prevista meno tasso osservato dell’evento; con questa convenzione un valore negativo indica sottoprevisione media. Unità:
probabilità· Tipo:numero in [−1, 1]· Ruolo:output AP_threshold- Average precision non interpolata calcolata sulle soglie di previsione uniche con punteggi ex aequo raggruppati; non una PR-AUC generica. Unità:
proporzione· Tipo:numero in [0, 1]· Ruolo:output
Input esatti e sigillati del motore
predicted_risk_1- Valore:
0.05· Unità:probabilità· Tipo:numero· Stato dei dati:sintetico predicted_risk_2- Valore:
0.10· Unità:probabilità· Tipo:numero· Stato dei dati:sintetico predicted_risk_3- Valore:
0.20· Unità:probabilità· Tipo:numero· Stato dei dati:sintetico predicted_risk_4- Valore:
0.30· Unità:probabilità· Tipo:numero· Stato dei dati:sintetico predicted_risk_5- Valore:
0.45· Unità:probabilità· Tipo:numero· Stato dei dati:sintetico predicted_risk_6- Valore:
0.60· Unità:probabilità· Tipo:numero· Stato dei dati:sintetico predicted_risk_7- Valore:
0.75· Unità:probabilità· Tipo:numero· Stato dei dati:sintetico predicted_risk_8- Valore:
0.90· Unità:probabilità· Tipo:numero· Stato dei dati:sintetico outcome_1- Valore:
0· Unità:binario· Tipo:intero· Stato dei dati:sintetico outcome_2- Valore:
0· Unità:binario· Tipo:intero· Stato dei dati:sintetico outcome_3- Valore:
0· Unità:binario· Tipo:intero· Stato dei dati:sintetico outcome_4- Valore:
1· Unità:binario· Tipo:intero· Stato dei dati:sintetico outcome_5- Valore:
0· Unità:binario· Tipo:intero· Stato dei dati:sintetico outcome_6- Valore:
1· Unità:binario· Tipo:intero· Stato dei dati:sintetico outcome_7- Valore:
1· Unità:binario· Tipo:intero· Stato dei dati:sintetico outcome_8- Valore:
1· Unità:binario· Tipo:intero· Stato dei dati:sintetico temporal_holdout_declared- Valore:
1· Unità:binario· Tipo:intero· Stato dei dati:parametro dichiarato
08
Modello formale
Modello formale
temporal_holdout_declared = 1; Brier = mean((p_i−y_i)^2); log_loss = −mean(y_i×log(p_i)+(1−y_i)×log(1−p_i)); calibration_gap = mean(p_i)−mean(y_i); AP_threshold = grouped_average_precision(p_i, y_i)Affermazioni supportate: MSC-P029-C01 · MSC-P029-C02 · MSC-P029-C03 · MSC-P029-C04 · MSC-P029-C05 · MSC-P029-C06 · MSC-P029-C07 · MSC-P029-C08 · MSC-P029-C09 · MSC-P029-C10
Domanda scientifica e perimetro
Rischio predittivo di abbandono su holdout temporale
09
Calcolo dichiarato
- 01
Fissare il holdout temporale e verificare probabilità ed esiti appaiati con entrambe le classi rappresentate.
- 02
Calcolare Brier, log loss, average precision raggruppata per soglia e scarto di calibrazione previsione meno osservazione.
- 03
Riportare separatamente discriminazione e calibrazione e qualificare il minuscolo holdout sintetico come insufficiente per il deployment o la validazione causale.
10
Esempio numerico o caso applicativo
Illustrazione sintetica — valori didattici, non osservati — dati sintetici o parametri dichiarati; nessuna osservazione reale
Input sigillati
predicted_risk_1=0.05 [probabilità]predicted_risk_2=0.10 [probabilità]predicted_risk_3=0.20 [probabilità]predicted_risk_4=0.30 [probabilità]predicted_risk_5=0.45 [probabilità]predicted_risk_6=0.60 [probabilità]predicted_risk_7=0.75 [probabilità]predicted_risk_8=0.90 [probabilità]outcome_1=0 [binario]outcome_2=0 [binario]outcome_3=0 [binario]outcome_4=1 [binario]outcome_5=0 [binario]outcome_6=1 [binario]outcome_7=1 [binario]outcome_8=1 [binario]temporal_holdout_declared=1 [binario]
Risultati riproducibili
Brier=0.122188log_loss=0.385684threshold_grouped_average_precision=0.95mean_predicted_minus_observed=-0.08125
Dossier verificato: affermazioni collegate a fonti a livello di passaggio, calcolo Python/R riprodotto, limiti espliciti e revisione scientifica indipendente completata.
11
Ipotesi di validità
- Ogni variabile era disponibile al tempo di previsione dichiarato e il holdout è successivo nel tempo?
- I punteggi di previsione ex aequo sono raggruppati in modo coerente nel calcolo dell’average precision?
- Calibrazione, discriminazione e utilità decisionale sono valutate separatamente su un campione abbastanza grande e rappresentativo del deployment?
12
Diagnostica e incertezza
Diagnostica e incertezza
Disponibilità delle variabili al tempo decisionale · Separazione temporale · Calibrazione · Discriminazione · Utilità decisionale
Diagnostica limitata
La convenzione di segno è previsione meno osservazione. L’average precision è raggruppata per soglia e non è una PR-AUC generica. Solo una minuscola illustrazione sintetica.
Contratto esplicito d’incertezza · not_estimable_from_sealed_inputs
Metodo : Valutazione esplicita della non stimabilità rispetto allo schema di input sigillato.
Obiettivo : Incertezza campionaria delle metriche di calibrazione e discriminazione sul holdout.
Evidenza del motore : diagnostic=average_precision_is_threshold_grouped_not_generic_pr_auc_tiny_synthetic_holdout_not_deployment_validation_or_causal_effect
Interpretazione : Otto osservazioni sintetiche di holdout non bastano per intervalli di confidenza difendibili o incertezza per sottogruppo.
Fermarsi se
Affermare quale azione ridurrà il churn dal solo modello predittivo.
13
Interpretazione del risultato
- Dare priorità a una revisione umana usando un rischio probabilistico calibrato.
- Il risultato è condizionato da popolazione, orizzonte, specificazione e controlli dichiarati. Non va esteso a un’altra decisione senza nuova giustificazione.
14
Conclusione ammissibile e vietata
Ammissibile
Dare priorità a una revisione umana usando un rischio probabilistico calibrato.
Vietato
Affermare quale azione ridurrà il churn dal solo modello predittivo.
15
Decisione marketing possibile
- 01
Dare priorità a una revisione umana usando un rischio probabilistico calibrato.
- 02
Il risultato è condizionato da popolazione, orizzonte, specificazione e controlli dichiarati. Non va esteso a un’altra decisione senza nuova giustificazione.
16
Quando usare — quando fermarsi
Usare se
Dare priorità a una revisione umana usando un rischio probabilistico calibrato.
Cliente × finestra delle variabili × orizzonte
Fermarsi se
Affermare quale azione ridurrà il churn dal solo modello predittivo.
Alternative metodologiche
- Usare curve di calibrazione con incertezza per fascia di rischio e sottogruppo.
- Usare analisi ROC solo per domande di discriminazione, non di calibrazione.
- Usare curve decisionali o analisi delle soglie sensibile ai costi quando l’obiettivo è l’utilità dell’azione.
17
Contratto di riproducibilità
Python e R sono i riferimenti eseguibili. SPSS e SAS restano sintassi secondarie finché non sono verificati sugli stessi dati, specificazione e controlli.
Il motore seleziona solo lo slice e il ramo esplicito di questa pagina. Hash, output e diagnostica restano sigillati nel dossier atomico; non è consentito alcun ramo generico di ripiego.
Impronta dello slice: 05348452a7d6e9c0921fab5459274f7d09e9ba76b92659dd05112935133f85f7
CSV · CC0
msc-validation-inputs-v1.csv ↓Python · MIT
msc-validation-reference-v1.py ↓R · MIT
msc-validation-reference-v1.R ↓SPSS / SAS · MIT · solo ispezione
SPSS ↓SAS ↓Modello formale
temporal_holdout_declared = 1; Brier = mean((p_i−y_i)^2); log_loss = −mean(y_i×log(p_i)+(1−y_i)×log(1−p_i)); calibration_gap = mean(p_i)−mean(y_i); AP_threshold = grouped_average_precision(p_i, y_i)Dossier verificato: affermazioni collegate a fonti a livello di passaggio, calcolo Python/R riprodotto, limiti espliciti e revisione scientifica indipendente completata.
18
Risultato finale atteso
- 01
Quali clienti hanno la probabilità di abbandono più elevata? —
Cliente × finestra delle variabili × orizzonte - 02
p_i · y_i · Brier · log_loss · calibration_gap · AP_threshold
- 03
temporal_holdout_declared = 1; Brier = mean((p_i−y_i)^2); log_loss = −mean(y_i×log(p_i)+(1−y_i)×log(1−p_i)); calibration_gap = mean(p_i)−mean(y_i); AP_threshold = grouped_average_precision(p_i, y_i) - 04
Disponibilità delle variabili al tempo decisionale · Separazione temporale · Calibrazione · Discriminazione · Utilità decisionale
- 05
Dare priorità a una revisione umana usando un rischio probabilistico calibrato. / Affermare quale azione ridurrà il churn dal solo modello predittivo.
19
Fonti scientifiche e stato dell’evidenza
Dossier verificato: affermazioni collegate a fonti a livello di passaggio, calcolo Python/R riprodotto, limiti espliciti e revisione scientifica indipendente completata.
MSC-P029-C01— I punteggi probabilistici vanno valutati su un set di test dichiarato.MSC-P029-C02— La calibrazione riguarda la frequenza osservata dell’evento condizionata alla probabilità prevista.MSC-P029-C03— La discriminazione ROC non determina la calibrazione delle probabilità.MSC-P029-C04— Calibrazione e discriminazione richiedono diagnostiche distinte.MSC-P029-C05— Brier e logaritmico sono punteggi probabilistici propri.MSC-P029-C06— Obiettivi predittivi e causali modificano l’intero processo di modellazione, non solo la metrica finale.MSC-P029-C07— L’accuratezza predittiva va valutata su osservazioni escluse dalla stima.MSC-P029-C08— L’AP riportata usa la precisione specifica per soglia ponderata dagli incrementi di richiamo.MSC-P029-C09— La convenzione eseguibile è non interpolata.MSC-P029-C10— L’average precision non è indicata come PR-AUC trapezoidale generica.
Connessioni metodologiche