Welche Kunden haben die höchste Abwanderungswahrscheinlichkeit?
Churn wird für einen festen Entscheidungszeitpunkt und Horizont prognostiziert. Zeitliche Trennung, Leakage-Vermeidung und Kalibrierung sind ebenso wichtig wie Diskrimination.
Wissenschaftliche Redaktion: Marketing Science Center
Direkte Antwort
Menschliche Prüfung anhand eines kalibrierten probabilistischen Risikos priorisieren.
Churn wird für einen festen Entscheidungszeitpunkt und Horizont prognostiziert. Zeitliche Trennung, Leakage-Vermeidung und Kalibrierung sind ebenso wichtig wie Diskrimination.
scikit-learn average_precision_scoreDimitriadis et al., 2023
01
Operative Zusammenfassung
Wissenschaftliche Frage und Geltungsbereich
Welche Kunden haben die höchste Abwanderungswahrscheinlichkeit?
Vertretbar
Menschliche Prüfung anhand eines kalibrierten probabilistischen Risikos priorisieren.
Unzulässig
Aus dem Prognosemodell allein ableiten, welche Maßnahme Churn senkt.
02
Drei Leseebenen
- 01
Entscheidungsebene — Ergebnis mit deklarierter Entscheidung, Nutzenschwelle und Fehlerkosten verbinden.
- 02
Praxis — Population, Einheit, Horizont, verfügbare Variablen und Analyseregel vor der Berechnung festlegen.
- 03
Analyse — Berechnung reproduzieren, Unsicherheit quantifizieren und Diagnosen, Fehlschläge sowie Sensitivitäten dokumentieren.
03
Konkrete Marketingsituation
Churn wird für einen festen Entscheidungszeitpunkt und Horizont prognostiziert. Zeitliche Trennung, Leakage-Vermeidung und Kalibrierung sind ebenso wichtig wie Diskrimination.
04
Wissenschaftliche Frage und Geltungsbereich
Welche Kunden haben die höchste Abwanderungswahrscheinlichkeit?
Prädiktives Abwanderungsrisiko im zeitlichen Holdout
Benötigte Daten
Kunde × Merkmalsfenster × Horizont
Population, Analyseeinheit, Ursprungsdatum und Horizont müssen im Ergebnis deklariert sein. Andernfalls ändert sich der Estimand unbemerkt.
05
Warum eine einfache Analyse scheitern kann
- Aus dem Prognosemodell allein ableiten, welche Maßnahme Churn senkt.
- War jedes Merkmal zum deklarierten Prognosezeitpunkt verfügbar und liegt der Holdout später?
- Werden gleiche Prognosewerte bei der Average-Precision-Berechnung konsistent gruppiert?
- Werden Kalibrierung, Diskriminierung und Entscheidungsnutzen getrennt in einer ausreichend großen, einsatzrepräsentativen Stichprobe bewertet?
06
Intuition der Methode
Die Methode macht aus einer Assoziation nicht automatisch Evidenz. Sie verbindet eine deklarierte Frage mit Estimand, Spezifikation, kompatiblen Daten und begrenzter Interpretationsregel.
Prädiktives Abwanderungsrisiko im zeitlichen Holdout
07
Benötigte Daten
Wörterbuch wissenschaftlicher Symbole
p_i- Vorhergesagte Abwanderungswahrscheinlichkeit für Holdout-Kunde i nur mit am Entscheidungsdatum verfügbaren Informationen. Einheit:
Wahrscheinlichkeit· Typ:Zahl strikt zwischen 0 und 1· Rolle:Eingabe y_i- Beobachtetes binäres Abwanderungsergebnis bis zum festen Horizont für Holdout-Kunde i. Einheit:
binär· Typ:0 oder 1· Rolle:Eingabe Brier- Mittlerer quadrierter Wahrscheinlichkeitsfehler im zeitlichen Holdout. Einheit:
quadrierte Wahrscheinlichkeit· Typ:nichtnegative Zahl· Rolle:Ausgabe log_loss- Mittlere negative Bernoulli-Log-Likelihood im zeitlichen Holdout. Einheit:
Nat je Beobachtung· Typ:nichtnegative Zahl· Rolle:Ausgabe calibration_gap- Mittlere vorhergesagte Wahrscheinlichkeit minus beobachtete Ereignisrate; negativ bedeutet bei dieser Konvention durchschnittliche Unterprognose. Einheit:
Wahrscheinlichkeit· Typ:Zahl in [−1, 1]· Rolle:Ausgabe AP_threshold- Nicht interpolierte Average Precision über eindeutige Prognoseschwellen mit gruppierten gleichen Scores; keine generische PR-AUC. Einheit:
Anteil· Typ:Zahl in [0, 1]· Rolle:Ausgabe
Exakte versiegelte Engine-Eingaben
predicted_risk_1- Wert:
0.05· Einheit:Wahrscheinlichkeit· Typ:Zahl· Datenstatus:synthetisch predicted_risk_2- Wert:
0.10· Einheit:Wahrscheinlichkeit· Typ:Zahl· Datenstatus:synthetisch predicted_risk_3- Wert:
0.20· Einheit:Wahrscheinlichkeit· Typ:Zahl· Datenstatus:synthetisch predicted_risk_4- Wert:
0.30· Einheit:Wahrscheinlichkeit· Typ:Zahl· Datenstatus:synthetisch predicted_risk_5- Wert:
0.45· Einheit:Wahrscheinlichkeit· Typ:Zahl· Datenstatus:synthetisch predicted_risk_6- Wert:
0.60· Einheit:Wahrscheinlichkeit· Typ:Zahl· Datenstatus:synthetisch predicted_risk_7- Wert:
0.75· Einheit:Wahrscheinlichkeit· Typ:Zahl· Datenstatus:synthetisch predicted_risk_8- Wert:
0.90· Einheit:Wahrscheinlichkeit· Typ:Zahl· Datenstatus:synthetisch outcome_1- Wert:
0· Einheit:binär· Typ:Ganzzahl· Datenstatus:synthetisch outcome_2- Wert:
0· Einheit:binär· Typ:Ganzzahl· Datenstatus:synthetisch outcome_3- Wert:
0· Einheit:binär· Typ:Ganzzahl· Datenstatus:synthetisch outcome_4- Wert:
1· Einheit:binär· Typ:Ganzzahl· Datenstatus:synthetisch outcome_5- Wert:
0· Einheit:binär· Typ:Ganzzahl· Datenstatus:synthetisch outcome_6- Wert:
1· Einheit:binär· Typ:Ganzzahl· Datenstatus:synthetisch outcome_7- Wert:
1· Einheit:binär· Typ:Ganzzahl· Datenstatus:synthetisch outcome_8- Wert:
1· Einheit:binär· Typ:Ganzzahl· Datenstatus:synthetisch temporal_holdout_declared- Wert:
1· Einheit:binär· Typ:Ganzzahl· Datenstatus:deklarierter Parameter
08
Formales Modell
Formales Modell
temporal_holdout_declared = 1; Brier = mean((p_i−y_i)^2); log_loss = −mean(y_i×log(p_i)+(1−y_i)×log(1−p_i)); calibration_gap = mean(p_i)−mean(y_i); AP_threshold = grouped_average_precision(p_i, y_i)Belegte Aussagen: MSC-P029-C01 · MSC-P029-C02 · MSC-P029-C03 · MSC-P029-C04 · MSC-P029-C05 · MSC-P029-C06 · MSC-P029-C07 · MSC-P029-C08 · MSC-P029-C09 · MSC-P029-C10
Wissenschaftliche Frage und Geltungsbereich
Prädiktives Abwanderungsrisiko im zeitlichen Holdout
09
Deklarierte Berechnung
- 01
Zeitlichen Holdout festschreiben und gepaarte Wahrscheinlichkeiten und Ergebnisse mit beiden vertretenen Klassen prüfen.
- 02
Brier-Score, Log Loss, schwellenweise gruppierte Average Precision und die Kalibrierungslücke Prognose minus Beobachtung berechnen.
- 03
Diskriminierung und Kalibrierung getrennt berichten und den winzigen synthetischen Holdout als unzureichend für Einsatz- oder Kausalvalidierung kennzeichnen.
10
Zahlenbeispiel oder Anwendungsfall
Synthetische Illustration — Lehrwerte, nicht beobachtet — synthetische Daten oder deklarierte Parameter; keine realen Beobachtungen
Versiegelte Eingaben
predicted_risk_1=0.05 [Wahrscheinlichkeit]predicted_risk_2=0.10 [Wahrscheinlichkeit]predicted_risk_3=0.20 [Wahrscheinlichkeit]predicted_risk_4=0.30 [Wahrscheinlichkeit]predicted_risk_5=0.45 [Wahrscheinlichkeit]predicted_risk_6=0.60 [Wahrscheinlichkeit]predicted_risk_7=0.75 [Wahrscheinlichkeit]predicted_risk_8=0.90 [Wahrscheinlichkeit]outcome_1=0 [binär]outcome_2=0 [binär]outcome_3=0 [binär]outcome_4=1 [binär]outcome_5=0 [binär]outcome_6=1 [binär]outcome_7=1 [binär]outcome_8=1 [binär]temporal_holdout_declared=1 [binär]
Reproduzierbare Ergebnisse
Brier=0.122188log_loss=0.385684threshold_grouped_average_precision=0.95mean_predicted_minus_observed=-0.08125
Geprüftes Dossier: Aussagen sind mit Quellen auf Passagebene verknüpft, die Python/R-Berechnung ist reproduziert, Grenzen sind explizit und die unabhängige wissenschaftliche Prüfung ist abgeschlossen.
11
Validitätsannahmen
- War jedes Merkmal zum deklarierten Prognosezeitpunkt verfügbar und liegt der Holdout später?
- Werden gleiche Prognosewerte bei der Average-Precision-Berechnung konsistent gruppiert?
- Werden Kalibrierung, Diskriminierung und Entscheidungsnutzen getrennt in einer ausreichend großen, einsatzrepräsentativen Stichprobe bewertet?
12
Diagnostik und Unsicherheit
Diagnostik und Unsicherheit
War jedes Merkmal zum deklarierten Prognosezeitpunkt verfügbar und liegt der Holdout später? · Werden gleiche Prognosewerte bei der Average-Precision-Berechnung konsistent gruppiert? · Werden Kalibrierung, Diskriminierung und Entscheidungsnutzen getrennt in einer ausreichend großen, einsatzrepräsentativen Stichprobe bewertet?
Begrenzte Diagnose
Die Vorzeichenkonvention ist Prognose minus Beobachtung. Average Precision ist schwellenweise gruppiert und keine generische PR-AUC. Nur eine winzige synthetische Illustration.
Expliziter Unsicherheitsvertrag · not_estimable_from_sealed_inputs
Methode: Explizite Prüfung der Nichtschätzbarkeit anhand des versiegelten Eingabeschemas.
Ziel: Stichprobenunsicherheit der Holdout-Kalibrierungs- und Diskriminierungsmetriken.
Engine-Nachweis: diagnostic=average_precision_is_threshold_grouped_not_generic_pr_auc_tiny_synthetic_holdout_not_deployment_validation_or_causal_effect
Interpretation: Acht synthetische Holdout-Beobachtungen reichen nicht für vertretbare Konfidenzintervalle oder Untergruppenunsicherheit.
Stoppen, wenn
Aus dem Prognosemodell allein ableiten, welche Maßnahme Churn senkt.
13
Ergebnisinterpretation
- Menschliche Prüfung anhand eines kalibrierten probabilistischen Risikos priorisieren.
- Das Ergebnis gilt bedingt auf deklarierte Population, Horizont, Spezifikation und Diagnosen. Es darf nicht ohne neue Begründung auf eine andere Entscheidung übertragen werden.
14
Vertretbare und unzulässige Schlussfolgerung
Vertretbar
Menschliche Prüfung anhand eines kalibrierten probabilistischen Risikos priorisieren.
Unzulässig
Aus dem Prognosemodell allein ableiten, welche Maßnahme Churn senkt.
15
Mögliche Marketingentscheidung
- 01
Menschliche Prüfung anhand eines kalibrierten probabilistischen Risikos priorisieren.
- 02
Das Ergebnis gilt bedingt auf deklarierte Population, Horizont, Spezifikation und Diagnosen. Es darf nicht ohne neue Begründung auf eine andere Entscheidung übertragen werden.
16
Wann einsetzen — wann stoppen
Einsetzen, wenn
Menschliche Prüfung anhand eines kalibrierten probabilistischen Risikos priorisieren.
Kunde × Merkmalsfenster × Horizont
Stoppen, wenn
Aus dem Prognosemodell allein ableiten, welche Maßnahme Churn senkt.
Methodische Alternativen
- Kalibrierungskurven mit Unsicherheit nach Risikobereich und Untergruppe verwenden.
- ROC-Analyse nur für Diskriminierungsfragen, nicht für Kalibrierung nutzen.
- Entscheidungskurven oder kostensensitive Schwellenanalysen verwenden, wenn Handlungsnutzen das Ziel ist.
17
Reproduzierbarkeitsvertrag
Python und R sind die ausführbaren Referenzen. SPSS und SAS bleiben Sekundärsyntax, bis sie mit denselben Daten, derselben Spezifikation und denselben Diagnosen geprüft sind.
Die Engine wählt ausschließlich Slice und expliziten Zweig dieser Seite. Hash, Ausgaben und Diagnosen bleiben im atomaren Dossier versiegelt; ein generischer Fallback-Zweig ist unzulässig.
Slice-Fingerabdruck: 05348452a7d6e9c0921fab5459274f7d09e9ba76b92659dd05112935133f85f7
CSV · CC0
msc-validation-inputs-v1.csv ↓Python · MIT
msc-validation-reference-v1.py ↓R · MIT
msc-validation-reference-v1.R ↓SPSS / SAS · MIT · nur zur Inspektion
SPSS ↓SAS ↓Formales Modell
temporal_holdout_declared = 1; Brier = mean((p_i−y_i)^2); log_loss = −mean(y_i×log(p_i)+(1−y_i)×log(1−p_i)); calibration_gap = mean(p_i)−mean(y_i); AP_threshold = grouped_average_precision(p_i, y_i)Geprüftes Dossier: Aussagen sind mit Quellen auf Passagebene verknüpft, die Python/R-Berechnung ist reproduziert, Grenzen sind explizit und die unabhängige wissenschaftliche Prüfung ist abgeschlossen.
18
Erwartetes Endergebnis
- 01
Welche Kunden haben die höchste Abwanderungswahrscheinlichkeit? —
Kunde × Merkmalsfenster × Horizont - 02
p_i · y_i · Brier · log_loss · calibration_gap · AP_threshold
- 03
temporal_holdout_declared = 1; Brier = mean((p_i−y_i)^2); log_loss = −mean(y_i×log(p_i)+(1−y_i)×log(1−p_i)); calibration_gap = mean(p_i)−mean(y_i); AP_threshold = grouped_average_precision(p_i, y_i) - 04
War jedes Merkmal zum deklarierten Prognosezeitpunkt verfügbar und liegt der Holdout später? · Werden gleiche Prognosewerte bei der Average-Precision-Berechnung konsistent gruppiert? · Werden Kalibrierung, Diskriminierung und Entscheidungsnutzen getrennt in einer ausreichend großen, einsatzrepräsentativen Stichprobe bewertet?
- 05
Menschliche Prüfung anhand eines kalibrierten probabilistischen Risikos priorisieren. / Aus dem Prognosemodell allein ableiten, welche Maßnahme Churn senkt.
19
Wissenschaftliche Quellen und Evidenzstatus
Geprüftes Dossier: Aussagen sind mit Quellen auf Passagebene verknüpft, die Python/R-Berechnung ist reproduziert, Grenzen sind explizit und die unabhängige wissenschaftliche Prüfung ist abgeschlossen.
MSC-P029-C01— Probabilistische Scores sollten auf einem deklarierten Testsatz bewertet werden.MSC-P029-C02— Kalibrierung betrifft die beobachtete Ereignishäufigkeit bedingt auf die vorhergesagte Wahrscheinlichkeit.MSC-P029-C03— ROC-basierte Diskriminierung bestimmt nicht die Wahrscheinlichkeitskalibrierung.MSC-P029-C04— Kalibrierung und Diskriminierung erfordern getrennte Diagnosen.MSC-P029-C05— Brier- und logarithmischer Score sind echte Wahrscheinlichkeits-Bewertungsregeln.MSC-P029-C06— Prädiktive und kausale Ziele verändern den gesamten Modellierungsprozess, nicht nur die Endmetrik.MSC-P029-C07— Prädiktive Genauigkeit ist an von der Anpassung ausgeschlossenen Beobachtungen zu bewerten.MSC-P029-C08— Die berichtete AP nutzt schwellenbezogene Präzision, gewichtet mit Recall-Zuwächsen.MSC-P029-C09— Die ausführbare Konvention ist nicht interpoliert.MSC-P029-C10— Average Precision wird nicht als generische trapezförmige PR-AUC bezeichnet.
Methodische Verbindungen