Research & Evidence

Methode suchen

Titel, Fragen, Gebiete und MSC-Kennungen durchsuchen.

    ← Alle Methoden
    METHODEN-DOSSIERMSC-P-029KundenforschungGeprüftes wissenschaftliches Dossier

    Welche Kunden haben die höchste Abwanderungswahrscheinlichkeit?

    Churn wird für einen festen Entscheidungszeitpunkt und Horizont prognostiziert. Zeitliche Trennung, Leakage-Vermeidung und Kalibrierung sind ebenso wichtig wie Diskrimination.

    Wissenschaftliche Redaktion: Marketing Science Center

    Direkte Antwort

    Menschliche Prüfung anhand eines kalibrierten probabilistischen Risikos priorisieren.

    Churn wird für einen festen Entscheidungszeitpunkt und Horizont prognostiziert. Zeitliche Trennung, Leakage-Vermeidung und Kalibrierung sind ebenso wichtig wie Diskrimination.

    scikit-learn average_precision_scoreDimitriadis et al., 2023

    01

    Operative Zusammenfassung

    Wissenschaftliche Frage und Geltungsbereich

    Welche Kunden haben die höchste Abwanderungswahrscheinlichkeit?

    Vertretbar

    Menschliche Prüfung anhand eines kalibrierten probabilistischen Risikos priorisieren.

    Unzulässig

    Aus dem Prognosemodell allein ableiten, welche Maßnahme Churn senkt.

    02

    Drei Leseebenen

    1. 01

      Entscheidungsebene — Ergebnis mit deklarierter Entscheidung, Nutzenschwelle und Fehlerkosten verbinden.

    2. 02

      Praxis — Population, Einheit, Horizont, verfügbare Variablen und Analyseregel vor der Berechnung festlegen.

    3. 03

      Analyse — Berechnung reproduzieren, Unsicherheit quantifizieren und Diagnosen, Fehlschläge sowie Sensitivitäten dokumentieren.

    03

    Konkrete Marketingsituation

    Churn wird für einen festen Entscheidungszeitpunkt und Horizont prognostiziert. Zeitliche Trennung, Leakage-Vermeidung und Kalibrierung sind ebenso wichtig wie Diskrimination.

    04

    Wissenschaftliche Frage und Geltungsbereich

    Welche Kunden haben die höchste Abwanderungswahrscheinlichkeit?

    Prädiktives Abwanderungsrisiko im zeitlichen Holdout

    Benötigte Daten

    Kunde × Merkmalsfenster × Horizont

    Population, Analyseeinheit, Ursprungsdatum und Horizont müssen im Ergebnis deklariert sein. Andernfalls ändert sich der Estimand unbemerkt.

    05

    Warum eine einfache Analyse scheitern kann

    • Aus dem Prognosemodell allein ableiten, welche Maßnahme Churn senkt.
    • War jedes Merkmal zum deklarierten Prognosezeitpunkt verfügbar und liegt der Holdout später?
    • Werden gleiche Prognosewerte bei der Average-Precision-Berechnung konsistent gruppiert?
    • Werden Kalibrierung, Diskriminierung und Entscheidungsnutzen getrennt in einer ausreichend großen, einsatzrepräsentativen Stichprobe bewertet?

    06

    Intuition der Methode

    Die Methode macht aus einer Assoziation nicht automatisch Evidenz. Sie verbindet eine deklarierte Frage mit Estimand, Spezifikation, kompatiblen Daten und begrenzter Interpretationsregel.

    Prädiktives Abwanderungsrisiko im zeitlichen Holdout

    07

    Benötigte Daten

    Wörterbuch wissenschaftlicher Symbole

    p_i
    Vorhergesagte Abwanderungswahrscheinlichkeit für Holdout-Kunde i nur mit am Entscheidungsdatum verfügbaren Informationen. Einheit: Wahrscheinlichkeit · Typ: Zahl strikt zwischen 0 und 1 · Rolle: Eingabe
    y_i
    Beobachtetes binäres Abwanderungsergebnis bis zum festen Horizont für Holdout-Kunde i. Einheit: binär · Typ: 0 oder 1 · Rolle: Eingabe
    Brier
    Mittlerer quadrierter Wahrscheinlichkeitsfehler im zeitlichen Holdout. Einheit: quadrierte Wahrscheinlichkeit · Typ: nichtnegative Zahl · Rolle: Ausgabe
    log_loss
    Mittlere negative Bernoulli-Log-Likelihood im zeitlichen Holdout. Einheit: Nat je Beobachtung · Typ: nichtnegative Zahl · Rolle: Ausgabe
    calibration_gap
    Mittlere vorhergesagte Wahrscheinlichkeit minus beobachtete Ereignisrate; negativ bedeutet bei dieser Konvention durchschnittliche Unterprognose. Einheit: Wahrscheinlichkeit · Typ: Zahl in [−1, 1] · Rolle: Ausgabe
    AP_threshold
    Nicht interpolierte Average Precision über eindeutige Prognoseschwellen mit gruppierten gleichen Scores; keine generische PR-AUC. Einheit: Anteil · Typ: Zahl in [0, 1] · Rolle: Ausgabe

    Exakte versiegelte Engine-Eingaben

    predicted_risk_1
    Wert: 0.05 · Einheit: Wahrscheinlichkeit · Typ: Zahl · Datenstatus: synthetisch
    predicted_risk_2
    Wert: 0.10 · Einheit: Wahrscheinlichkeit · Typ: Zahl · Datenstatus: synthetisch
    predicted_risk_3
    Wert: 0.20 · Einheit: Wahrscheinlichkeit · Typ: Zahl · Datenstatus: synthetisch
    predicted_risk_4
    Wert: 0.30 · Einheit: Wahrscheinlichkeit · Typ: Zahl · Datenstatus: synthetisch
    predicted_risk_5
    Wert: 0.45 · Einheit: Wahrscheinlichkeit · Typ: Zahl · Datenstatus: synthetisch
    predicted_risk_6
    Wert: 0.60 · Einheit: Wahrscheinlichkeit · Typ: Zahl · Datenstatus: synthetisch
    predicted_risk_7
    Wert: 0.75 · Einheit: Wahrscheinlichkeit · Typ: Zahl · Datenstatus: synthetisch
    predicted_risk_8
    Wert: 0.90 · Einheit: Wahrscheinlichkeit · Typ: Zahl · Datenstatus: synthetisch
    outcome_1
    Wert: 0 · Einheit: binär · Typ: Ganzzahl · Datenstatus: synthetisch
    outcome_2
    Wert: 0 · Einheit: binär · Typ: Ganzzahl · Datenstatus: synthetisch
    outcome_3
    Wert: 0 · Einheit: binär · Typ: Ganzzahl · Datenstatus: synthetisch
    outcome_4
    Wert: 1 · Einheit: binär · Typ: Ganzzahl · Datenstatus: synthetisch
    outcome_5
    Wert: 0 · Einheit: binär · Typ: Ganzzahl · Datenstatus: synthetisch
    outcome_6
    Wert: 1 · Einheit: binär · Typ: Ganzzahl · Datenstatus: synthetisch
    outcome_7
    Wert: 1 · Einheit: binär · Typ: Ganzzahl · Datenstatus: synthetisch
    outcome_8
    Wert: 1 · Einheit: binär · Typ: Ganzzahl · Datenstatus: synthetisch
    temporal_holdout_declared
    Wert: 1 · Einheit: binär · Typ: Ganzzahl · Datenstatus: deklarierter Parameter

    08

    Formales Modell

    Formales Modell

    temporal_holdout_declared = 1; Brier = mean((p_i−y_i)^2); log_loss = −mean(y_i×log(p_i)+(1−y_i)×log(1−p_i)); calibration_gap = mean(p_i)−mean(y_i); AP_threshold = grouped_average_precision(p_i, y_i)

    Belegte Aussagen: MSC-P029-C01 · MSC-P029-C02 · MSC-P029-C03 · MSC-P029-C04 · MSC-P029-C05 · MSC-P029-C06 · MSC-P029-C07 · MSC-P029-C08 · MSC-P029-C09 · MSC-P029-C10

    Wissenschaftliche Frage und Geltungsbereich

    Prädiktives Abwanderungsrisiko im zeitlichen Holdout

    09

    Deklarierte Berechnung

    1. 01

      Zeitlichen Holdout festschreiben und gepaarte Wahrscheinlichkeiten und Ergebnisse mit beiden vertretenen Klassen prüfen.

    2. 02

      Brier-Score, Log Loss, schwellenweise gruppierte Average Precision und die Kalibrierungslücke Prognose minus Beobachtung berechnen.

    3. 03

      Diskriminierung und Kalibrierung getrennt berichten und den winzigen synthetischen Holdout als unzureichend für Einsatz- oder Kausalvalidierung kennzeichnen.

    10

    Zahlenbeispiel oder Anwendungsfall

    Synthetische Illustration — Lehrwerte, nicht beobachtet — synthetische Daten oder deklarierte Parameter; keine realen Beobachtungen

    Versiegelte Eingaben

    • predicted_risk_1=0.05 [Wahrscheinlichkeit]
    • predicted_risk_2=0.10 [Wahrscheinlichkeit]
    • predicted_risk_3=0.20 [Wahrscheinlichkeit]
    • predicted_risk_4=0.30 [Wahrscheinlichkeit]
    • predicted_risk_5=0.45 [Wahrscheinlichkeit]
    • predicted_risk_6=0.60 [Wahrscheinlichkeit]
    • predicted_risk_7=0.75 [Wahrscheinlichkeit]
    • predicted_risk_8=0.90 [Wahrscheinlichkeit]
    • outcome_1=0 [binär]
    • outcome_2=0 [binär]
    • outcome_3=0 [binär]
    • outcome_4=1 [binär]
    • outcome_5=0 [binär]
    • outcome_6=1 [binär]
    • outcome_7=1 [binär]
    • outcome_8=1 [binär]
    • temporal_holdout_declared=1 [binär]

    Reproduzierbare Ergebnisse

    • Brier=0.122188
    • log_loss=0.385684
    • threshold_grouped_average_precision=0.95
    • mean_predicted_minus_observed=-0.08125

    Geprüftes Dossier: Aussagen sind mit Quellen auf Passagebene verknüpft, die Python/R-Berechnung ist reproduziert, Grenzen sind explizit und die unabhängige wissenschaftliche Prüfung ist abgeschlossen.

    11

    Validitätsannahmen

    • War jedes Merkmal zum deklarierten Prognosezeitpunkt verfügbar und liegt der Holdout später?
    • Werden gleiche Prognosewerte bei der Average-Precision-Berechnung konsistent gruppiert?
    • Werden Kalibrierung, Diskriminierung und Entscheidungsnutzen getrennt in einer ausreichend großen, einsatzrepräsentativen Stichprobe bewertet?

    12

    Diagnostik und Unsicherheit

    Diagnostik und Unsicherheit

    War jedes Merkmal zum deklarierten Prognosezeitpunkt verfügbar und liegt der Holdout später? · Werden gleiche Prognosewerte bei der Average-Precision-Berechnung konsistent gruppiert? · Werden Kalibrierung, Diskriminierung und Entscheidungsnutzen getrennt in einer ausreichend großen, einsatzrepräsentativen Stichprobe bewertet?

    Begrenzte Diagnose

    Die Vorzeichenkonvention ist Prognose minus Beobachtung. Average Precision ist schwellenweise gruppiert und keine generische PR-AUC. Nur eine winzige synthetische Illustration.

    Expliziter Unsicherheitsvertrag · not_estimable_from_sealed_inputs

    Methode: Explizite Prüfung der Nichtschätzbarkeit anhand des versiegelten Eingabeschemas.

    Ziel: Stichprobenunsicherheit der Holdout-Kalibrierungs- und Diskriminierungsmetriken.

    Engine-Nachweis: diagnostic=average_precision_is_threshold_grouped_not_generic_pr_auc_tiny_synthetic_holdout_not_deployment_validation_or_causal_effect

    Interpretation: Acht synthetische Holdout-Beobachtungen reichen nicht für vertretbare Konfidenzintervalle oder Untergruppenunsicherheit.

    Stoppen, wenn

    Aus dem Prognosemodell allein ableiten, welche Maßnahme Churn senkt.

    13

    Ergebnisinterpretation

    • Menschliche Prüfung anhand eines kalibrierten probabilistischen Risikos priorisieren.
    • Das Ergebnis gilt bedingt auf deklarierte Population, Horizont, Spezifikation und Diagnosen. Es darf nicht ohne neue Begründung auf eine andere Entscheidung übertragen werden.

    14

    Vertretbare und unzulässige Schlussfolgerung

    Vertretbar

    Menschliche Prüfung anhand eines kalibrierten probabilistischen Risikos priorisieren.

    Unzulässig

    Aus dem Prognosemodell allein ableiten, welche Maßnahme Churn senkt.

    15

    Mögliche Marketingentscheidung

    1. 01

      Menschliche Prüfung anhand eines kalibrierten probabilistischen Risikos priorisieren.

    2. 02

      Das Ergebnis gilt bedingt auf deklarierte Population, Horizont, Spezifikation und Diagnosen. Es darf nicht ohne neue Begründung auf eine andere Entscheidung übertragen werden.

    16

    Wann einsetzen — wann stoppen

    Einsetzen, wenn

    Menschliche Prüfung anhand eines kalibrierten probabilistischen Risikos priorisieren.

    Kunde × Merkmalsfenster × Horizont

    Stoppen, wenn

    Aus dem Prognosemodell allein ableiten, welche Maßnahme Churn senkt.

    Methodische Alternativen

    • Kalibrierungskurven mit Unsicherheit nach Risikobereich und Untergruppe verwenden.
    • ROC-Analyse nur für Diskriminierungsfragen, nicht für Kalibrierung nutzen.
    • Entscheidungskurven oder kostensensitive Schwellenanalysen verwenden, wenn Handlungsnutzen das Ziel ist.

    17

    Reproduzierbarkeitsvertrag

    Python und R sind die ausführbaren Referenzen. SPSS und SAS bleiben Sekundärsyntax, bis sie mit denselben Daten, derselben Spezifikation und denselben Diagnosen geprüft sind.

    Die Engine wählt ausschließlich Slice und expliziten Zweig dieser Seite. Hash, Ausgaben und Diagnosen bleiben im atomaren Dossier versiegelt; ein generischer Fallback-Zweig ist unzulässig.

    Slice-Fingerabdruck: 05348452a7d6e9c0921fab5459274f7d09e9ba76b92659dd05112935133f85f7

    Formales Modell

    temporal_holdout_declared = 1; Brier = mean((p_i−y_i)^2); log_loss = −mean(y_i×log(p_i)+(1−y_i)×log(1−p_i)); calibration_gap = mean(p_i)−mean(y_i); AP_threshold = grouped_average_precision(p_i, y_i)

    Geprüftes Dossier: Aussagen sind mit Quellen auf Passagebene verknüpft, die Python/R-Berechnung ist reproduziert, Grenzen sind explizit und die unabhängige wissenschaftliche Prüfung ist abgeschlossen.

    18

    Erwartetes Endergebnis

    1. 01

      Welche Kunden haben die höchste Abwanderungswahrscheinlichkeit? — Kunde × Merkmalsfenster × Horizont

    2. 02

      p_i · y_i · Brier · log_loss · calibration_gap · AP_threshold

    3. 03

      temporal_holdout_declared = 1; Brier = mean((p_i−y_i)^2); log_loss = −mean(y_i×log(p_i)+(1−y_i)×log(1−p_i)); calibration_gap = mean(p_i)−mean(y_i); AP_threshold = grouped_average_precision(p_i, y_i)

    4. 04

      War jedes Merkmal zum deklarierten Prognosezeitpunkt verfügbar und liegt der Holdout später? · Werden gleiche Prognosewerte bei der Average-Precision-Berechnung konsistent gruppiert? · Werden Kalibrierung, Diskriminierung und Entscheidungsnutzen getrennt in einer ausreichend großen, einsatzrepräsentativen Stichprobe bewertet?

    5. 05

      Menschliche Prüfung anhand eines kalibrierten probabilistischen Risikos priorisieren. / Aus dem Prognosemodell allein ableiten, welche Maßnahme Churn senkt.

    19

    Wissenschaftliche Quellen und Evidenzstatus

    Geprüftes Dossier: Aussagen sind mit Quellen auf Passagebene verknüpft, die Python/R-Berechnung ist reproduziert, Grenzen sind explizit und die unabhängige wissenschaftliche Prüfung ist abgeschlossen.

    1. MSC-P029-C01 — Probabilistische Scores sollten auf einem deklarierten Testsatz bewertet werden.
    2. MSC-P029-C02 — Kalibrierung betrifft die beobachtete Ereignishäufigkeit bedingt auf die vorhergesagte Wahrscheinlichkeit.
    3. MSC-P029-C03 — ROC-basierte Diskriminierung bestimmt nicht die Wahrscheinlichkeitskalibrierung.
    4. MSC-P029-C04 — Kalibrierung und Diskriminierung erfordern getrennte Diagnosen.
    5. MSC-P029-C05 — Brier- und logarithmischer Score sind echte Wahrscheinlichkeits-Bewertungsregeln.
    6. MSC-P029-C06 — Prädiktive und kausale Ziele verändern den gesamten Modellierungsprozess, nicht nur die Endmetrik.
    7. MSC-P029-C07 — Prädiktive Genauigkeit ist an von der Anpassung ausgeschlossenen Beobachtungen zu bewerten.
    8. MSC-P029-C08 — Die berichtete AP nutzt schwellenbezogene Präzision, gewichtet mit Recall-Zuwächsen.
    9. MSC-P029-C09 — Die ausführbare Konvention ist nicht interpoliert.
    10. MSC-P029-C10 — Average Precision wird nicht als generische trapezförmige PR-AUC bezeichnet.
    1. scikit-learn average_precision_score
    2. Dimitriadis et al., 2023
    3. Shmueli, 2010

    Methodische Verbindungen

    Übergeordnetes GebietKunden- und Wahlforschung: Verhalten, Wert und Heterogenität

    Als Nächstes

    MSC-P-026Logit vs Probit: Wie wählt man für eine Kaufwahrscheinlichkeit?→MSC-P-018Prädiktive oder kausale Regression: Was soll geschätzt werden?→MSC-P-019Wie diagnostiziert man eine Marketingregression vor der Interpretation?→