Quels clients présentent la probabilité de churn la plus élevée ?
Le churn se prédit pour une date de décision et un horizon fixes. La séparation temporelle, la prévention des fuites et la calibration comptent autant que la discrimination.
Rédaction scientifique : Marketing Science Center
Réponse directe
Prioriser une revue humaine selon un risque probabiliste calibré.
Le churn se prédit pour une date de décision et un horizon fixes. La séparation temporelle, la prévention des fuites et la calibration comptent autant que la discrimination.
scikit-learn average_precision_scoreDimitriadis et al., 2023
01
Résumé opérationnel
Question scientifique et périmètre
Quels clients présentent la probabilité de churn la plus élevée ?
Recevable
Prioriser une revue humaine selon un risque probabiliste calibré.
Interdit
Affirmer quelle action réduira le churn à partir du modèle prédictif seul.
02
Trois niveaux de lecture
- 01
Décideur — Relier le résultat à une décision, un seuil utile et un coût d’erreur déclarés.
- 02
Praticien — Fixer population, unité, horizon, variables disponibles et règle d’analyse avant le calcul.
- 03
Analyste — Reproduire le calcul, quantifier l’incertitude et documenter diagnostics, échecs et sensibilités.
03
Situation marketing concrète
Le churn se prédit pour une date de décision et un horizon fixes. La séparation temporelle, la prévention des fuites et la calibration comptent autant que la discrimination.
04
Question scientifique et périmètre
Quels clients présentent la probabilité de churn la plus élevée ?
P(départ dans l’horizon H | informations disponibles à t)
Données nécessaires
client à la date de décision
La population, l’unité d’analyse, la date d’origine et l’horizon doivent être déclarés dans le livrable. Sans eux, l’estimand change silencieusement.
05
Pourquoi une analyse simple peut échouer
- Affirmer quelle action réduira le churn à partir du modèle prédictif seul.
- Chaque variable était-elle disponible à l’instant de prédiction déclaré et l’échantillon de contrôle est-il postérieur ?
- Les scores de prédiction ex æquo sont-ils regroupés de façon cohérente pour calculer la précision moyenne ?
- L’étalonnage, la discrimination et l’utilité décisionnelle sont-ils évalués séparément sur un échantillon assez grand et représentatif du déploiement ?
06
Intuition de la méthode
La méthode ne transforme pas automatiquement une association en preuve. Elle relie une question déclarée à un estimand, une spécification, des données compatibles et une règle d’interprétation limitée.
P(départ dans l’horizon H | informations disponibles à t)
07
Données nécessaires
Dictionnaire des symboles scientifiques
p_i- Probabilité prédite d’attrition du client i dans l’échantillon de contrôle, calculée uniquement avec l’information disponible à la date de décision. Unité :
probabilité· Type :nombre strictement compris entre 0 et 1· Rôle :entrée y_i- Résultat binaire d’attrition observé à l’horizon fixé pour le client i de l’échantillon de contrôle. Unité :
binaire· Type :0 ou 1· Rôle :entrée Brier- Erreur quadratique moyenne de probabilité sur l’échantillon de contrôle temporel. Unité :
probabilité au carré· Type :nombre positif ou nul· Rôle :sortie log_loss- Opposé de la log-vraisemblance moyenne de Bernoulli sur l’échantillon de contrôle temporel. Unité :
nat par observation· Type :nombre positif ou nul· Rôle :sortie calibration_gap- Probabilité prédite moyenne moins fréquence observée de l’événement ; une valeur négative indique une sous-prédiction moyenne selon cette convention de signe. Unité :
probabilité· Type :nombre dans [−1, 1]· Rôle :sortie AP_threshold- Précision moyenne non interpolée, calculée sur les seuils de prédiction uniques avec regroupement des scores ex æquo ; elle ne constitue pas une aire sous la courbe précision-rappel générique. Unité :
proportion· Type :nombre dans [0, 1]· Rôle :sortie
Entrées exactes et scellées du moteur
predicted_risk_1- Valeur :
0.05· Unité :probabilité· Type :nombre· Statut des données :synthétique predicted_risk_2- Valeur :
0.10· Unité :probabilité· Type :nombre· Statut des données :synthétique predicted_risk_3- Valeur :
0.20· Unité :probabilité· Type :nombre· Statut des données :synthétique predicted_risk_4- Valeur :
0.30· Unité :probabilité· Type :nombre· Statut des données :synthétique predicted_risk_5- Valeur :
0.45· Unité :probabilité· Type :nombre· Statut des données :synthétique predicted_risk_6- Valeur :
0.60· Unité :probabilité· Type :nombre· Statut des données :synthétique predicted_risk_7- Valeur :
0.75· Unité :probabilité· Type :nombre· Statut des données :synthétique predicted_risk_8- Valeur :
0.90· Unité :probabilité· Type :nombre· Statut des données :synthétique outcome_1- Valeur :
0· Unité :binaire· Type :entier· Statut des données :synthétique outcome_2- Valeur :
0· Unité :binaire· Type :entier· Statut des données :synthétique outcome_3- Valeur :
0· Unité :binaire· Type :entier· Statut des données :synthétique outcome_4- Valeur :
1· Unité :binaire· Type :entier· Statut des données :synthétique outcome_5- Valeur :
0· Unité :binaire· Type :entier· Statut des données :synthétique outcome_6- Valeur :
1· Unité :binaire· Type :entier· Statut des données :synthétique outcome_7- Valeur :
1· Unité :binaire· Type :entier· Statut des données :synthétique outcome_8- Valeur :
1· Unité :binaire· Type :entier· Statut des données :synthétique temporal_holdout_declared- Valeur :
1· Unité :binaire· Type :entier· Statut des données :paramètre déclaré
08
Modèle formel
Modèle formel
temporal_holdout_declared = 1; Brier = mean((p_i−y_i)^2); log_loss = −mean(y_i×log(p_i)+(1−y_i)×log(1−p_i)); calibration_gap = mean(p_i)−mean(y_i); AP_threshold = grouped_average_precision(p_i, y_i)Affirmations étayées : MSC-P029-C01 · MSC-P029-C02 · MSC-P029-C03 · MSC-P029-C04 · MSC-P029-C05 · MSC-P029-C06 · MSC-P029-C07 · MSC-P029-C08 · MSC-P029-C09 · MSC-P029-C10
Question scientifique et périmètre
P(départ dans l’horizon H | informations disponibles à t)
09
Calcul déclaré
- 01
Figer l’échantillon de contrôle temporel et valider les paires probabilités-résultats, les deux classes du résultat devant être représentées.
- 02
Calculer le score de Brier, la perte logarithmique, la précision moyenne par seuils et l’écart d’étalonnage prédiction moins observation.
- 03
Rapporter séparément discrimination et étalonnage, et qualifier le minuscule échantillon synthétique d’insuffisant pour un déploiement ou une validation causale.
10
Exemple numérique ou cas d’application
Illustration synthétique — valeurs pédagogiques, non observées — données synthétiques ou paramètres déclarés ; aucune observation réelle
Entrées scellées
predicted_risk_1=0.05 [probabilité]predicted_risk_2=0.10 [probabilité]predicted_risk_3=0.20 [probabilité]predicted_risk_4=0.30 [probabilité]predicted_risk_5=0.45 [probabilité]predicted_risk_6=0.60 [probabilité]predicted_risk_7=0.75 [probabilité]predicted_risk_8=0.90 [probabilité]outcome_1=0 [binaire]outcome_2=0 [binaire]outcome_3=0 [binaire]outcome_4=1 [binaire]outcome_5=0 [binaire]outcome_6=1 [binaire]outcome_7=1 [binaire]outcome_8=1 [binaire]temporal_holdout_declared=1 [binaire]
Résultats reproductibles
Brier=0.122188log_loss=0.385684threshold_grouped_average_precision=0.95mean_predicted_minus_observed=-0.08125
Dossier vérifié : affirmations reliées à des sources au niveau du passage, calcul Python/R reproduit, limites explicites et revue scientifique indépendante achevée.
11
Hypothèses de validité
- Chaque variable était-elle disponible à l’instant de prédiction déclaré et l’échantillon de contrôle est-il postérieur ?
- Les scores de prédiction ex æquo sont-ils regroupés de façon cohérente pour calculer la précision moyenne ?
- L’étalonnage, la discrimination et l’utilité décisionnelle sont-ils évalués séparément sur un échantillon assez grand et représentatif du déploiement ?
12
Diagnostics et incertitude
Diagnostics et incertitude
Chaque variable était-elle disponible à l’instant de prédiction déclaré et l’échantillon de contrôle est-il postérieur ? · Les scores de prédiction ex æquo sont-ils regroupés de façon cohérente pour calculer la précision moyenne ? · L’étalonnage, la discrimination et l’utilité décisionnelle sont-ils évalués séparément sur un échantillon assez grand et représentatif du déploiement ?
Diagnostic borné
La convention de signe est prédiction moins observation. La précision moyenne est calculée par seuils, scores ex æquo regroupés, et ne constitue pas une aire sous la courbe précision-rappel générique. Illustration synthétique de très petite taille uniquement.
Contrat explicite d’incertitude · not_estimable_from_sealed_inputs
Méthode : Évaluation explicite de la non-estimabilité au regard du schéma d’entrées scellé.
Cible : Incertitude d’échantillonnage des métriques d’étalonnage et de discrimination sur l’échantillon de contrôle.
Preuve du moteur : diagnostic=average_precision_is_threshold_grouped_not_generic_pr_auc_tiny_synthetic_holdout_not_deployment_validation_or_causal_effect
Interprétation : Huit observations synthétiques de contrôle sont insuffisantes pour produire des intervalles de confiance ou une incertitude par sous-groupe défendables.
Arrêter si
Affirmer quelle action réduira le churn à partir du modèle prédictif seul.
13
Interprétation du résultat
- Prioriser une revue humaine selon un risque probabiliste calibré.
- Le résultat est conditionnel à la population, à l’horizon, à la spécification et aux contrôles déclarés. Il ne doit pas être étendu à une autre décision sans nouvelle justification.
14
Conclusion recevable et conclusion interdite
Recevable
Prioriser une revue humaine selon un risque probabiliste calibré.
Interdit
Affirmer quelle action réduira le churn à partir du modèle prédictif seul.
15
Décision marketing possible
- 01
Prioriser une revue humaine selon un risque probabiliste calibré.
- 02
Le résultat est conditionnel à la population, à l’horizon, à la spécification et aux contrôles déclarés. Il ne doit pas être étendu à une autre décision sans nouvelle justification.
16
Quand utiliser — quand s’arrêter
Utiliser si
Prioriser une revue humaine selon un risque probabiliste calibré.
client à la date de décision
Arrêter si
Affirmer quelle action réduira le churn à partir du modèle prédictif seul.
Alternatives méthodologiques
- Employer des courbes d’étalonnage avec incertitude par plage de risque et sous-groupe.
- Employer une analyse ROC uniquement pour les questions de discrimination, pas pour l’étalonnage.
- Employer une courbe de décision ou une analyse de seuil sensible aux coûts lorsque l’utilité de l’action est la cible.
17
Contrat de reproductibilité
Python et R servent de références exécutables. SPSS et SAS restent des syntaxes secondaires jusqu’à vérification sur les mêmes données, la même spécification et les mêmes contrôles.
Le moteur sélectionne uniquement le slice et la branche explicite de cette page. Son hash, ses sorties et ses diagnostics restent scellés dans le dossier atomique ; aucune branche générique de repli n’est autorisée.
Empreinte du slice : 05348452a7d6e9c0921fab5459274f7d09e9ba76b92659dd05112935133f85f7
CSV · CC0
msc-validation-inputs-v1.csv ↓Python · MIT
msc-validation-reference-v1.py ↓R · MIT
msc-validation-reference-v1.R ↓SPSS / SAS · MIT · inspection uniquement
SPSS ↓SAS ↓Modèle formel
temporal_holdout_declared = 1; Brier = mean((p_i−y_i)^2); log_loss = −mean(y_i×log(p_i)+(1−y_i)×log(1−p_i)); calibration_gap = mean(p_i)−mean(y_i); AP_threshold = grouped_average_precision(p_i, y_i)Dossier vérifié : affirmations reliées à des sources au niveau du passage, calcul Python/R reproduit, limites explicites et revue scientifique indépendante achevée.
18
Livrable final attendu
- 01
Quels clients présentent la probabilité de churn la plus élevée ? —
client à la date de décision - 02
p_i · y_i · Brier · log_loss · calibration_gap · AP_threshold
- 03
temporal_holdout_declared = 1; Brier = mean((p_i−y_i)^2); log_loss = −mean(y_i×log(p_i)+(1−y_i)×log(1−p_i)); calibration_gap = mean(p_i)−mean(y_i); AP_threshold = grouped_average_precision(p_i, y_i) - 04
Chaque variable était-elle disponible à l’instant de prédiction déclaré et l’échantillon de contrôle est-il postérieur ? · Les scores de prédiction ex æquo sont-ils regroupés de façon cohérente pour calculer la précision moyenne ? · L’étalonnage, la discrimination et l’utilité décisionnelle sont-ils évalués séparément sur un échantillon assez grand et représentatif du déploiement ?
- 05
Prioriser une revue humaine selon un risque probabiliste calibré. / Affirmer quelle action réduira le churn à partir du modèle prédictif seul.
19
Sources scientifiques et statut de preuve
Dossier vérifié : affirmations reliées à des sources au niveau du passage, calcul Python/R reproduit, limites explicites et revue scientifique indépendante achevée.
MSC-P029-C01— Les scores probabilistes doivent être évalués sur un ensemble de test déclaré.MSC-P029-C02— L’étalonnage concerne la fréquence observée de l’événement conditionnellement à la probabilité prévue.MSC-P029-C03— La discrimination fondée sur ROC ne détermine pas l’étalonnage des probabilités.MSC-P029-C04— Étalonnage et discrimination exigent des diagnostics distincts.MSC-P029-C05— Les scores de Brier et logarithmique sont des règles propres de notation probabiliste.MSC-P029-C06— Les objectifs prédictif et causal modifient l’ensemble du processus de modélisation, pas uniquement la métrique finale.MSC-P029-C07— La précision prédictive doit être évaluée sur des observations exclues de l’ajustement du modèle.MSC-P029-C08— La précision moyenne rapportée emploie la précision propre à chaque seuil, pondérée par les accroissements de rappel.MSC-P029-C09— La convention exécutable est non interpolée.MSC-P029-C10— La précision moyenne n’est pas qualifiée d’aire sous la courbe précision-rappel trapézoïdale générique.
Connexions méthodologiques