Research & Evidence

Rechercher une méthode

Recherchez parmi les titres, les questions, les territoires et les identifiants MSC.

    ← Toutes les méthodes
    FICHE MÉTHODEMSC-P-029Science clientDossier scientifique vérifié

    Quels clients présentent la probabilité de churn la plus élevée ?

    Le churn se prédit pour une date de décision et un horizon fixes. La séparation temporelle, la prévention des fuites et la calibration comptent autant que la discrimination.

    Rédaction scientifique : Marketing Science Center

    Réponse directe

    Prioriser une revue humaine selon un risque probabiliste calibré.

    Le churn se prédit pour une date de décision et un horizon fixes. La séparation temporelle, la prévention des fuites et la calibration comptent autant que la discrimination.

    scikit-learn average_precision_scoreDimitriadis et al., 2023

    01

    Résumé opérationnel

    Question scientifique et périmètre

    Quels clients présentent la probabilité de churn la plus élevée ?

    Recevable

    Prioriser une revue humaine selon un risque probabiliste calibré.

    Interdit

    Affirmer quelle action réduira le churn à partir du modèle prédictif seul.

    02

    Trois niveaux de lecture

    1. 01

      Décideur — Relier le résultat à une décision, un seuil utile et un coût d’erreur déclarés.

    2. 02

      Praticien — Fixer population, unité, horizon, variables disponibles et règle d’analyse avant le calcul.

    3. 03

      Analyste — Reproduire le calcul, quantifier l’incertitude et documenter diagnostics, échecs et sensibilités.

    03

    Situation marketing concrète

    Le churn se prédit pour une date de décision et un horizon fixes. La séparation temporelle, la prévention des fuites et la calibration comptent autant que la discrimination.

    04

    Question scientifique et périmètre

    Quels clients présentent la probabilité de churn la plus élevée ?

    P(départ dans l’horizon H | informations disponibles à t)

    Données nécessaires

    client à la date de décision

    La population, l’unité d’analyse, la date d’origine et l’horizon doivent être déclarés dans le livrable. Sans eux, l’estimand change silencieusement.

    05

    Pourquoi une analyse simple peut échouer

    • Affirmer quelle action réduira le churn à partir du modèle prédictif seul.
    • Chaque variable était-elle disponible à l’instant de prédiction déclaré et l’échantillon de contrôle est-il postérieur ?
    • Les scores de prédiction ex æquo sont-ils regroupés de façon cohérente pour calculer la précision moyenne ?
    • L’étalonnage, la discrimination et l’utilité décisionnelle sont-ils évalués séparément sur un échantillon assez grand et représentatif du déploiement ?

    06

    Intuition de la méthode

    La méthode ne transforme pas automatiquement une association en preuve. Elle relie une question déclarée à un estimand, une spécification, des données compatibles et une règle d’interprétation limitée.

    P(départ dans l’horizon H | informations disponibles à t)

    07

    Données nécessaires

    Dictionnaire des symboles scientifiques

    p_i
    Probabilité prédite d’attrition du client i dans l’échantillon de contrôle, calculée uniquement avec l’information disponible à la date de décision. Unité : probabilité · Type : nombre strictement compris entre 0 et 1 · Rôle : entrée
    y_i
    Résultat binaire d’attrition observé à l’horizon fixé pour le client i de l’échantillon de contrôle. Unité : binaire · Type : 0 ou 1 · Rôle : entrée
    Brier
    Erreur quadratique moyenne de probabilité sur l’échantillon de contrôle temporel. Unité : probabilité au carré · Type : nombre positif ou nul · Rôle : sortie
    log_loss
    Opposé de la log-vraisemblance moyenne de Bernoulli sur l’échantillon de contrôle temporel. Unité : nat par observation · Type : nombre positif ou nul · Rôle : sortie
    calibration_gap
    Probabilité prédite moyenne moins fréquence observée de l’événement ; une valeur négative indique une sous-prédiction moyenne selon cette convention de signe. Unité : probabilité · Type : nombre dans [−1, 1] · Rôle : sortie
    AP_threshold
    Précision moyenne non interpolée, calculée sur les seuils de prédiction uniques avec regroupement des scores ex æquo ; elle ne constitue pas une aire sous la courbe précision-rappel générique. Unité : proportion · Type : nombre dans [0, 1] · Rôle : sortie

    Entrées exactes et scellées du moteur

    predicted_risk_1
    Valeur : 0.05 · Unité : probabilité · Type : nombre · Statut des données : synthétique
    predicted_risk_2
    Valeur : 0.10 · Unité : probabilité · Type : nombre · Statut des données : synthétique
    predicted_risk_3
    Valeur : 0.20 · Unité : probabilité · Type : nombre · Statut des données : synthétique
    predicted_risk_4
    Valeur : 0.30 · Unité : probabilité · Type : nombre · Statut des données : synthétique
    predicted_risk_5
    Valeur : 0.45 · Unité : probabilité · Type : nombre · Statut des données : synthétique
    predicted_risk_6
    Valeur : 0.60 · Unité : probabilité · Type : nombre · Statut des données : synthétique
    predicted_risk_7
    Valeur : 0.75 · Unité : probabilité · Type : nombre · Statut des données : synthétique
    predicted_risk_8
    Valeur : 0.90 · Unité : probabilité · Type : nombre · Statut des données : synthétique
    outcome_1
    Valeur : 0 · Unité : binaire · Type : entier · Statut des données : synthétique
    outcome_2
    Valeur : 0 · Unité : binaire · Type : entier · Statut des données : synthétique
    outcome_3
    Valeur : 0 · Unité : binaire · Type : entier · Statut des données : synthétique
    outcome_4
    Valeur : 1 · Unité : binaire · Type : entier · Statut des données : synthétique
    outcome_5
    Valeur : 0 · Unité : binaire · Type : entier · Statut des données : synthétique
    outcome_6
    Valeur : 1 · Unité : binaire · Type : entier · Statut des données : synthétique
    outcome_7
    Valeur : 1 · Unité : binaire · Type : entier · Statut des données : synthétique
    outcome_8
    Valeur : 1 · Unité : binaire · Type : entier · Statut des données : synthétique
    temporal_holdout_declared
    Valeur : 1 · Unité : binaire · Type : entier · Statut des données : paramètre déclaré

    08

    Modèle formel

    Modèle formel

    temporal_holdout_declared = 1; Brier = mean((p_i−y_i)^2); log_loss = −mean(y_i×log(p_i)+(1−y_i)×log(1−p_i)); calibration_gap = mean(p_i)−mean(y_i); AP_threshold = grouped_average_precision(p_i, y_i)

    Affirmations étayées : MSC-P029-C01 · MSC-P029-C02 · MSC-P029-C03 · MSC-P029-C04 · MSC-P029-C05 · MSC-P029-C06 · MSC-P029-C07 · MSC-P029-C08 · MSC-P029-C09 · MSC-P029-C10

    Question scientifique et périmètre

    P(départ dans l’horizon H | informations disponibles à t)

    09

    Calcul déclaré

    1. 01

      Figer l’échantillon de contrôle temporel et valider les paires probabilités-résultats, les deux classes du résultat devant être représentées.

    2. 02

      Calculer le score de Brier, la perte logarithmique, la précision moyenne par seuils et l’écart d’étalonnage prédiction moins observation.

    3. 03

      Rapporter séparément discrimination et étalonnage, et qualifier le minuscule échantillon synthétique d’insuffisant pour un déploiement ou une validation causale.

    10

    Exemple numérique ou cas d’application

    Illustration synthétique — valeurs pédagogiques, non observées — données synthétiques ou paramètres déclarés ; aucune observation réelle

    Entrées scellées

    • predicted_risk_1=0.05 [probabilité]
    • predicted_risk_2=0.10 [probabilité]
    • predicted_risk_3=0.20 [probabilité]
    • predicted_risk_4=0.30 [probabilité]
    • predicted_risk_5=0.45 [probabilité]
    • predicted_risk_6=0.60 [probabilité]
    • predicted_risk_7=0.75 [probabilité]
    • predicted_risk_8=0.90 [probabilité]
    • outcome_1=0 [binaire]
    • outcome_2=0 [binaire]
    • outcome_3=0 [binaire]
    • outcome_4=1 [binaire]
    • outcome_5=0 [binaire]
    • outcome_6=1 [binaire]
    • outcome_7=1 [binaire]
    • outcome_8=1 [binaire]
    • temporal_holdout_declared=1 [binaire]

    Résultats reproductibles

    • Brier=0.122188
    • log_loss=0.385684
    • threshold_grouped_average_precision=0.95
    • mean_predicted_minus_observed=-0.08125

    Dossier vérifié : affirmations reliées à des sources au niveau du passage, calcul Python/R reproduit, limites explicites et revue scientifique indépendante achevée.

    11

    Hypothèses de validité

    • Chaque variable était-elle disponible à l’instant de prédiction déclaré et l’échantillon de contrôle est-il postérieur ?
    • Les scores de prédiction ex æquo sont-ils regroupés de façon cohérente pour calculer la précision moyenne ?
    • L’étalonnage, la discrimination et l’utilité décisionnelle sont-ils évalués séparément sur un échantillon assez grand et représentatif du déploiement ?

    12

    Diagnostics et incertitude

    Diagnostics et incertitude

    Chaque variable était-elle disponible à l’instant de prédiction déclaré et l’échantillon de contrôle est-il postérieur ? · Les scores de prédiction ex æquo sont-ils regroupés de façon cohérente pour calculer la précision moyenne ? · L’étalonnage, la discrimination et l’utilité décisionnelle sont-ils évalués séparément sur un échantillon assez grand et représentatif du déploiement ?

    Diagnostic borné

    La convention de signe est prédiction moins observation. La précision moyenne est calculée par seuils, scores ex æquo regroupés, et ne constitue pas une aire sous la courbe précision-rappel générique. Illustration synthétique de très petite taille uniquement.

    Contrat explicite d’incertitude · not_estimable_from_sealed_inputs

    Méthode : Évaluation explicite de la non-estimabilité au regard du schéma d’entrées scellé.

    Cible : Incertitude d’échantillonnage des métriques d’étalonnage et de discrimination sur l’échantillon de contrôle.

    Preuve du moteur : diagnostic=average_precision_is_threshold_grouped_not_generic_pr_auc_tiny_synthetic_holdout_not_deployment_validation_or_causal_effect

    Interprétation : Huit observations synthétiques de contrôle sont insuffisantes pour produire des intervalles de confiance ou une incertitude par sous-groupe défendables.

    Arrêter si

    Affirmer quelle action réduira le churn à partir du modèle prédictif seul.

    13

    Interprétation du résultat

    • Prioriser une revue humaine selon un risque probabiliste calibré.
    • Le résultat est conditionnel à la population, à l’horizon, à la spécification et aux contrôles déclarés. Il ne doit pas être étendu à une autre décision sans nouvelle justification.

    14

    Conclusion recevable et conclusion interdite

    Recevable

    Prioriser une revue humaine selon un risque probabiliste calibré.

    Interdit

    Affirmer quelle action réduira le churn à partir du modèle prédictif seul.

    15

    Décision marketing possible

    1. 01

      Prioriser une revue humaine selon un risque probabiliste calibré.

    2. 02

      Le résultat est conditionnel à la population, à l’horizon, à la spécification et aux contrôles déclarés. Il ne doit pas être étendu à une autre décision sans nouvelle justification.

    16

    Quand utiliser — quand s’arrêter

    Utiliser si

    Prioriser une revue humaine selon un risque probabiliste calibré.

    client à la date de décision

    Arrêter si

    Affirmer quelle action réduira le churn à partir du modèle prédictif seul.

    Alternatives méthodologiques

    • Employer des courbes d’étalonnage avec incertitude par plage de risque et sous-groupe.
    • Employer une analyse ROC uniquement pour les questions de discrimination, pas pour l’étalonnage.
    • Employer une courbe de décision ou une analyse de seuil sensible aux coûts lorsque l’utilité de l’action est la cible.

    17

    Contrat de reproductibilité

    Python et R servent de références exécutables. SPSS et SAS restent des syntaxes secondaires jusqu’à vérification sur les mêmes données, la même spécification et les mêmes contrôles.

    Le moteur sélectionne uniquement le slice et la branche explicite de cette page. Son hash, ses sorties et ses diagnostics restent scellés dans le dossier atomique ; aucune branche générique de repli n’est autorisée.

    Empreinte du slice : 05348452a7d6e9c0921fab5459274f7d09e9ba76b92659dd05112935133f85f7

    Modèle formel

    temporal_holdout_declared = 1; Brier = mean((p_i−y_i)^2); log_loss = −mean(y_i×log(p_i)+(1−y_i)×log(1−p_i)); calibration_gap = mean(p_i)−mean(y_i); AP_threshold = grouped_average_precision(p_i, y_i)

    Dossier vérifié : affirmations reliées à des sources au niveau du passage, calcul Python/R reproduit, limites explicites et revue scientifique indépendante achevée.

    18

    Livrable final attendu

    1. 01

      Quels clients présentent la probabilité de churn la plus élevée ? — client à la date de décision

    2. 02

      p_i · y_i · Brier · log_loss · calibration_gap · AP_threshold

    3. 03

      temporal_holdout_declared = 1; Brier = mean((p_i−y_i)^2); log_loss = −mean(y_i×log(p_i)+(1−y_i)×log(1−p_i)); calibration_gap = mean(p_i)−mean(y_i); AP_threshold = grouped_average_precision(p_i, y_i)

    4. 04

      Chaque variable était-elle disponible à l’instant de prédiction déclaré et l’échantillon de contrôle est-il postérieur ? · Les scores de prédiction ex æquo sont-ils regroupés de façon cohérente pour calculer la précision moyenne ? · L’étalonnage, la discrimination et l’utilité décisionnelle sont-ils évalués séparément sur un échantillon assez grand et représentatif du déploiement ?

    5. 05

      Prioriser une revue humaine selon un risque probabiliste calibré. / Affirmer quelle action réduira le churn à partir du modèle prédictif seul.

    19

    Sources scientifiques et statut de preuve

    Dossier vérifié : affirmations reliées à des sources au niveau du passage, calcul Python/R reproduit, limites explicites et revue scientifique indépendante achevée.

    1. MSC-P029-C01 — Les scores probabilistes doivent être évalués sur un ensemble de test déclaré.
    2. MSC-P029-C02 — L’étalonnage concerne la fréquence observée de l’événement conditionnellement à la probabilité prévue.
    3. MSC-P029-C03 — La discrimination fondée sur ROC ne détermine pas l’étalonnage des probabilités.
    4. MSC-P029-C04 — Étalonnage et discrimination exigent des diagnostics distincts.
    5. MSC-P029-C05 — Les scores de Brier et logarithmique sont des règles propres de notation probabiliste.
    6. MSC-P029-C06 — Les objectifs prédictif et causal modifient l’ensemble du processus de modélisation, pas uniquement la métrique finale.
    7. MSC-P029-C07 — La précision prédictive doit être évaluée sur des observations exclues de l’ajustement du modèle.
    8. MSC-P029-C08 — La précision moyenne rapportée emploie la précision propre à chaque seuil, pondérée par les accroissements de rappel.
    9. MSC-P029-C09 — La convention exécutable est non interpolée.
    10. MSC-P029-C10 — La précision moyenne n’est pas qualifiée d’aire sous la courbe précision-rappel trapézoïdale générique.
    1. scikit-learn average_precision_score
    2. Dimitriadis et al., 2023
    3. Shmueli, 2010

    Connexions méthodologiques

    Territoire parentScience client et choix : comportement, valeur et hétérogénéité

    À lire ensuite

    MSC-P-026Logit vs Probit : comment choisir pour une probabilité d’achat ?→MSC-P-018Régression prédictive ou causale : qu’essaye-t-on d’estimer ?→MSC-P-019Comment diagnostiquer une régression marketing avant de l’interpréter ?→