Research & Evidence

Rechercher une méthode

Recherchez parmi les titres, les questions, les territoires et les identifiants MSC.

    ← Toutes les méthodes
    FICHE MÉTHODEMSC-P-026Modèles de choixDossier scientifique vérifié

    Logit vs Probit : comment choisir pour une probabilité d’achat ?

    Comparez les deux liens sur les mêmes données : probabilités, effets marginaux, calibration, Brier, log-loss, AUC et zones de queue. Les coefficients bruts vivent sur des échelles différentes.

    Rédaction scientifique : Marketing Science Center

    Réponse directe

    Choisir un lien à partir des probabilités, des diagnostics sur échantillon de contrôle, des besoins d’interprétation et des seuils de décision.

    Comparez les deux liens sur les mêmes données : probabilités, effets marginaux, calibration, Brier, log-loss, AUC et zones de queue. Les coefficients bruts vivent sur des échelles différentes.

    Amemiya, 1975Gündüz & Fokoué, 2015

    01

    La réponse en 30 secondes

    1

    Logit et Probit modélisent tous deux une probabilité binaire à partir du même prédicteur linéaire. Le premier utilise la fonction logistique, le second la fonction normale cumulée.

    2

    Leurs coefficients bruts ne sont pas directement comparables, car l’échelle latente change. Comparez plutôt probabilités prédites, effets marginaux et performances sur les mêmes observations.

    3

    Dans l’exemple synthétique, les deux liens donnent presque le même effet marginal moyen et des scores holdout très proches. Cela ne prouve pas qu’ils sont interchangeables dans toute population.

    Amemiya (1975), Qualitative Response Models Gündüz & Fokoué (2015)

    02

    Trois niveaux de lecture

    1. 1

      Décideur : demandez si le choix du lien change une probabilité, un segment ou une décision à un seuil pertinent.

    2. 2

      Praticien : gardez données, variables, séparation apprentissage-test et métriques identiques pour les deux modèles.

    3. 3

      Analyste : distinguez échelle du coefficient, effet marginal sur la probabilité, calibration, discrimination et score propre.

    03

    Situation marketing concrète

    Une équipe CRM veut estimer la probabilité d’achat à 30 jours à partir de l’engagement antérieur, de la remise affichée et du terminal mobile. Elle hésite entre Logit et Probit. La bonne question n’est pas « quel coefficient est le plus grand ? », mais « les probabilités, effets marginaux et diagnostics hors échantillon conduisent-ils à une décision différente ? »

    04

    Question scientifique et estimand

    Population cible : clients éligibles représentés par 1 200 observations synthétiques. Unité : un client. Outcome Y : achat sous 30 jours. Comparaison prédictive, non causale. Estimands : fonction P(Y=1|X) et effet marginal moyen de l’engagement, moyenné sur les 400 covariables du holdout. Les 800 premières lignes servent à l’estimation.

    P(Y=1|X=x) · AME engagement on holdout X

    Amemiya (1975), Qualitative Response Models

    05

    Pourquoi une comparaison superficielle échoue

    • Comparer 0,991 au coefficient Probit 0,596 confond effet et normalisation de l’échelle latente.
    • Choisir uniquement avec l’AIC d’apprentissage ignore calibration et généralisation hors échantillon.
    • Comparer seulement l’AUC ignore la calibration, car l’AUC dépend du classement et non du niveau exact des probabilités.

    Gündüz & Fokoué (2015) Dimitriadis et al. (2023)

    06

    Ce qui change réellement entre Logit et Probit

    Ce qui change réellement entre Logit et Probit
    DimensionLogitProbitComparaison utile
    Lienlog[p/(1−p)]Φ⁻¹(p)Probabilité prédite
    βÉchelle log-oddsÉchelle normale latenteNe pas comparer les amplitudes brutes
    AMEVariation de probabilité moyennée sur XComparable sur l’échelle des probabilités

    Gündüz & Fokoué (2015)

    07

    Données nécessaires

    • purchase vaut 1 pour un achat sous 30 jours et 0 sinon. Une ligne représente un client.
    • prior_engagement_z est tiré d’une loi N(0,1) puis conservé sans restandardisation après tirage. Une unité appartient à cette échelle génératrice.
    • discount_pct prend 0, 5, 10, 15 ou 20 %. Le modèle utilise discount10 = discount_pct / 10, donc une unité vaut 10 points de remise.
    • mobile vaut 1 pour un terminal mobile et 0 sinon. split vaut train pour 800 lignes et holdout pour 400 lignes.

    08

    Modèle formel et symboles

    AMEₖ = n⁻¹ Σᵢ f(ηᵢ)βₖ, f = Λ(ηᵢ)[1−Λ(ηᵢ)] or φ(ηᵢ)

    Prédicteur commun

    ηᵢ = β₀ + β₁ engagementᵢ + β₂ discount10ᵢ + β₃ mobileᵢ

    i indexe un client ; n=400 profils holdout fixes. β est estimé par maximum de vraisemblance sur 800 lignes d’apprentissage.

    Logit

    pᵢ = Λ(ηᵢ) = 1 / (1 + exp(−ηᵢ))

    Λ est la fonction logistique cumulée et f sa densité. Un coefficient déplace les log-odds, pas la probabilité d’une constante.

    Probit

    pᵢ = Φ(ηᵢ)

    Φ est la fonction normale cumulée et φ sa densité. Le coefficient vit sur une autre échelle latente.

    Pour l’engagement, l’AME est la dérivée locale moyenne de la probabilité par unité de l’échelle génératrice, rapportée en points de pourcentage. Ce n’est pas la variation finie de X à X+1.

    Nelder & Wedderburn (1972) Hill, Griffiths & Lim (2018), chapter 16

    09

    Calcul déclaré, étape par étape

    1. 01

      Figer l’échantillon : 800 lignes d’apprentissage et 400 lignes holdout.

    2. 02

      Ajuster les deux liens avec le même outcome, les mêmes prédicteurs et le même intercept.

    3. 03

      Calculer les probabilités sur l’échantillon de contrôle, puis le score de Brier, la perte logarithmique, l’AUC et la calibration globale.

    4. 04

      Calculer l’AME de l’engagement sur les 400 profils fixes et son IC delta à 95 % avec la covariance de Fisher estimée sur l’apprentissage.

    5. 05

      Examiner deux profils de queue et vérifier si un seuil métier change de côté.

    Nelder & Wedderburn (1972) Hill, Griffiths & Lim (2018), chapter 16 Dimitriadis et al. (2023)

    10

    Exemple numérique de bout en bout

    Dataset synthétique créé pour l’apprentissage. Il ne décrit aucune campagne réelle.

    Graine 20260819. L’outcome est généré par un processus logistique pédagogique, ce qui n’autorise ni conclusion universelle ni affirmation sur le réel.

    MSC-P-026 · holdout n=400 · taux d’achat 38,75 %
    MétriqueLogitProbit
    β engagement0,9914420,596133
    AME engagement19,8738 pp19,8780 pp
    IC95 AME[17,1598; 22,5878] pp[17,1767; 22,5794] pp
    Brier0,1753190,175367
    Log-loss0,5274560,527414
    AUC0,8094010,809743
    Calibration p̄−ȳ+0,006011+0,006850
    p(engagement=−2)0,0844850,076382
    p(engagement=+2)0,8296090,830134

    Les profils de queue fixent discount_pct=10, discount10=1 et mobile=1 ; seul l’engagement change entre les valeurs −2 et +2 de l’échelle génératrice.

    Télécharger le CSV synthétique

    Lecture : les écarts de métriques sont minuscules sur ce holdout ; le profil de queue à −2 diffère de 0,81 point. L’incertitude d’échantillonnage est rapportée pour l’AME, pas pour chaque écart de métrique.

    L’intervalle de l’AME conditionne sur les 400 profils de covariables holdout observés et utilise la covariance de Fisher de l’ajustement sur 800 lignes. Il ne quantifie ni l’incertitude de la distribution des profils ni celle des écarts de métriques.

    11

    Hypothèses de validité

    • Spécification : le même prédicteur linéaire contient les variables et transformations pertinentes pour chaque lien.
    • Indépendance pour l’inférence affichée : sans regroupement résiduel par ménage, magasin ou campagne. Sinon, adapter l’incertitude.
    • Recouvrement : pas de séparation parfaite ni de profils hors du domaine couvert par l’apprentissage.
    • La forme vraie du lien et la transportabilité vers une autre période ne sont pas démontrables par le seul ajustement du modèle.

    12

    Diagnostics et incertitude

    Estimation

    Les deux ajustements convergent en 6 et 8 itérations. Ce script en bibliothèque standard ne calcule ni séparation ni influence ; ces diagnostics restent requis avant tout usage opérationnel.

    Qualité probabiliste

    Brier et log-loss résument la précision probabiliste ; la calibration globale montre une sur-prédiction moyenne de 0,60 et 0,69 point.

    Discrimination et incertitude

    L’AUC approche 0,81 pour les deux liens mais n’évalue pas la calibration. Les IC delta des AME se recouvrent presque totalement ; ce n’est pas un test d’équivalence.

    Dimitriadis et al. (2023)

    13

    Interpréter les résultats

    • Le rapport 0,991/0,596 reflète surtout une différence d’échelle, pas un effet presque deux fois supérieur.
    • Les AME de 19,87 et 19,88 points sont numériquement très proches sur l’échelle de probabilité dans ce support.
    • Aucun modèle ne domine sur toutes les métriques : Logit a un Brier légèrement inférieur, Probit un log-loss et une AUC légèrement meilleurs.

    14

    Conclusions permises et interdites

    Recevable

    • Dire que, dans ce holdout synthétique, les probabilités et effets marginaux Logit et Probit sont très proches.
    • Préférer provisoirement Logit pour l’interprétation en odds ratios, ou conserver Probit si une représentation normale latente est substantivement justifiée.

    Interdit

    • Déduire qu’un coefficient plus grand signifie un effet marketing plus fort entre deux liens.
    • Présenter l’association prédictive de l’engagement comme un effet causal d’une intervention.
    • Généraliser l’écart minime de cet exemple à toutes les tailles d’échantillon, spécifications, classes rares ou zones de queue.

    15

    Décision marketing possible

    Pour ce dossier, la responsable peut retenir Logit comme modèle de travail parce que les estimations ponctuelles sont très proches sur ce holdout et que les odds ratios facilitent la communication. Ce constat n’est pas un test d’équivalence. Elle doit conserver la comparaison des probabilités et une règle de réévaluation si la population, la rareté de l’événement ou les seuils changent.

    Gündüz & Fokoué (2015)

    16

    Quand utiliser, quand ne pas utiliser

    Utiliser

    Utiliser Logit ou Probit pour un outcome binaire lorsque la probabilité conditionnelle et ses diagnostics sont la cible.

    Ne pas utiliser seul

    Ne pas les utiliser seuls pour attribuer un effet causal, gérer une dépendance longitudinale ou modéliser un temps jusqu’à événement.

    Alternatives

    Alternatives : complementary log-log pour une asymétrie justifiée, modèles mixtes ou GEE pour dépendance, survie pour délai, méthodes causales pour intervention.

    17

    Implémentations reproductibles

    Télécharger le script Python de référence

    Python 3.13.7 · standard library · référence

    python msc-p026-reference.py --csv msc-p026-logit-probit.csv
    # rows=1200 train=800 holdout=400
    # Fits Logit and Probit by Fisher scoring.
    # Reports AME delta-method CI, Brier, log-loss, AUC, calibration and declared tail profiles.

    R 4.5.1 · stats/utils · référence

    # R 4.5.1, base stats/utils only
    d <- read.csv("msc-p026-logit-probit.csv")
    train <- subset(d, split == "train")
    holdout <- subset(d, split == "holdout")
    formula <- purchase ~ prior_engagement_z + I(discount_pct/10) + mobile
    
    auc <- function(y, p) mean(outer(p[y==1], p[y==0], ">") + .5*outer(p[y==1], p[y==0], "=="))
    for (link in c("logit", "probit")) {
      fit <- glm(formula, data=train, family=binomial(link=link))
      eta <- predict(fit, newdata=holdout, type="link")
      p <- predict(fit, newdata=holdout, type="response")
      dmu <- if (link == "logit") p*(1-p) else dnorm(eta)
      ame <- mean(dmu*coef(fit)["prior_engagement_z"])
      ame_fun <- function(b) {
        e <- model.matrix(formula, holdout) %*% b
        mean((if (link=="logit") plogis(e)*(1-plogis(e)) else dnorm(e))*b[2])
      }
      eps <- 1e-5; b <- coef(fit)
      grad <- sapply(seq_along(b), function(j) {u<-v<-b;u[j]<-u[j]+eps;v[j]<-v[j]-eps;(ame_fun(u)-ame_fun(v))/(2*eps)})
      se <- sqrt(drop(t(grad) %*% vcov(fit) %*% grad))
      print(c(link=link, AME=ame, low=ame-1.959964*se, high=ame+1.959964*se,
        Brier=mean((p-holdout$purchase)^2), LogLoss=-mean(holdout$purchase*log(p)+(1-holdout$purchase)*log(1-p)),
        AUC=auc(holdout$purchase,p), Calibration=mean(p)-mean(holdout$purchase)))
    }

    IBM SPSS Statistics 31.0.0.0 · secondaire

    * IBM SPSS Statistics 31, secondary fit syntax.
    GET DATA /TYPE=TXT /FILE='msc-p026-logit-probit.csv' /FIRSTCASE=2
     /DELIMITERS=',' /VARIABLES=customer_id A5 split A7
     prior_engagement_z F10.6 discount_pct F2.0 mobile F1.0 purchase F1.0.
    COMPUTE discount_10=discount_pct/10.
    TEMPORARY. SELECT IF split='train'.
    GENLIN purchase (REFERENCE=FIRST) WITH prior_engagement_z discount_10 mobile
     /MODEL prior_engagement_z discount_10 mobile INTERCEPT=YES DISTRIBUTION=BINOMIAL LINK=LOGIT.
    TEMPORARY. SELECT IF split='train'.
    GENLIN purchase (REFERENCE=FIRST) WITH prior_engagement_z discount_10 mobile
     /MODEL prior_engagement_z discount_10 mobile INTERCEPT=YES DISTRIBUTION=BINOMIAL LINK=PROBIT.
    * Use a saved model or OMS workflow to score the unchanged holdout.

    SAS 9.4 TS1M8 · secondaire

    /* SAS 9.4 TS1M8, secondary fit syntax */
    proc import datafile='msc-p026-logit-probit.csv' out=d dbms=csv replace; guessingrows=max; run;
    data d; set d; discount_10=discount_pct/10; run;
    proc logistic data=d(where=(split='train'));
     model purchase(event='1')=prior_engagement_z discount_10 mobile / link=logit;
    run;
    proc logistic data=d(where=(split='train'));
     model purchase(event='1')=prior_engagement_z discount_10 mobile / link=probit;
    run;
    /* Score the same holdout and compute Brier, log-loss, AUC and calibration separately. */

    Python est la référence numériquement vérifiée du tableau publié. R reprend les mêmes modèles et métriques. SPSS et SAS sont des syntaxes secondaires d’ajustement ; leur scoring holdout et leur restitution doivent être complétés et vérifiés dans l’installation locale déclarée.

    18

    Livrable final attendu

    1. 01

      Question, population, unité, horizon, outcome binaire et prédicteurs datés.

    2. 02

      Séparation apprentissage-holdout, prétraitements et spécifications identiques.

    3. 03

      Coefficients sur leur propre échelle, probabilités, effets marginaux avec IC, convergence et séparation.

    4. 04

      Brier, log-loss, AUC, calibration, profils de queue et seuils de décision sur le même holdout.

    5. 05

      Conclusion permise, conclusion interdite, choix humain et règle de réévaluation.

    19

    Sources scientifiques et niveau de preuve

    1. Amemiya (1975), Qualitative Response ModelsArticle fondateur, texte intégral vérifié

      Définit les modèles de réponse binaire et les formes normale et logistique. Indique aussi que les estimations sont souvent proches à un facteur multiplicatif près. Ne démontre pas une équivalence universelle.

    2. Gündüz & Fokoué (2015)Comparaison théorique et computationnelle, texte intégral vérifié

      Documente la proximité centrale, les écarts en queue et la comparaison prédictive des liens binaires. Ses résultats dépendent de ses définitions et contextes ; la conclusion reste bornée.

    3. Dimitriadis et al. (2023)Article méthodologique sur l’évaluation probabiliste, texte intégral vérifié

      Sépare calibration, discrimination et performance prédictive globale, et définit scores de Brier et logarithmique. Ne décide pas quel lien est substantivement adapté à une population marketing.

    4. Nelder & Wedderburn (1972)Fondement des modèles linéaires généralisés, texte intégral vérifié

      Établit la régression pondérée itérative pour l’estimation par maximum de vraisemblance des modèles linéaires généralisés, dont les réponses binomiales.

    5. Hill, Griffiths & Lim (2018), chapter 16Chapitre de référence en économétrie, texte intégral vérifié

      Définit les effets marginaux continus, leur moyenne d’échantillon et l’incertitude par méthode delta. L’intervalle affiché reste conditionnel au dispositif déclaré ici.

    Dataset · Outil

    Dataset · MSC-P-026-LOGIT-PROBITComparaison synthétique Logit et Probit→

    Connexions méthodologiques

    Territoire parentScience client et choix : comportement, valeur et hétérogénéité

    À lire ensuite

    MSC-P-018Régression prédictive ou causale : qu’essaye-t-on d’estimer ?→MSC-P-019Comment diagnostiquer une régression marketing avant de l’interpréter ?→MSC-P-029Quels clients présentent la probabilité de churn la plus élevée ?→