FICHE MÉTHODEMSC-P-026Modèles de choix

Logit vs Probit : comment choisir pour une probabilité d’achat ?

Comparez les deux liens sur les mêmes données : probabilités, effets marginaux, calibration, Brier, log-loss, AUC et zones de queue. Les coefficients bruts vivent sur des échelles différentes.

Réponse directe

Choisir un lien à partir des probabilités, diagnostics holdout, besoins d’interprétation et seuils de décision.

Comparez les deux liens sur les mêmes données : probabilités, effets marginaux, calibration, Brier, log-loss, AUC et zones de queue. Les coefficients bruts vivent sur des échelles différentes.

Amemiya, 1975 Gündüz & Fokoué, 2015

La réponse en 30 secondes

1

Logit et Probit modélisent tous deux une probabilité binaire à partir du même prédicteur linéaire. Le premier utilise la fonction logistique, le second la fonction normale cumulée.

2

Leurs coefficients bruts ne sont pas directement comparables, car l’échelle latente change. Comparez plutôt probabilités prédites, effets marginaux et performances sur les mêmes observations.

3

Dans l’exemple synthétique, les deux liens donnent presque le même effet marginal moyen et des scores holdout très proches. Cela ne prouve pas qu’ils sont interchangeables dans toute population.

Amemiya (1975), Qualitative Response Models Gündüz & Fokoué (2015)

Trois niveaux de lecture

1
Décideur : demandez si le choix du lien change une probabilité, un segment ou une décision à un seuil pertinent.
2
Praticien : gardez données, variables, séparation apprentissage-test et métriques identiques pour les deux modèles.
3
Analyste : distinguez échelle du coefficient, effet marginal sur la probabilité, calibration, discrimination et score propre.

Situation marketing concrète

Une équipe CRM veut estimer la probabilité d’achat à 30 jours à partir de l’engagement antérieur, de la remise affichée et du terminal mobile. Elle hésite entre Logit et Probit. La bonne question n’est pas « quel coefficient est le plus grand ? », mais « les probabilités, effets marginaux et diagnostics hors échantillon conduisent-ils à une décision différente ? »

Question scientifique et estimand

Population cible : clients éligibles représentés par 1 200 observations synthétiques. Unité : un client. Outcome Y : achat sous 30 jours. Comparaison prédictive, non causale. Estimands : fonction P(Y=1|X) et effet marginal moyen de l’engagement, moyenné sur les 400 covariables du holdout. Les 800 premières lignes servent à l’estimation.

P(Y=1|X=x) · AME engagement on holdout X

Amemiya (1975), Qualitative Response Models

Pourquoi une comparaison superficielle échoue

Comparer 0,991 au coefficient Probit 0,596 confond effet et normalisation de l’échelle latente.
Choisir uniquement avec l’AIC d’apprentissage ignore calibration et généralisation hors échantillon.
Comparer seulement l’AUC ignore la calibration, car l’AUC dépend du classement et non du niveau exact des probabilités.

Gündüz & Fokoué (2015) Dimitriadis et al. (2023)

Ce qui change réellement entre Logit et Probit

Ce qui change réellement entre Logit et Probit
Dimension	Logit	Probit	Comparaison utile
Link	log[p/(1−p)]	Φ⁻¹(p)	Probabilité prédite
β	Échelle log-odds	Échelle normale latente	Ne pas comparer les amplitudes brutes
AME	Variation de probabilité moyennée sur X		Comparable sur l’échelle des probabilités

Gündüz & Fokoué (2015)

Données nécessaires

purchase vaut 1 pour un achat sous 30 jours et 0 sinon. Une ligne représente un client.
prior_engagement_z est tiré d’une loi N(0,1) puis conservé sans restandardisation après tirage. Une unité appartient à cette échelle génératrice.
discount_pct prend 0, 5, 10, 15 ou 20 %. Le modèle utilise discount10 = discount_pct / 10, donc une unité vaut 10 points de remise.
mobile vaut 1 pour un terminal mobile et 0 sinon. split vaut train pour 800 lignes et holdout pour 400 lignes.

Modèle formel et symboles

AMEₖ = n⁻¹ Σᵢ f(ηᵢ)βₖ, f = Λ(ηᵢ)[1−Λ(ηᵢ)] or φ(ηᵢ)

Prédicteur commun

ηᵢ = β₀ + β₁ engagementᵢ + β₂ discount10ᵢ + β₃ mobileᵢ

i indexe un client ; n=400 profils holdout fixes. β est estimé par maximum de vraisemblance sur 800 lignes d’apprentissage.

Logit

pᵢ = Λ(ηᵢ) = 1 / (1 + exp(−ηᵢ))

Λ est la fonction logistique cumulée et f sa densité. Un coefficient déplace les log-odds, pas la probabilité d’une constante.

Probit

pᵢ = Φ(ηᵢ)

Φ est la fonction normale cumulée et φ sa densité. Le coefficient vit sur une autre échelle latente.

Pour l’engagement, l’AME est la dérivée locale moyenne de la probabilité par unité de l’échelle génératrice, rapportée en points de pourcentage. Ce n’est pas la variation finie de X à X+1.

Nelder & Wedderburn (1972) Hill, Griffiths & Lim (2018), chapter 16

Calcul déclaré, étape par étape

01
Figer l’échantillon : 800 lignes d’apprentissage et 400 lignes holdout.
02
Ajuster les deux liens avec le même outcome, les mêmes prédicteurs et le même intercept.
03
Calculer les probabilités holdout, puis Brier, log-loss, AUC et calibration-in-the-large.
04
Calculer l’AME de l’engagement sur les 400 profils fixes et son IC delta à 95 % avec la covariance de Fisher estimée sur l’apprentissage.
05
Examiner deux profils de queue et vérifier si un seuil métier change de côté.

Nelder & Wedderburn (1972) Hill, Griffiths & Lim (2018), chapter 16 Dimitriadis et al. (2023)

Exemple numérique de bout en bout

Dataset synthétique créé pour l’apprentissage. Il ne décrit aucune campagne réelle.

Graine 20260819. L’outcome est généré par un processus logistique pédagogique, ce qui n’autorise ni conclusion universelle ni affirmation sur le réel.

MSC-P-026 · holdout n=400 · taux d’achat 38,75 %
Métrique	Logit	Probit
β engagement	0.991442	0.596133
AME engagement	19.8738 pp	19.8780 pp
95% CI AME	[17.1598; 22.5878] pp	[17.1767; 22.5794] pp
Brier	0.175319	0.175367
Log-loss	0.527456	0.527414
AUC	0.809401	0.809743
Calibration p̄−ȳ	+0.006011	+0.006850
p(engagement=−2)	0.084485	0.076382
p(engagement=+2)	0.829609	0.830134

Les profils de queue fixent discount_pct=10, discount10=1 et mobile=1 ; seul l’engagement change entre les valeurs −2 et +2 de l’échelle génératrice.

Télécharger le CSV synthétique

Lecture : les écarts de métriques sont minuscules sur ce holdout ; le profil de queue à −2 diffère de 0,81 point. L’incertitude d’échantillonnage est rapportée pour l’AME, pas pour chaque écart de métrique.

L’intervalle de l’AME conditionne sur les 400 profils de covariables holdout observés et utilise la covariance de Fisher de l’ajustement sur 800 lignes. Il ne quantifie ni l’incertitude de la distribution des profils ni celle des écarts de métriques.

Hypothèses de validité

Spécification : le même prédicteur linéaire contient les variables et transformations pertinentes pour chaque lien.
Indépendance pour l’inférence affichée : sans regroupement résiduel par ménage, magasin ou campagne. Sinon, adapter l’incertitude.
Recouvrement : pas de séparation parfaite ni de profils hors du domaine couvert par l’apprentissage.
La forme vraie du lien et la transportabilité vers une autre période ne sont pas démontrables par le seul ajustement du modèle.

Diagnostics et incertitude

Estimation

Les deux ajustements convergent en 6 et 8 itérations. Ce script en bibliothèque standard ne calcule ni séparation ni influence ; ces diagnostics restent requis avant tout usage opérationnel.

Qualité probabiliste

Brier et log-loss résument la précision probabiliste ; la calibration globale montre une sur-prédiction moyenne de 0,60 et 0,69 point.

Discrimination et incertitude

L’AUC approche 0,81 pour les deux liens mais n’évalue pas la calibration. Les IC delta des AME se recouvrent presque totalement ; ce n’est pas un test d’équivalence.

Dimitriadis et al. (2023)

Interpréter les résultats

Le rapport 0,991/0,596 reflète surtout une différence d’échelle, pas un effet presque deux fois supérieur.
Les AME de 19,87 et 19,88 points sont numériquement très proches sur l’échelle de probabilité dans ce support.
Aucun modèle ne domine sur toutes les métriques : Logit a un Brier légèrement inférieur, Probit un log-loss et une AUC légèrement meilleurs.

Conclusions permises et interdites

Recevable

Dire que, dans ce holdout synthétique, les probabilités et effets marginaux Logit et Probit sont très proches.
Préférer provisoirement Logit pour l’interprétation en odds ratios, ou conserver Probit si une représentation normale latente est substantivement justifiée.

Interdit

Déduire qu’un coefficient plus grand signifie un effet marketing plus fort entre deux liens.
Présenter l’association prédictive de l’engagement comme un effet causal d’une intervention.
Généraliser l’écart minime de cet exemple à toutes les tailles d’échantillon, spécifications, classes rares ou zones de queue.

Décision marketing possible

Pour ce dossier, la responsable peut retenir Logit comme modèle de travail parce que les estimations ponctuelles sont très proches sur ce holdout et que les odds ratios facilitent la communication. Ce constat n’est pas un test d’équivalence. Elle doit conserver la comparaison des probabilités et une règle de réévaluation si la population, la rareté de l’événement ou les seuils changent.

Gündüz & Fokoué (2015)

Quand utiliser, quand ne pas utiliser

Utiliser

Utiliser Logit ou Probit pour un outcome binaire lorsque la probabilité conditionnelle et ses diagnostics sont la cible.

Ne pas utiliser seul

Ne pas les utiliser seuls pour attribuer un effet causal, gérer une dépendance longitudinale ou modéliser un temps jusqu’à événement.

Alternatives

Alternatives : complementary log-log pour une asymétrie justifiée, modèles mixtes ou GEE pour dépendance, survie pour délai, méthodes causales pour intervention.

Implémentations reproductibles

Télécharger le script Python de référence

Python 3.13.7 · standard library · référence

python msc-p026-reference.py --csv msc-p026-logit-probit.csv
# rows=1200 train=800 holdout=400
# Fits Logit and Probit by Fisher scoring.
# Reports AME delta-method CI, Brier, log-loss, AUC, calibration and declared tail profiles.

R 4.5.1 · stats/utils · référence

# R 4.5.1, base stats/utils only
d <- read.csv("msc-p026-logit-probit.csv")
train <- subset(d, split == "train")
holdout <- subset(d, split == "holdout")
formula <- purchase ~ prior_engagement_z + I(discount_pct/10) + mobile

auc <- function(y, p) mean(outer(p[y==1], p[y==0], ">") + .5*outer(p[y==1], p[y==0], "=="))
for (link in c("logit", "probit")) {
  fit <- glm(formula, data=train, family=binomial(link=link))
  eta <- predict(fit, newdata=holdout, type="link")
  p <- predict(fit, newdata=holdout, type="response")
  dmu <- if (link == "logit") p*(1-p) else dnorm(eta)
  ame <- mean(dmu*coef(fit)["prior_engagement_z"])
  ame_fun <- function(b) {
    e <- model.matrix(formula, holdout) %*% b
    mean((if (link=="logit") plogis(e)*(1-plogis(e)) else dnorm(e))*b[2])
  }
  eps <- 1e-5; b <- coef(fit)
  grad <- sapply(seq_along(b), function(j) {u<-v<-b;u[j]<-u[j]+eps;v[j]<-v[j]-eps;(ame_fun(u)-ame_fun(v))/(2*eps)})
  se <- sqrt(drop(t(grad) %*% vcov(fit) %*% grad))
  print(c(link=link, AME=ame, low=ame-1.959964*se, high=ame+1.959964*se,
    Brier=mean((p-holdout$purchase)^2), LogLoss=-mean(holdout$purchase*log(p)+(1-holdout$purchase)*log(1-p)),
    AUC=auc(holdout$purchase,p), Calibration=mean(p)-mean(holdout$purchase)))
}

IBM SPSS Statistics 31.0.0.0 · secondaire

* IBM SPSS Statistics 31, secondary fit syntax.
GET DATA /TYPE=TXT /FILE='msc-p026-logit-probit.csv' /FIRSTCASE=2
 /DELIMITERS=',' /VARIABLES=customer_id A5 split A7
 prior_engagement_z F10.6 discount_pct F2.0 mobile F1.0 purchase F1.0.
COMPUTE discount_10=discount_pct/10.
TEMPORARY. SELECT IF split='train'.
GENLIN purchase (REFERENCE=FIRST) WITH prior_engagement_z discount_10 mobile
 /MODEL prior_engagement_z discount_10 mobile INTERCEPT=YES DISTRIBUTION=BINOMIAL LINK=LOGIT.
TEMPORARY. SELECT IF split='train'.
GENLIN purchase (REFERENCE=FIRST) WITH prior_engagement_z discount_10 mobile
 /MODEL prior_engagement_z discount_10 mobile INTERCEPT=YES DISTRIBUTION=BINOMIAL LINK=PROBIT.
* Use a saved model or OMS workflow to score the unchanged holdout.

SAS 9.4 TS1M8 · secondaire

/* SAS 9.4 TS1M8, secondary fit syntax */
proc import datafile='msc-p026-logit-probit.csv' out=d dbms=csv replace; guessingrows=max; run;
data d; set d; discount_10=discount_pct/10; run;
proc logistic data=d(where=(split='train'));
 model purchase(event='1')=prior_engagement_z discount_10 mobile / link=logit;
run;
proc logistic data=d(where=(split='train'));
 model purchase(event='1')=prior_engagement_z discount_10 mobile / link=probit;
run;
/* Score the same holdout and compute Brier, log-loss, AUC and calibration separately. */

Python est la référence numériquement vérifiée du tableau publié. R reprend les mêmes modèles et métriques. SPSS et SAS sont des syntaxes secondaires d’ajustement ; leur scoring holdout et leur restitution doivent être complétés et vérifiés dans l’installation locale déclarée.

Livrable final attendu

01
Question, population, unité, horizon, outcome binaire et prédicteurs datés.
02
Séparation apprentissage-holdout, prétraitements et spécifications identiques.
03
Coefficients sur leur propre échelle, probabilités, effets marginaux avec IC, convergence et séparation.
04
Brier, log-loss, AUC, calibration, profils de queue et seuils de décision sur le même holdout.
05
Conclusion permise, conclusion interdite, choix humain et règle de réévaluation.

Sources scientifiques et niveau de preuve

Amemiya (1975), Qualitative Response ModelsArticle fondateur, texte intégral vérifié
Définit les modèles de réponse binaire et les formes normale et logistique. Indique aussi que les estimations sont souvent proches à un facteur multiplicatif près. Ne démontre pas une équivalence universelle.
Gündüz & Fokoué (2015)Comparaison théorique et computationnelle, texte intégral vérifié
Documente la proximité centrale, les écarts en queue et la comparaison prédictive des liens binaires. Ses résultats dépendent de ses définitions et contextes ; la conclusion reste bornée.
Dimitriadis et al. (2023)Article méthodologique sur l’évaluation probabiliste, texte intégral vérifié
Sépare calibration, discrimination et performance prédictive globale, et définit scores de Brier et logarithmique. Ne décide pas quel lien est substantivement adapté à une population marketing.
Nelder & Wedderburn (1972)Fondement des modèles linéaires généralisés, texte intégral vérifié
Établit la régression pondérée itérative pour l’estimation par maximum de vraisemblance des modèles linéaires généralisés, dont les réponses binomiales.
Hill, Griffiths & Lim (2018), chapter 16Chapitre de référence en économétrie, texte intégral vérifié
Définit les effets marginaux continus, leur moyenne d’échantillon et l’incertitude par méthode delta. L’intervalle affiché reste conditionnel au dispositif déclaré ici.

Dataset · Outil

Dataset · MSC-P-026-LOGIT-PROBITComparaison synthétique Logit et Probit→

Connexions méthodologiques

Territoire parentScience client et choix : comportement, valeur et hétérogénéité