METHODEN-DOSSIERMSC-P-026Wahlmodelle

Logit vs Probit: Wie wählt man für eine Kaufwahrscheinlichkeit?

Beide Links auf denselben Daten anhand von Wahrscheinlichkeiten, marginalen Effekten, Kalibrierung, Brier, Log-Loss, AUC und Randbereichen vergleichen. Rohkoeffizienten liegen auf verschiedenen Skalen.

Direkte Antwort

Einen Link anhand von Wahrscheinlichkeiten, Holdout-Diagnostik, Interpretationsbedarf und Entscheidungsschwellen wählen.

Amemiya, 1975 Gündüz & Fokoué, 2015

Die Antwort in 30 Sekunden

1

Logit und Probit modellieren beide eine binäre Wahrscheinlichkeit aus demselben linearen Prädiktor. Ersteres nutzt die logistische, letzteres die kumulative Normalverteilung.

2

Die Rohkoeffizienten sind wegen unterschiedlicher latenter Skalen nicht direkt vergleichbar. Vergleichen Sie stattdessen vorhergesagte Wahrscheinlichkeiten, marginale Effekte und Leistung auf denselben Beobachtungen.

3

Im synthetischen Beispiel liefern beide Links nahezu denselben durchschnittlichen marginalen Effekt und sehr ähnliche Holdout-Werte. Das belegt keine universelle Austauschbarkeit.

Amemiya (1975), Qualitative Response Models Gündüz & Fokoué (2015)

Drei Leseebenen

1
Entscheidungsebene: prüfen, ob die Linkwahl eine Wahrscheinlichkeit, ein Segment oder eine Entscheidung an einer relevanten Schwelle ändert.
2
Praxis: Daten, Variablen, Train-Test-Aufteilung und Metriken für beide Modelle identisch halten.
3
Analyse: Koeffizientenskala, marginalen Effekt auf Wahrscheinlichkeiten, Kalibrierung, Diskrimination und properen Score trennen.

Konkrete Marketingsituation

Ein CRM-Team möchte die 30-Tage-Kaufwahrscheinlichkeit aus vorherigem Engagement, angezeigtem Rabatt und Mobilgerät schätzen. Es wählt zwischen Logit und Probit. Die sinnvolle Frage lautet nicht, welcher Koeffizient größer ist, sondern ob Wahrscheinlichkeiten, marginale Effekte und Out-of-Sample-Diagnostik zu anderen Entscheidungen führen.

Wissenschaftliche Frage und Estimand

Zielpopulation: berechtigte Kunden, dargestellt durch 1.200 synthetische Beobachtungen. Einheit: ein Kunde. Ergebnis Y: Kauf binnen 30 Tagen. Prädiktiver, nicht kausaler Vergleich. Estimanden: P(Y=1|X) und der über 400 Holdout-Profile gemittelte marginale Engagement-Effekt. Die ersten 800 Zeilen dienen der Schätzung.

P(Y=1|X=x) · AME engagement on holdout X

Amemiya (1975), Qualitative Response Models

Warum ein oberflächlicher Vergleich scheitert

Der Vergleich von 0,991 mit dem Probit-Koeffizienten 0,596 verwechselt Effekt und Normierung der latenten Skala.
Eine Wahl nur nach Trainings-AIC ignoriert Kalibrierung und Out-of-Sample-Generalisierung.
Nur die AUC zu vergleichen ignoriert Kalibrierung, da AUC die Rangfolge und nicht das genaue Wahrscheinlichkeitsniveau abbildet.

Gündüz & Fokoué (2015) Dimitriadis et al. (2023)

Was sich zwischen Logit und Probit wirklich ändert

Was sich zwischen Logit und Probit wirklich ändert
Dimension	Logit	Probit	Sinnvoller Vergleich
Link	log[p/(1−p)]	Φ⁻¹(p)	Vorhergesagte Wahrscheinlichkeit
β	Log-Odds-Skala	Latent-normale Skala	Rohgrößen nicht vergleichen
AME	Über X gemittelte Wahrscheinlichkeitsänderung		Auf Wahrscheinlichkeitsskala vergleichbar

Gündüz & Fokoué (2015)

Benötigte Daten

purchase ist 1 bei einem Kauf binnen 30 Tagen und sonst 0. Eine Zeile entspricht einem Kunden.
prior_engagement_z wird aus N(0,1) gezogen und danach nicht erneut standardisiert. Eine Einheit gehört zu dieser Erzeugungsskala.
discount_pct nimmt 0, 5, 10, 15 oder 20 % an. Das Modell nutzt discount10 = discount_pct / 10, also entspricht eine Einheit 10 Rabattpunkten.
mobile ist 1 für ein Mobilgerät und sonst 0. split ist train für 800 Zeilen und holdout für 400 Zeilen.

Formales Modell und Symbole

AMEₖ = n⁻¹ Σᵢ f(ηᵢ)βₖ, f = Λ(ηᵢ)[1−Λ(ηᵢ)] or φ(ηᵢ)

Gemeinsamer Prädiktor

ηᵢ = β₀ + β₁ engagementᵢ + β₂ discount10ᵢ + β₃ mobileᵢ

i bezeichnet einen Kunden; n=400 feste Holdout-Profile. β wird per Maximum-Likelihood auf 800 Trainingszeilen geschätzt.

Logit

pᵢ = Λ(ηᵢ) = 1 / (1 + exp(−ηᵢ))

Λ ist die logistische CDF und f ihre Dichte. Ein Koeffizient verschiebt Log-Odds, nicht die Wahrscheinlichkeit konstant.

Probit

pᵢ = Φ(ηᵢ)

Φ ist die Standardnormal-CDF und φ ihre Dichte. Der Koeffizient liegt auf einer anderen latenten Skala.

Für Engagement ist der AME die mittlere lokale Wahrscheinlichkeitsableitung je Einheit der Erzeugungsskala, in Prozentpunkten. Er ist nicht die endliche Änderung von X auf X+1.

Nelder & Wedderburn (1972) Hill, Griffiths & Lim (2018), chapter 16

Deklarierte Berechnung, Schritt für Schritt

01
Stichprobe fixieren: 800 Trainings- und 400 Holdout-Zeilen.
02
Beide Links mit gleichem Ergebnis, Prädiktoren und Interzept schätzen.
03
Holdout-Wahrscheinlichkeiten, dann Brier, Log-Loss, AUC und Calibration-in-the-Large berechnen.
04
Den Engagement-AME über 400 feste Profile und sein 95-%-Delta-KI mit der auf Trainingsdaten geschätzten Fisher-Kovarianz berechnen.
05
Zwei Randprofile prüfen und feststellen, ob eine Geschäftsschwelle überschritten wird.

Nelder & Wedderburn (1972) Hill, Griffiths & Lim (2018), chapter 16 Dimitriadis et al. (2023)

Durchgängiges Zahlenbeispiel

Synthetischer Lerndatensatz. Er beschreibt keine reale Kampagne.

Seed 20260819. Das Ergebnis stammt aus einem didaktischen logistischen Prozess, ohne universellen oder realen Geltungsanspruch.

MSC-P-026 · Holdout n=400 · Kaufrate 38,75 %
Metrik	Logit	Probit
β engagement	0.991442	0.596133
AME engagement	19.8738 pp	19.8780 pp
95% CI AME	[17.1598; 22.5878] pp	[17.1767; 22.5794] pp
Brier	0.175319	0.175367
Log-loss	0.527456	0.527414
AUC	0.809401	0.809743
Calibration p̄−ȳ	+0.006011	+0.006850
p(engagement=−2)	0.084485	0.076382
p(engagement=+2)	0.829609	0.830134

Die Randprofile setzen discount_pct=10, discount10=1 und mobile=1 fest; nur Engagement wechselt zwischen −2 und +2 auf der Erzeugungsskala.

Synthetische CSV herunterladen

Lesart: Die Metrikabstände sind in diesem Holdout minimal; das Profil bei −2 unterscheidet sich um 0,81 Punkte. Stichprobenunsicherheit wird für den AME, nicht für jede Metrikdifferenz berichtet.

Das AME-Intervall konditioniert auf 400 beobachtete Holdout-Kovariatenprofile und nutzt die Fisher-Kovarianz aus 800 Trainingszeilen. Unsicherheit der Profilverteilung oder Metrikdifferenzen ist nicht enthalten.

Gültigkeitsannahmen

Spezifikation: Derselbe lineare Prädiktor enthält die relevanten Variablen und Transformationen für jeden Link.
Unabhängigkeit für die gezeigte Inferenz: kein restliches Clustering nach Haushalt, Geschäft oder Kampagne. Sonst Unsicherheit anpassen.
Überlappung: keine perfekte Separation und keine Profile außerhalb des Trainingsbereichs.
Die wahre Linkform und Übertragbarkeit auf eine andere Periode lassen sich nicht allein durch Modellfit belegen.

Diagnostik und Unsicherheit

Schätzung

Beide Fits konvergieren in 6 bzw. 8 Iterationen. Das Standardbibliothek-Skript berechnet weder Separation noch Einfluss; diese Diagnosen bleiben vor operativer Nutzung erforderlich.

Wahrscheinlichkeitsqualität

Brier und Log-Loss fassen die Wahrscheinlichkeitsgenauigkeit zusammen; global werden 0,60 bzw. 0,69 Punkte überprognostiziert.

Diskrimination und Unsicherheit

AUC liegt für beide nahe 0,81, bewertet aber keine Kalibrierung. Die Delta-KI der AME überlappen fast vollständig; dies ist kein Äquivalenztest.

Dimitriadis et al. (2023)

Ergebnisse interpretieren

Das Verhältnis 0,991/0,596 spiegelt vor allem die Skala, nicht einen fast doppelt so großen Effekt.
AME von 19,87 und 19,88 Punkten liegen in diesem Bereich auf der Wahrscheinlichkeitsskala numerisch sehr nahe beieinander.
Kein Modell dominiert alle Metriken: Logit hat einen leicht niedrigeren Brier, Probit leicht besseren Log-Loss und AUC.

Zulässige und unzulässige Schlüsse

Zulässig

Feststellen, dass Logit- und Probit-Wahrscheinlichkeiten und marginale Effekte in diesem synthetischen Holdout sehr ähnlich sind.
Logit vorläufig für Odds-Ratio-Interpretation bevorzugen oder Probit bei sachlich begründeter latent-normaler Darstellung beibehalten.

Unzulässig

Aus einem größeren Koeffizienten über Links hinweg einen stärkeren Marketingeffekt ableiten.
Die prädiktive Engagement-Assoziation als kausalen Interventionseffekt darstellen.
Den kleinen Unterschied dieses Beispiels auf alle Stichproben, Spezifikationen, seltenen Klassen oder Randbereiche übertragen.

Mögliche Marketingentscheidung

Für dieses Dossier kann Logit als Arbeitsmodell gewählt werden, weil die Punktschätzungen in diesem Holdout sehr ähnlich sind und Odds Ratios die Kommunikation erleichtern. Dies ist kein Äquivalenztest. Wahrscheinlichkeitsvergleich und Neubewertung bleiben bei Änderungen von Population, Seltenheit oder Schwellen nötig.

Gündüz & Fokoué (2015)

Wann einsetzen und wann nicht

Einsetzen

Logit oder Probit für ein binäres Ergebnis einsetzen, wenn bedingte Wahrscheinlichkeit und Diagnostik das Ziel sind.

Nicht allein einsetzen

Nicht allein zur Identifikation kausaler Effekte, für longitudinale Abhängigkeit oder Ereigniszeiten verwenden.

Alternativen

Alternativen: Complementary Log-Log bei begründeter Asymmetrie, gemischte Modelle oder GEE bei Abhängigkeit, Überlebensmodelle für Zeit, kausale Methoden für Interventionen.

Reproduzierbare Implementierungen

Python-Referenzskript herunterladen

Python 3.13.7 · standard library · Referenz

python msc-p026-reference.py --csv msc-p026-logit-probit.csv
# rows=1200 train=800 holdout=400
# Fits Logit and Probit by Fisher scoring.
# Reports AME delta-method CI, Brier, log-loss, AUC, calibration and declared tail profiles.

R 4.5.1 · stats/utils · Referenz

# R 4.5.1, base stats/utils only
d <- read.csv("msc-p026-logit-probit.csv")
train <- subset(d, split == "train")
holdout <- subset(d, split == "holdout")
formula <- purchase ~ prior_engagement_z + I(discount_pct/10) + mobile

auc <- function(y, p) mean(outer(p[y==1], p[y==0], ">") + .5*outer(p[y==1], p[y==0], "=="))
for (link in c("logit", "probit")) {
  fit <- glm(formula, data=train, family=binomial(link=link))
  eta <- predict(fit, newdata=holdout, type="link")
  p <- predict(fit, newdata=holdout, type="response")
  dmu <- if (link == "logit") p*(1-p) else dnorm(eta)
  ame <- mean(dmu*coef(fit)["prior_engagement_z"])
  ame_fun <- function(b) {
    e <- model.matrix(formula, holdout) %*% b
    mean((if (link=="logit") plogis(e)*(1-plogis(e)) else dnorm(e))*b[2])
  }
  eps <- 1e-5; b <- coef(fit)
  grad <- sapply(seq_along(b), function(j) {u<-v<-b;u[j]<-u[j]+eps;v[j]<-v[j]-eps;(ame_fun(u)-ame_fun(v))/(2*eps)})
  se <- sqrt(drop(t(grad) %*% vcov(fit) %*% grad))
  print(c(link=link, AME=ame, low=ame-1.959964*se, high=ame+1.959964*se,
    Brier=mean((p-holdout$purchase)^2), LogLoss=-mean(holdout$purchase*log(p)+(1-holdout$purchase)*log(1-p)),
    AUC=auc(holdout$purchase,p), Calibration=mean(p)-mean(holdout$purchase)))
}

IBM SPSS Statistics 31.0.0.0 · sekundär

* IBM SPSS Statistics 31, secondary fit syntax.
GET DATA /TYPE=TXT /FILE='msc-p026-logit-probit.csv' /FIRSTCASE=2
 /DELIMITERS=',' /VARIABLES=customer_id A5 split A7
 prior_engagement_z F10.6 discount_pct F2.0 mobile F1.0 purchase F1.0.
COMPUTE discount_10=discount_pct/10.
TEMPORARY. SELECT IF split='train'.
GENLIN purchase (REFERENCE=FIRST) WITH prior_engagement_z discount_10 mobile
 /MODEL prior_engagement_z discount_10 mobile INTERCEPT=YES DISTRIBUTION=BINOMIAL LINK=LOGIT.
TEMPORARY. SELECT IF split='train'.
GENLIN purchase (REFERENCE=FIRST) WITH prior_engagement_z discount_10 mobile
 /MODEL prior_engagement_z discount_10 mobile INTERCEPT=YES DISTRIBUTION=BINOMIAL LINK=PROBIT.
* Use a saved model or OMS workflow to score the unchanged holdout.

SAS 9.4 TS1M8 · sekundär

/* SAS 9.4 TS1M8, secondary fit syntax */
proc import datafile='msc-p026-logit-probit.csv' out=d dbms=csv replace; guessingrows=max; run;
data d; set d; discount_10=discount_pct/10; run;
proc logistic data=d(where=(split='train'));
 model purchase(event='1')=prior_engagement_z discount_10 mobile / link=logit;
run;
proc logistic data=d(where=(split='train'));
 model purchase(event='1')=prior_engagement_z discount_10 mobile / link=probit;
run;
/* Score the same holdout and compute Brier, log-loss, AUC and calibration separately. */

Python ist die numerisch verifizierte Referenz. R spiegelt Modelle und Metriken. SPSS und SAS sind sekundäre Fit-Syntax; Holdout-Scoring und Ausgabe müssen lokal vervollständigt und geprüft werden.

Erwartetes Endergebnis

01
Frage, Population, Einheit, Horizont, binäres Ergebnis und datierte Prädiktoren.
02
Train-Holdout-Aufteilung, Vorverarbeitung und identische Spezifikationen.
03
Koeffizienten auf eigener Skala, Wahrscheinlichkeiten, marginale Effekte mit KI, Konvergenz und Separation.
04
Brier, Log-Loss, AUC, Kalibrierung, Randprofile und Entscheidungsschwellen auf demselben Holdout.
05
Zulässiger und unzulässiger Schluss, menschliche Wahl und Neubewertungsregel.

Wissenschaftliche Quellen und Evidenzniveau

Amemiya (1975), Qualitative Response ModelsGrundlagenartikel, Volltext geprüft
Definiert binäre Response-Modelle sowie Normal- und Logistikform. Schätzungen sind oft bis auf einen Faktor ähnlich. Keine universelle Äquivalenz.
Gündüz & Fokoué (2015)Theoretischer und rechnerischer Vergleich, Volltext geprüft
Dokumentiert zentrale Ähnlichkeit, Randunterschiede und prädiktive Vergleiche. Ergebnisse hängen von Definitionen und Kontexten ab; der Schluss bleibt begrenzt.
Dimitriadis et al. (2023)Methodischer Artikel zur probabilistischen Bewertung, Volltext geprüft
Trennt Kalibrierung, Diskrimination und Gesamtleistung und definiert Brier und Log-Score. Entscheidet nicht, welcher Link für eine Marketingpopulation sachlich passt.
Nelder & Wedderburn (1972)Grundlage generalisierter linearer Modelle, Volltext geprüft
Begründet iterative gewichtete Regression zur Maximum-Likelihood-Schätzung generalisierter linearer Modelle einschließlich binärer Antworten.
Hill, Griffiths & Lim (2018), chapter 16Ökonometrisches Referenzkapitel, Volltext geprüft
Definiert kontinuierliche Marginaleffekte, Stichprobenmittel und Delta-Unsicherheit. Das gezeigte Intervall bleibt auf das erklärte Design konditioniert.

Datensatz · Werkzeug

Datensatz · MSC-P-026-LOGIT-PROBITSynthetischer Logit-Probit-Vergleich→

Methodische Verbindungen

Übergeordnetes GebietKunden- und Wahlforschung: Verhalten, Wert und Heterogenität