Research & Evidence

Methode suchen

Titel, Fragen, Gebiete und MSC-Kennungen durchsuchen.

    ← Alle Methoden
    METHODEN-DOSSIERMSC-P-004Grundlagen der EvidenzGeprüftes wissenschaftliches Dossier

    Signifikanz oder Effektgröße: Welches Ergebnis ist zu interpretieren?

    Der p-Wert misst die Vereinbarkeit der Daten mit einem Nullmodell. Die Effektgröße beschreibt die beobachtete Größenordnung und braucht Intervall sowie praktische Relevanzschwelle.

    Wissenschaftliche Redaktion: Marketing Science Center

    Direkte Antwort

    Nachweis, Größenordnung und Präzision gemeinsam beurteilen.

    Der p-Wert misst die Vereinbarkeit der Daten mit einem Nullmodell. Die Effektgröße beschreibt die beobachtete Größenordnung und braucht Intervall sowie praktische Relevanzschwelle.

    American Statistical Association, 2016Lakens, 2013

    01

    Die Entscheidungsregel

    Interpretieren Sie stets vier Größen gemeinsam: Effektschätzung, Intervall, p-Wert des deklarierten Tests und vorab festgelegte praktische Relevanzschwelle. Ein kleiner p-Wert misst weder Größe noch Nutzen; ein großer belegt keine Abwesenheit.

    American Statistical Association (2016)

    02

    Drei Leseebenen

    1. 1

      Entscheidungsebene: Fragen Sie, ob das Intervall die Geschäftsschwelle überschreitet, nicht nur ob p unter 0,05 liegt.

    2. 2

      Praxis: Berichten Sie absolute Differenz, relativen Lift, Intervall, p-Wert, Stichprobengrößen und Multiplizitätsregel.

    3. 3

      Analyse: Definieren Sie Estimand, Stichprobenprozess, δ, Intervallniveau und Sensitivitätsanalyse.

    03

    Konkrete Marketingsituation

    Ein Team vergleicht zwei Conversion-Raten und entscheidet über den Rollout. Die Änderung erfordert mindestens +1 Prozentpunkt. Die eigentliche Frage lautet: Welche Größen sind mit den Daten vereinbar und überschreiten diese Schwelle?

    04

    Exakte wissenschaftliche Frage

    Wie groß ist in den deklarierten Populationen, Einheiten und Zeitfenstern die deskriptive Differenz Δ = πB − πA, mit welcher Präzision, und ist das Intervall mit null, einem nützlichen Effekt δ oder [−δ,+δ] vereinbar?

    05

    Warum p < 0,05 nicht genügt

    • Bei sehr großem n kann eine winzige Differenz einen kleinen p-Wert ohne wirtschaftlichen Wert erzeugen.
    • Ein nicht signifikantes Ergebnis kann zu unpräzise sein, um Abwesenheit, Schaden oder Nutzen zu unterscheiden.
    • δ erst nach Sichtung der Daten festzulegen macht die Geschäftsregel zur nachträglichen Rechtfertigung.

    American Statistical Association (2016) Lakens, Scheel & Isager (2018)

    06

    Intuition vor den Gleichungen

    • Der p-Wert beantwortet eine Vereinbarkeitsfrage unter einem deklarierten Nullmodell; er ist nicht die Wahrscheinlichkeit, dass H0 wahr ist.
    • Die Effektgröße gibt die Größenordnung auf einer gewählten Skala an; das Intervall zeigt noch mit Daten und Modell vereinbare Werte.
    • Die Schwelle δ übersetzt Kosten, Marge oder Risiko in eine minimale nützliche Differenz; sie ist keine universelle Konstante.

    Lakens (2013)

    07

    Benötigte Daten

    • Zwei unabhängige Binomialgruppen, nA/nB und Conversions yA/yB; keine kausale Zuweisung wird behauptet.
    • Gleiche Conversion-Definition, gleiches Beobachtungsfenster und ausdrücklich vergleichbare Populationen.
    • Praktische Schwelle δ = 1 Prozentpunkt vor der Analyse; Alpha = 5 % und Testfamilie deklariert.

    08

    Formales Modell und Symbole

    Effekt

    πA,πB; Δ=πB−πAp̂A=yA/nA; p̂B=yB/nB; Δ̂=p̂B−p̂A; lift=Δ̂/p̂A

    nA,nB: Einheiten; yA,yB: Conversions; π: Populationsparameter; p̂: beobachtete Rate; Δ: Estimand; Δ̂: Schätzer; δ: vorab festgelegte minimale nützliche Differenz.

    Unsicherheit

    H0:Δ=0; p̂pool=(yA+yB)/(nA+nB); SE0=√[p̂pool(1−p̂pool)(1/nA+1/nB)]; z=Δ̂/SE0; p=2Φ(−|z|)SE=√[p̂A(1−p̂A)/nA+p̂B(1−p̂B)/nB]; CI95=Δ̂±z0.975SE; CI90=Δ̂±z0.95SETOST: H01:Δ≤−δ; H02:Δ≥+δ; max(p1,p2)<α

    α ist das deklarierte Fehlerniveau erster Art; Φ die Standardnormalverteilung; zq ihr q-Quantil. Das Wald-KI wird hier nur bei großen Zählwerten verwendet; bei fragiler Approximation ist eine Score-Methode vorzuziehen.

    Fagerland, Lydersen & Laake (2015) Lakens, Scheel & Isager (2018)

    09

    Deklarierte Berechnung, Schritt für Schritt

    1. 01

      Population, Fenster, Metrik, Alpha, Multiplizität und δ vor Ergebnissen festlegen.

    2. 02

      Raten, Δ in Prozentpunkten und relativen Lift berechnen, ohne die Einheit zu wechseln.

    3. 03

      p unter H0:Δ=0 und das 95-%-KI berechnen; für Äquivalenz [−δ,+δ] mit zwei einseitigen Tests prüfen.

    4. 04

      Das Ergebnis relativ zu null und δ klassifizieren und anschließend die Entscheidung sowie das, was sie nicht belegt, dokumentieren.

    10

    Vier Ergebnisse mit unterschiedlicher Bedeutung

    Synthetische Illustration — Lehrwerte, nicht beobachtet

    Vier Ergebnisse mit unterschiedlicher Bedeutung
    SzenarioZählwerte A → BRaten A → BΔ̂Relativer Liftp95-%-KI90-%-KITOST pEntscheidung
    detectable_negligible500000/50000 → 500000/5100010,000 % → 10,200 %0,200 pp2,000 %0,0009046[0,0819; 0,3181][0,1009; 0,2991]1,62e-40detectable-but-negligible
    inconclusive1000/100 → 1000/12010,000 % → 12,000 %2,000 pp20,000 %0,152918[-0,7411; 4,7411][-0,3004; 4,3004]0,762700inconclusive
    practically_convincing10000/1000 → 10000/125010,000 % → 12,500 %2,500 pp25,000 %2,21e-8[1,6248; 3,3752][1,7655; 3,2345]0,999609practically-convincing-benefit
    practically_equivalent50000/5000 → 50000/502510,000 % → 10,050 %0,050 pp0,500 %0,792373[-0,3223; 0,4223][-0,2624; 0,3624]2,85e-7practically-equivalent

    Das erste Szenario verwirft sowohl Δ=0 als auch Effekte von mindestens 1 Prozentpunkt: Es ist statistisch nachweisbar und liegt in der praktischen Vernachlässigbarkeitszone. Dieses Doppelergebnis folgt nie allein aus dem Punktschätzer.

    CSV Python · MIT R · MIT SPSS · MIT SAS · MIT

    11

    Gültigkeitsannahmen

    • Sind Einheiten innerhalb und zwischen Gruppen unabhängig? Falls nicht: Berücksichtigt die Varianz die tatsächliche Abhängigkeit?
    • Hat jede Einheit ein binäres Ergebnis, eine stabile Wahrscheinlichkeit in ihrer Gruppe und genau eine Beobachtung im Zeitfenster?
    • Sind die Zählwerte groß genug für die Normalapproximation? Falls nicht: Wird eine passende Binomial- oder Score-Methode verwendet?
    • Stammt δ aus einer dokumentierten, vor der Analyse festgelegten Wertfunktion statt aus dem beobachteten Ergebnis?

    12

    Diagnostik und Unsicherheit

    Alle vier Binomialzählungen, Nenner und fehlende Einheiten-Duplikate prüfen.

    95-%-KI für Δ und 90-%-KI für TOST berichten; übermäßige Breite bedeutet unzureichende Information.

    Lesart für vertretbare δ-Werte und vorab deklarierte Multiplizitätskorrektur wiederholen.

    13

    Ergebnis interpretieren

    • Nachweisbar, aber vernachlässigbar: null ist ausgeschlossen und das 90-%-KI liegt vollständig in [−δ,+δ]; der Punktschätzer allein genügt nicht.
    • Unentschieden: Das Intervall enthält null und nützliche Effekte; mehr Daten oder Entscheidung unter explizitem Risiko.
    • Praktisch überzeugend: Das 95-%-KI überschreitet δ in nützlicher Richtung unter den deklarierten Annahmen.
    • Praktisch äquivalent: Das 90-%-KI liegt in [−δ,+δ] und beide einseitigen Tests bestehen.

    14

    Vertretbare und unzulässige Schlussfolgerungen

    Vertretbar

    • Größe und Präzision für beobachtete Populationen beschreiben.
    • Angeben, welche nützlichen oder vernachlässigbaren Werte mit den Daten vereinbar bleiben.

    Unzulässig

    • Signifikanz in Wichtigkeit, Wahrscheinlichkeit von H0 oder Kausalität umdeuten.
    • p ≥ 0,05 ohne begründeten Äquivalenztest als Abwesenheitsbeleg interpretieren.

    15

    Mögliche Marketingentscheidung

    1. 01

      Nur ausrollen, wenn der plausible Bereich die Wertschwelle überschreitet und operative Risiken akzeptabel sind.

    2. 02

      Wegen Nutzlosigkeit nur stoppen, wenn praktische Äquivalenz um ein vertretbares δ gestützt ist.

    3. 03

      Sonst als unentschieden behandeln und zwischen mehr Daten, begrenztem Pilot oder risikobasierter Entscheidung wählen.

    16

    Wann einsetzen und wann nicht

    Einsetzen

    • Durch den Analyseplan bereits begründete Vergleiche zweier unabhängiger Anteile.
    • Entscheidungslesart nach Prüfung von Design, Daten und Multiplizität.

    Nicht einsetzen

    • Zur Testwahl: siehe MSC-P-039.
    • Für Power und n: MSC-P-012; für Kausalität: MSC-P-013.

    17

    Reproduzierbare Implementierungen

    Python 3.13 · Referenz

    python msc-p004-reference.py --csv msc-p004-significance-effect-size.csv

    R 4.5 · Referenz

    Rscript msc-p004-reference.R msc-p004-significance-effect-size.csv

    SPSS 31 · sekundär

    INSERT FILE='msc-p004-reference.sps'.

    SAS 9.4 · sekundär

    %include 'msc-p004-reference.sas';

    Python und R sind die geprüften ausführbaren Referenzen. Die sekundären SPSS- und SAS-Syntaxen verwenden dieselben Zählwerte, Formeln und Entscheidungsregeln; vor operativer Nutzung in der jeweiligen Umgebung ausführen.

    18

    Erwartetes Endergebnis

    1. 01

      Frage, Population, Einheit, Fenster und Design.

    2. 02

      Absolutes Δ, relativer Lift, p-Wert, 95-%-KI und vorab deklariertes δ.

    3. 03

      Entscheidungsklasse, Annahmen, Multiplizität, Grenzen und unmögliche Entscheidung.

    19

    Wissenschaftliche Quellen und Evidenzniveau

    1. Der p-Wert misst weder Größe noch Bedeutung und soll nicht allein entscheiden.

    2. Lakens (2013)Methodischer Artikel, CC BY

      Effektgrößen vermitteln Größenordnung und unterstützen Vergleich, Synthese und Planung.

    3. Lakens, Scheel & Isager (2018)Methodisches Tutorial, Open Access

      Äquivalenz erfordert Grenzen anhand des kleinsten interessierenden Effekts und zwei einseitige Tests.

    4. Das Wald-KI für zwei Anteile erfordert große Zählwerte und ist weniger robust als Score-Intervalle.

    Methodische Verbindungen

    Übergeordnetes GebietStatistische Entscheidungsmethoden: wählen, quantifizieren, validieren

    Als Nächstes

    MSC-P-003Wie lässt sich die Unsicherheit eines Marketingergebnisses ausdrücken?→MSC-P-012Wie viele Beobachtungen braucht ein Experiment?→MSC-P-013Wie misst man den inkrementellen Kampagneneffekt mit einer Kontrollgruppe?→MSC-P-039Welchen statistischen Test sollte man wählen?→