Research & Evidence

Methode suchen

Titel, Fragen, Gebiete und MSC-Kennungen durchsuchen.

    ← Alle Methoden
    METHODEN-DOSSIERMSC-P-010Experimente und KausalitätGeprüftes wissenschaftliches Dossier

    Wann sollte ein Marketingexperiment durchgeführt werden?

    Ein Experiment ist vorzuziehen, wenn die Wirkung einer Maßnahme gefragt ist und die Zuweisung ohne unverhältnismäßiges Risiko kontrolliert werden kann. Sonst muss das Beobachtungsdesign seine Annahmen offenlegen.

    Wissenschaftliche Redaktion: Marketing Science Center

    Direkte Antwort

    Ein zur Entscheidung und zum Risiko passendes Design wählen.

    Ein Experiment ist vorzuziehen, wenn die Wirkung einer Maßnahme gefragt ist und die Zuweisung ohne unverhältnismäßiges Risiko kontrolliert werden kann. Sonst muss das Beobachtungsdesign seine Annahmen offenlegen.

    Jackson et al., 2022Hernán & Robins, Causal Inference: What If

    01

    Operative Zusammenfassung

    Wissenschaftliche Frage und Geltungsbereich

    Wann sollte ein Marketingexperiment durchgeführt werden?

    Vertretbar

    Ein zur Entscheidung und zum Risiko passendes Design wählen.

    Unzulässig

    Starke Kausalaussagen ohne glaubwürdige Variation verlangen.

    02

    Drei Leseebenen

    1. 01

      Entscheidungsebene — Ergebnis mit deklarierter Entscheidung, Nutzenschwelle und Fehlerkosten verbinden.

    2. 02

      Praxis — Population, Einheit, Horizont, verfügbare Variablen und Analyseregel vor der Berechnung festlegen.

    3. 03

      Analyse — Berechnung reproduzieren, Unsicherheit quantifizieren und Diagnosen, Fehlschläge sowie Sensitivitäten dokumentieren.

    03

    Konkrete Marketingsituation

    Ein Experiment ist vorzuziehen, wenn die Wirkung einer Maßnahme gefragt ist und die Zuweisung ohne unverhältnismäßiges Risiko kontrolliert werden kann. Sonst muss das Beobachtungsdesign seine Annahmen offenlegen.

    04

    Wissenschaftliche Frage und Geltungsbereich

    Wann sollte ein Marketingexperiment durchgeführt werden?

    Lokaler Governance-Filter für die Detailplanung eines Kausalexperiments; weder EVSI noch EVPI

    Benötigte Daten

    Geeignete Einheit × Zuweisung × fester Werthorizont

    Population, Analyseeinheit, Ursprungsdatum und Horizont müssen im Ergebnis deklariert sein. Andernfalls ändert sich der Estimand unbemerkt.

    05

    Warum eine einfache Analyse scheitern kann

    • Starke Kausalaussagen ohne glaubwürdige Variation verlangen.
    • Werden alle Geldgrößen über denselben Horizont und dieselbe Währungsbasis bewertet?
    • Wurde das Bewertungsszenario vor Sichtung eines Experimentergebnisses festgelegt?
    • Sind Risikowahrscheinlichkeiten und Folgen dokumentiert statt in einem undurchsichtigen Score verborgen?

    06

    Intuition der Methode

    Die Methode macht aus einer Assoziation nicht automatisch Evidenz. Sie verbindet eine deklarierte Frage mit Estimand, Spezifikation, kompatiblen Daten und begrenzter Interpretationsregel.

    Lokaler Governance-Filter für die Detailplanung eines Kausalexperiments; weder EVSI noch EVPI

    07

    Benötigte Daten

    Wörterbuch wissenschaftlicher Symbole

    local_decision_value
    Lokal bewerteter Geldwert der Entscheidung im vorab festgelegten Szenario und Horizont; weder EVSI noch EVPI. Einheit: Euro über den deklarierten Horizont · Typ: Zahl · Rolle: Eingabe
    experiment_cost
    Gesamte inkrementelle Geldkosten für Planung, Durchführung und Analyse des Experiments im selben Horizont. Einheit: Euro · Typ: nichtnegative Zahl · Rolle: Eingabe
    expected_operational_harm
    Erwarteter monetärer Schaden unter einem deklarierten Wahrscheinlichkeitsmodell für operative und ethische Risiken. Einheit: Euro · Typ: nichtnegative Zahl · Rolle: Eingabe
    local_screen
    Lokale Governance-Bilanz für die Entscheidung, ob eine detaillierte Experimentplanung sinnvoll ist; weder Effektschätzung noch formaler Informationswert. Einheit: Euro · Typ: Zahl · Rolle: Ausgabe

    Exakte versiegelte Engine-Eingaben

    local_decision_value_eur
    Wert: 25000 · Einheit: EUR · Typ: Zahl · Datenstatus: synthetisch
    experiment_cost_eur
    Wert: 12000 · Einheit: EUR · Typ: Zahl · Datenstatus: synthetisch
    operational_risk_eur
    Wert: 5000 · Einheit: EUR · Typ: Zahl · Datenstatus: synthetisch
    anticipated_gain_pp
    Wert: 2.0 · Einheit: Prozentpunkt · Typ: Zahl · Datenstatus: synthetisch
    minimum_useful_gain_pp
    Wert: 1.5 · Einheit: Prozentpunkt · Typ: Zahl · Datenstatus: deklarierter Parameter
    action_reversible
    Wert: 1 · Einheit: binär · Typ: Ganzzahl · Datenstatus: synthetisch
    assignment_feasible
    Wert: 1 · Einheit: binär · Typ: Ganzzahl · Datenstatus: synthetisch
    value_horizon_days
    Wert: 30 · Einheit: Tag · Typ: Ganzzahl · Datenstatus: deklarierter Parameter
    valuation_scenario_prespecified
    Wert: 1 · Einheit: binär · Typ: Ganzzahl · Datenstatus: deklarierter Parameter
    risk_probability_model_declared
    Wert: 1 · Einheit: binär · Typ: Ganzzahl · Datenstatus: deklarierter Parameter

    08

    Formales Modell

    Formales Modell

    local_net_screen_eur = local_decision_value_eur − experiment_cost_eur − operational_risk_eur; passes_local_screen = 1 only if local_net_screen_eur > 0, anticipated_gain_pp >= minimum_useful_gain_pp, action_reversible = 1, assignment_feasible = 1, valuation_scenario_prespecified = 1, risk_probability_model_declared = 1, and value_horizon_days > 0

    Belegte Aussagen: MSC-P010-C01 · MSC-P010-C02 · MSC-P010-C03 · MSC-P010-C04 · MSC-P010-C05 · MSC-P010-C06 · MSC-P010-C07 · MSC-P010-C08 · MSC-P010-C09

    Wissenschaftliche Frage und Geltungsbereich

    Lokaler Governance-Filter für die Detailplanung eines Kausalexperiments; weder EVSI noch EVPI

    09

    Deklarierte Berechnung

    1. 01

      Entscheidungswert, Kosten und Schaden auf dieselbe Währung, dasselbe Bewertungsszenario und einen festen Horizont abstimmen; Szenario- und Risikomodellerklärung verlangen.

    2. 02

      Experimentkosten und erwarteten operativen Schaden vom lokalen Wert abziehen und erwarteten mit minimal nützlichem Gewinn vergleichen.

    3. 03

      Ausgabe als nicht universellen Governance-Filter kennzeichnen und VOI- oder Kausaleffektsprache ausschließen.

    10

    Zahlenbeispiel oder Anwendungsfall

    Anwendungsbeispiel — synthetische Daten oder deklarierte Parameter; keine realen Beobachtungen

    Versiegelte Eingaben

    • local_decision_value_eur=25000 [EUR]
    • experiment_cost_eur=12000 [EUR]
    • operational_risk_eur=5000 [EUR]
    • anticipated_gain_pp=2.0 [Prozentpunkt]
    • minimum_useful_gain_pp=1.5 [Prozentpunkt]
    • action_reversible=1 [binär]
    • assignment_feasible=1 [binär]
    • value_horizon_days=30 [Tag]
    • valuation_scenario_prespecified=1 [binär]
    • risk_probability_model_declared=1 [binär]

    Reproduzierbare Ergebnisse

    • local_net_screen=€8,000
    • passes_local_screen=true

    Geprüftes Dossier: Aussagen sind mit Quellen auf Passagebene verknüpft, die Python/R-Berechnung ist reproduziert, Grenzen sind explizit und die unabhängige wissenschaftliche Prüfung ist abgeschlossen.

    11

    Validitätsannahmen

    • Werden alle Geldgrößen über denselben Horizont und dieselbe Währungsbasis bewertet?
    • Wurde das Bewertungsszenario vor Sichtung eines Experimentergebnisses festgelegt?
    • Sind Risikowahrscheinlichkeiten und Folgen dokumentiert statt in einem undurchsichtigen Score verborgen?

    12

    Diagnostik und Unsicherheit

    Diagnostik und Unsicherheit

    Werden alle Geldgrößen über denselben Horizont und dieselbe Währungsbasis bewertet? · Wurde das Bewertungsszenario vor Sichtung eines Experimentergebnisses festgelegt? · Sind Risikowahrscheinlichkeiten und Folgen dokumentiert statt in einem undurchsichtigen Score verborgen?

    Begrenzte Diagnose

    Nicht universeller lokaler Governance-Filter; weder Informationswert noch Effektschätzung.

    Expliziter Unsicherheitsvertrag · not_estimable_from_sealed_inputs

    Methode: Explizite Bewertung der Nichtschätzbarkeit anhand des versiegelten Eingabeschemas.

    Ziel: Unsicherheit der lokalen Wert-, Kosten-, Risiko- und Gewinneingaben.

    Engine-Nachweis: diagnostic=local_nonuniversal_governance_screen_not_voi_or_effect_estimate

    Interpretation: Die versiegelten Punktwerte enthalten keine Wahrscheinlichkeitsverteilungen; der Filter quantifiziert weder EVSI, EVPI noch Entscheidungsunsicherheit.

    Stoppen, wenn

    Starke Kausalaussagen ohne glaubwürdige Variation verlangen.

    13

    Ergebnisinterpretation

    • Ein zur Entscheidung und zum Risiko passendes Design wählen.
    • Das Ergebnis gilt bedingt auf deklarierte Population, Horizont, Spezifikation und Diagnosen. Es darf nicht ohne neue Begründung auf eine andere Entscheidung übertragen werden.

    14

    Vertretbare und unzulässige Schlussfolgerung

    Vertretbar

    Ein zur Entscheidung und zum Risiko passendes Design wählen.

    Unzulässig

    Starke Kausalaussagen ohne glaubwürdige Variation verlangen.

    15

    Mögliche Marketingentscheidung

    1. 01

      Ein zur Entscheidung und zum Risiko passendes Design wählen.

    2. 02

      Das Ergebnis gilt bedingt auf deklarierte Population, Horizont, Spezifikation und Diagnosen. Es darf nicht ohne neue Begründung auf eine andere Entscheidung übertragen werden.

    16

    Wann einsetzen — wann stoppen

    Einsetzen, wenn

    Ein zur Entscheidung und zum Risiko passendes Design wählen.

    Geeignete Einheit × Zuweisung × fester Werthorizont

    Stoppen, wenn

    Starke Kausalaussagen ohne glaubwürdige Variation verlangen.

    Methodische Alternativen

    • EVPI oder EVSI unter einem vollständig spezifizierten probabilistischen Entscheidungsmodell verwenden.
    • Ein qualitatives Machbarkeits- und Ethiktor verwenden, wenn Monetarisierung irreführend wäre.
    • Einen kleinen Pilot erst nach Definition von Abbruchregeln und kausalem Estimand durchführen.

    17

    Reproduzierbarkeitsvertrag

    Python und R sind die ausführbaren Referenzen. SPSS und SAS bleiben Sekundärsyntax, bis sie mit denselben Daten, derselben Spezifikation und denselben Diagnosen geprüft sind.

    Die Engine wählt ausschließlich Slice und expliziten Zweig dieser Seite. Hash, Ausgaben und Diagnosen bleiben im atomaren Dossier versiegelt; ein generischer Fallback-Zweig ist unzulässig.

    Slice-Fingerabdruck: 9f3be1ae9f83565bb0f6f7351672c8284fe0eaf705c212e574f0545f899f4c14

    Formales Modell

    local_net_screen_eur = local_decision_value_eur − experiment_cost_eur − operational_risk_eur; passes_local_screen = 1 only if local_net_screen_eur > 0, anticipated_gain_pp >= minimum_useful_gain_pp, action_reversible = 1, assignment_feasible = 1, valuation_scenario_prespecified = 1, risk_probability_model_declared = 1, and value_horizon_days > 0

    Geprüftes Dossier: Aussagen sind mit Quellen auf Passagebene verknüpft, die Python/R-Berechnung ist reproduziert, Grenzen sind explizit und die unabhängige wissenschaftliche Prüfung ist abgeschlossen.

    18

    Erwartetes Endergebnis

    1. 01

      Wann sollte ein Marketingexperiment durchgeführt werden? — Geeignete Einheit × Zuweisung × fester Werthorizont

    2. 02

      local_decision_value · experiment_cost · expected_operational_harm · local_screen

    3. 03

      local_net_screen_eur = local_decision_value_eur − experiment_cost_eur − operational_risk_eur; passes_local_screen = 1 only if local_net_screen_eur > 0, anticipated_gain_pp >= minimum_useful_gain_pp, action_reversible = 1, assignment_feasible = 1, valuation_scenario_prespecified = 1, risk_probability_model_declared = 1, and value_horizon_days > 0

    4. 04

      Werden alle Geldgrößen über denselben Horizont und dieselbe Währungsbasis bewertet? · Wurde das Bewertungsszenario vor Sichtung eines Experimentergebnisses festgelegt? · Sind Risikowahrscheinlichkeiten und Folgen dokumentiert statt in einem undurchsichtigen Score verborgen?

    5. 05

      Ein zur Entscheidung und zum Risiko passendes Design wählen. / Starke Kausalaussagen ohne glaubwürdige Variation verlangen.

    19

    Wissenschaftliche Quellen und Evidenzstatus

    Geprüftes Dossier: Aussagen sind mit Quellen auf Passagebene verknüpft, die Python/R-Berechnung ist reproduziert, Grenzen sind explizit und die unabhängige wissenschaftliche Prüfung ist abgeschlossen.

    1. MSC-P010-C01 — Das kausale Ziel vergleicht mittlere potenzielle Ergebnisse unter zwei definierten Interventionen.
    2. MSC-P010-C02 — Konsistenz verbindet beobachtetes und potenzielles Ergebnis unter der zugewiesenen Maßnahme.
    3. MSC-P010-C03 — Der kausale Estimand setzt voraus, dass die Zuweisung eines Kunden das Ergebnis eines anderen nicht verändert.
    4. MSC-P010-C04 — Eine Regression begründet für sich kein kausales Design.
    5. MSC-P010-C05 — Vorab-Spezifikation umfasst Forschungsfrage und Analyseplan vor Beobachtung der Ergebnisse.
    6. MSC-P010-C06 — Informationswertmethoden unterstützen Forschungspriorisierung und Studiendesign.
    7. MSC-P010-C07 — Formaler Informationswert erfordert probabilistische Parameterunsicherheit.
    8. MSC-P010-C08 — Formaler Informationswert erfordert entscheidungsspezifische Verluste oder Nutzen.
    9. MSC-P010-C09 — ENBS beruht auf EVSI und nicht auf einem beliebigen lokalen Score.
    1. Jackson et al., 2022
    2. Hernán & Robins, Causal Inference: What If
    3. Arnold et al., 2020
    4. Nosek et al., 2018

    Methodische Verbindungen

    Übergeordnetes GebietMessung und Kausalität: Wie lässt sich ein Marketingeffekt belegen?

    Als Nächstes

    MSC-P-011Wie plant man einen A/B-Test, der tatsächlich einen Effekt schätzt?→MSC-P-012Wie viele Beobachtungen braucht ein Experiment?→MSC-P-017Wie erkennt man Selektion, Kontamination und Ausfall in einem Experiment?→