Wann sollte ein Marketingexperiment durchgeführt werden?
Ein Experiment ist vorzuziehen, wenn die Wirkung einer Maßnahme gefragt ist und die Zuweisung ohne unverhältnismäßiges Risiko kontrolliert werden kann. Sonst muss das Beobachtungsdesign seine Annahmen offenlegen.
Wissenschaftliche Redaktion : Marketing Science Center
Direkte Antwort
Ein zur Entscheidung und zum Risiko passendes Design wählen.
Ein Experiment ist vorzuziehen, wenn die Wirkung einer Maßnahme gefragt ist und die Zuweisung ohne unverhältnismäßiges Risiko kontrolliert werden kann. Sonst muss das Beobachtungsdesign seine Annahmen offenlegen.
Jackson et al., 2022Hernán & Robins, Causal Inference: What If
01
Operative Zusammenfassung
Wissenschaftliche Frage und Geltungsbereich
Wann sollte ein Marketingexperiment durchgeführt werden?
Vertretbar
Ein zur Entscheidung und zum Risiko passendes Design wählen.
Unzulässig
Starke Kausalaussagen ohne glaubwürdige Variation verlangen.
02
Drei Leseebenen
- 01
Entscheidungsebene — Ergebnis mit deklarierter Entscheidung, Nutzenschwelle und Fehlerkosten verbinden.
- 02
Praxis — Population, Einheit, Horizont, verfügbare Variablen und Analyseregel vor der Berechnung festlegen.
- 03
Analyse — Berechnung reproduzieren, Unsicherheit quantifizieren und Diagnosen, Fehlschläge sowie Sensitivitäten dokumentieren.
03
Konkrete Marketingsituation
Ein Experiment ist vorzuziehen, wenn die Wirkung einer Maßnahme gefragt ist und die Zuweisung ohne unverhältnismäßiges Risiko kontrolliert werden kann. Sonst muss das Beobachtungsdesign seine Annahmen offenlegen.
04
Wissenschaftliche Frage und Geltungsbereich
Wann sollte ein Marketingexperiment durchgeführt werden?
Lokaler Governance-Filter für die Detailplanung eines Kausalexperiments; weder EVSI noch EVPI
Benötigte Daten
Geeignete Einheit × Zuweisung × fester Werthorizont
Population, Analyseeinheit, Ursprungsdatum und Horizont müssen im Ergebnis deklariert sein. Andernfalls ändert sich der Estimand unbemerkt.
05
Warum eine einfache Analyse scheitern kann
- Starke Kausalaussagen ohne glaubwürdige Variation verlangen.
- Ethik und Risiko
- Gemeinsamer Horizont und Währung
- Vorab festgelegtes Szenario
06
Intuition der Methode
Die Methode macht aus einer Assoziation nicht automatisch Evidenz. Sie verbindet eine deklarierte Frage mit Estimand, Spezifikation, kompatiblen Daten und begrenzter Interpretationsregel.
Lokaler Governance-Filter für die Detailplanung eines Kausalexperiments; weder EVSI noch EVPI
07
Benötigte Daten
Wörterbuch wissenschaftlicher Symbole
local_decision_value- Lokal bewerteter Geldwert der Entscheidung im vorab festgelegten Szenario und Horizont; weder EVSI noch EVPI. Einheit:
Euro über den deklarierten Horizont· Typ:Zahl· Rolle:Eingabe experiment_cost- Gesamte inkrementelle Geldkosten für Planung, Durchführung und Analyse des Experiments im selben Horizont. Einheit:
Euro· Typ:nichtnegative Zahl· Rolle:Eingabe expected_operational_harm- Erwarteter monetärer Schaden unter einem deklarierten Wahrscheinlichkeitsmodell für operative und ethische Risiken. Einheit:
Euro· Typ:nichtnegative Zahl· Rolle:Eingabe local_screen- Lokale Governance-Bilanz für die Entscheidung über eine Detailplanung; weder Effektschätzung noch formaler Informationswert. Einheit:
Euro· Typ:Zahl· Rolle:Ausgabe
Exakte versiegelte Engine-Eingaben
local_decision_value_eur- Wert:
25000· Einheit:EUR· Typ:Zahl· Datenstatus:synthetisch experiment_cost_eur- Wert:
12000· Einheit:EUR· Typ:Zahl· Datenstatus:synthetisch operational_risk_eur- Wert:
5000· Einheit:EUR· Typ:Zahl· Datenstatus:synthetisch anticipated_gain_pp- Wert:
2.0· Einheit:Prozentpunkt· Typ:Zahl· Datenstatus:synthetisch minimum_useful_gain_pp- Wert:
1.5· Einheit:Prozentpunkt· Typ:Zahl· Datenstatus:deklarierter Parameter action_reversible- Wert:
1· Einheit:binär· Typ:Ganzzahl· Datenstatus:synthetisch assignment_feasible- Wert:
1· Einheit:binär· Typ:Ganzzahl· Datenstatus:synthetisch value_horizon_days- Wert:
30· Einheit:Tag· Typ:Ganzzahl· Datenstatus:deklarierter Parameter valuation_scenario_prespecified- Wert:
1· Einheit:binär· Typ:Ganzzahl· Datenstatus:deklarierter Parameter risk_probability_model_declared- Wert:
1· Einheit:binär· Typ:Ganzzahl· Datenstatus:deklarierter Parameter
08
Formales Modell
Formales Modell
local_net_screen_eur = local_decision_value_eur − experiment_cost_eur − operational_risk_eur; passes_local_screen = 1 only if local_net_screen_eur > 0, anticipated_gain_pp >= minimum_useful_gain_pp, action_reversible = 1, assignment_feasible = 1, valuation_scenario_prespecified = 1, risk_probability_model_declared = 1, and value_horizon_days > 0Belegte Aussagen: MSC-P010-C01 · MSC-P010-C02 · MSC-P010-C03 · MSC-P010-C04 · MSC-P010-C05 · MSC-P010-C06 · MSC-P010-C07 · MSC-P010-C08 · MSC-P010-C09
Wissenschaftliche Frage und Geltungsbereich
Lokaler Governance-Filter für die Detailplanung eines Kausalexperiments; weder EVSI noch EVPI
09
Deklarierte Berechnung
- 01
Wert, Kosten und Schaden auf Währung, Szenario und festen Horizont abstimmen; Szenario- und Risikomodellerklärung verlangen.
- 02
Experimentkosten und erwarteten operativen Schaden vom lokalen Wert abziehen und erwarteten mit minimal nützlichem Gewinn vergleichen.
- 03
Ausgabe als nicht universellen Governance-Filter kennzeichnen und VOI- oder Kausaleffektsprache ausschließen.
10
Zahlenbeispiel oder Anwendungsfall
Anwendungsbeispiel — synthetische Daten oder deklarierte Parameter; keine realen Beobachtungen
Versiegelte Eingaben
local_decision_value_eur=25000 [EUR]experiment_cost_eur=12000 [EUR]operational_risk_eur=5000 [EUR]anticipated_gain_pp=2.0 [Prozentpunkt]minimum_useful_gain_pp=1.5 [Prozentpunkt]action_reversible=1 [binär]assignment_feasible=1 [binär]value_horizon_days=30 [Tag]valuation_scenario_prespecified=1 [binär]risk_probability_model_declared=1 [binär]
Reproduzierbare Ergebnisse
local_net_screen=€8,000passes_local_screen=true
Geprüftes Dossier: Aussagen sind mit Quellen auf Passagebene verknüpft, die Python/R-Berechnung ist reproduziert, Grenzen sind explizit und die unabhängige wissenschaftliche Prüfung ist abgeschlossen.
11
Validitätsannahmen
- Werden alle Geldgrößen über denselben Horizont und dieselbe Währungsbasis bewertet?
- Wurde das Bewertungsszenario vor Sichtung eines Experimentergebnisses festgelegt?
- Sind Risikowahrscheinlichkeiten und Folgen dokumentiert statt in einem undurchsichtigen Score verborgen?
12
Diagnostik und Unsicherheit
Diagnostik und Unsicherheit
Ethik und Risiko · Gemeinsamer Horizont und Währung · Vorab festgelegtes Szenario · Deklarierte Risikowahrscheinlichkeiten · Kontamination · Operative Machbarkeit · Filter nicht als Informationswert bezeichnen
Begrenzte Diagnose
Nicht universeller lokaler Governance-Filter; weder Informationswert noch Effektschätzung.
Expliziter Unsicherheitsvertrag · not_estimable_from_sealed_inputs
Methode : Explizite Bewertung der Nichtschätzbarkeit anhand des versiegelten Eingabeschemas.
Ziel : Unsicherheit der lokalen Wert-, Kosten-, Risiko- und Gewinneingaben.
Engine-Nachweis : diagnostic=local_nonuniversal_governance_screen_not_voi_or_effect_estimate
Interpretation : Die versiegelten Punktwerte enthalten keine Wahrscheinlichkeitsverteilungen; der Filter quantifiziert weder EVSI, EVPI noch Entscheidungsunsicherheit.
Stoppen, wenn
Starke Kausalaussagen ohne glaubwürdige Variation verlangen.
13
Ergebnisinterpretation
- Ein zur Entscheidung und zum Risiko passendes Design wählen.
- Das Ergebnis gilt bedingt auf deklarierte Population, Horizont, Spezifikation und Diagnosen. Es darf nicht ohne neue Begründung auf eine andere Entscheidung übertragen werden.
14
Vertretbare und unzulässige Schlussfolgerung
Vertretbar
Ein zur Entscheidung und zum Risiko passendes Design wählen.
Unzulässig
Starke Kausalaussagen ohne glaubwürdige Variation verlangen.
15
Mögliche Marketingentscheidung
- 01
Ein zur Entscheidung und zum Risiko passendes Design wählen.
- 02
Das Ergebnis gilt bedingt auf deklarierte Population, Horizont, Spezifikation und Diagnosen. Es darf nicht ohne neue Begründung auf eine andere Entscheidung übertragen werden.
16
Wann einsetzen — wann stoppen
Einsetzen, wenn
Ein zur Entscheidung und zum Risiko passendes Design wählen.
Geeignete Einheit × Zuweisung × fester Werthorizont
Stoppen, wenn
Starke Kausalaussagen ohne glaubwürdige Variation verlangen.
Methodische Alternativen
- EVPI oder EVSI unter einem vollständig spezifizierten probabilistischen Entscheidungsmodell verwenden.
- Ein qualitatives Machbarkeits- und Ethiktor verwenden, wenn Monetarisierung irreführend wäre.
- Einen kleinen Pilot erst nach Definition von Abbruchregeln und kausalem Estimand durchführen.
17
Reproduzierbarkeitsvertrag
Python und R sind die ausführbaren Referenzen. SPSS und SAS bleiben Sekundärsyntax, bis sie mit denselben Daten, derselben Spezifikation und denselben Diagnosen geprüft sind.
Die Engine wählt ausschließlich Slice und expliziten Zweig dieser Seite. Hash, Ausgaben und Diagnosen bleiben im atomaren Dossier versiegelt; ein generischer Fallback-Zweig ist unzulässig.
Slice-Fingerabdruck: 9f3be1ae9f83565bb0f6f7351672c8284fe0eaf705c212e574f0545f899f4c14
CSV · CC0
msc-validation-inputs-v1.csv ↓Python · MIT
msc-validation-reference-v1.py ↓R · MIT
msc-validation-reference-v1.R ↓SPSS / SAS · MIT · nur zur Inspektion
SPSS ↓SAS ↓Formales Modell
local_net_screen_eur = local_decision_value_eur − experiment_cost_eur − operational_risk_eur; passes_local_screen = 1 only if local_net_screen_eur > 0, anticipated_gain_pp >= minimum_useful_gain_pp, action_reversible = 1, assignment_feasible = 1, valuation_scenario_prespecified = 1, risk_probability_model_declared = 1, and value_horizon_days > 0Geprüftes Dossier: Aussagen sind mit Quellen auf Passagebene verknüpft, die Python/R-Berechnung ist reproduziert, Grenzen sind explizit und die unabhängige wissenschaftliche Prüfung ist abgeschlossen.
18
Erwartetes Endergebnis
- 01
Wann sollte ein Marketingexperiment durchgeführt werden? —
Geeignete Einheit × Zuweisung × fester Werthorizont - 02
local_decision_value · experiment_cost · expected_operational_harm · local_screen
- 03
local_net_screen_eur = local_decision_value_eur − experiment_cost_eur − operational_risk_eur; passes_local_screen = 1 only if local_net_screen_eur > 0, anticipated_gain_pp >= minimum_useful_gain_pp, action_reversible = 1, assignment_feasible = 1, valuation_scenario_prespecified = 1, risk_probability_model_declared = 1, and value_horizon_days > 0 - 04
Ethik und Risiko · Gemeinsamer Horizont und Währung · Vorab festgelegtes Szenario · Deklarierte Risikowahrscheinlichkeiten · Kontamination · Operative Machbarkeit · Filter nicht als Informationswert bezeichnen
- 05
Ein zur Entscheidung und zum Risiko passendes Design wählen. / Starke Kausalaussagen ohne glaubwürdige Variation verlangen.
19
Wissenschaftliche Quellen und Evidenzstatus
Geprüftes Dossier: Aussagen sind mit Quellen auf Passagebene verknüpft, die Python/R-Berechnung ist reproduziert, Grenzen sind explizit und die unabhängige wissenschaftliche Prüfung ist abgeschlossen.
MSC-P010-C01— Das kausale Ziel vergleicht mittlere potenzielle Ergebnisse unter zwei definierten Interventionen.MSC-P010-C02— Konsistenz verbindet beobachtetes und potenzielles Ergebnis unter der zugewiesenen Maßnahme.MSC-P010-C03— Der kausale Estimand setzt voraus, dass die Zuweisung eines Kunden das Ergebnis eines anderen nicht verändert.MSC-P010-C04— Eine Regression begründet für sich kein kausales Design.MSC-P010-C05— Vorab-Spezifikation umfasst Frage und Analyseplan vor Beobachtung der Ergebnisse.MSC-P010-C06— Informationswertmethoden unterstützen Forschungspriorisierung und Studiendesign.MSC-P010-C07— Formaler Informationswert erfordert probabilistische Parameterunsicherheit.MSC-P010-C08— Formaler Informationswert erfordert entscheidungsspezifische Verluste oder Nutzen.MSC-P010-C09— ENBS beruht auf EVSI und nicht auf einem beliebigen lokalen Score.
Methodische Verbindungen