Research & Evidence

Methode suchen

Titel, Fragen, Gebiete und MSC-Kennungen durchsuchen.

    ← Alle Methoden
    METHODEN-DOSSIERMSC-P-017Experimente und KausalitätGeprüftes wissenschaftliches Dossier

    Wie erkennt man Selektion, Kontamination und Ausfall in einem Experiment?

    Die Diagnose verfolgt Einheiten von der Eignung bis zum Ergebnis: Zuweisung, Exposition, Kontamination, Ausfälle und Ausschlüsse. ITT basiert weiterhin auf Zuweisung.

    Wissenschaftliche Redaktion: Marketing Science Center

    Direkte Antwort

    Bedrohungen einordnen und Sensitivitätsanalysen durchführen.

    Die Diagnose verfolgt Einheiten von der Eignung bis zum Ergebnis: Zuweisung, Exposition, Kontamination, Ausfälle und Ausschlüsse. ITT basiert weiterhin auf Zuweisung.

    CONSORT 2010 Explanation and ElaborationHernán & Robins, Causal Inference: What If

    01

    Operative Zusammenfassung

    Wissenschaftliche Frage und Geltungsbereich

    Wie erkennt man Selektion, Kontamination und Ausfall in einem Experiment?

    Vertretbar

    Bedrohungen einordnen und Sensitivitätsanalysen durchführen.

    Unzulässig

    Schweren differenziellen Ausfall automatisch reparieren.

    02

    Drei Leseebenen

    1. 01

      Entscheidungsebene — Ergebnis mit deklarierter Entscheidung, Nutzenschwelle und Fehlerkosten verbinden.

    2. 02

      Praxis — Population, Einheit, Horizont, verfügbare Variablen und Analyseregel vor der Berechnung festlegen.

    3. 03

      Analyse — Berechnung reproduzieren, Unsicherheit quantifizieren und Diagnosen, Fehlschläge sowie Sensitivitäten dokumentieren.

    03

    Konkrete Marketingsituation

    Die Diagnose verfolgt Einheiten von der Eignung bis zum Ergebnis: Zuweisung, Exposition, Kontamination, Ausfälle und Ausschlüsse. ITT basiert weiterhin auf Zuweisung.

    04

    Wissenschaftliche Frage und Geltungsbereich

    Wie erkennt man Selektion, Kontamination und Ausfall in einem Experiment?

    Diagnostische Evidenz, kein neuer Kausaleffekt

    Benötigte Daten

    Geeignete Einheit im gesamten Analysefluss

    Population, Analyseeinheit, Ursprungsdatum und Horizont müssen im Ergebnis deklariert sein. Andernfalls ändert sich der Estimand unbemerkt.

    05

    Warum eine einfache Analyse scheitern kann

    • Schweren differenziellen Ausfall automatisch reparieren.
    • Stimmen Zuweisungszahlen mit Randomisierungsprotokoll und vorab festgelegter Allokation überein?
    • Wird Ergebnisausfall nach Zuweisungsarm unter einer deklarierten Regel verglichen?
    • Sind Exposition und Kontamination definiert, ohne die primäre ITT-Analyse auf Verhalten nach Zuweisung zu bedingen?

    06

    Intuition der Methode

    Die Methode macht aus einer Assoziation nicht automatisch Evidenz. Sie verbindet eine deklarierte Frage mit Estimand, Spezifikation, kompatiblen Daten und begrenzter Interpretationsregel.

    Diagnostische Evidenz, kein neuer Kausaleffekt

    07

    Benötigte Daten

    Wörterbuch wissenschaftlicher Symbole

    assigned_arm
    Zahl der geeigneten Einheiten, die dem deklarierten Arm randomisiert zugewiesen wurden. Einheit: Einheit · Typ: nichtnegative Ganzzahl · Rolle: Eingabe
    observed_arm
    Zahl der zugewiesenen Einheiten mit beobachtetem Primärergebnis nach der vorab festgelegten Fehlwertregel. Einheit: Einheit · Typ: nichtnegative Ganzzahl · Rolle: Eingabe
    exposed_arm
    Zahl der zugewiesenen Einheiten mit gemessener Exposition nach der vorab festgelegten Definition. Einheit: Einheit · Typ: nichtnegative Ganzzahl · Rolle: Eingabe
    attrition_arm
    Anteil der zugewiesenen Einheiten ohne beobachtetes Primärergebnis in diesem Arm. Einheit: Anteil · Typ: Zahl in [0, 1] · Rolle: Ausgabe
    exposure_T
    Expositionsanteil unter den dem Treatment zugewiesenen Einheiten. Einheit: Anteil · Typ: Zahl in [0, 1] · Rolle: Diagnose
    contamination_C
    Expositionsanteil unter den Kontrollzuweisungen. Einheit: Anteil · Typ: Zahl in [0, 1] · Rolle: Diagnose

    Exakte versiegelte Engine-Eingaben

    assigned_treatment
    Wert: 5000 · Einheit: Einheit · Typ: Ganzzahl · Datenstatus: synthetisch
    assigned_control
    Wert: 5000 · Einheit: Einheit · Typ: Ganzzahl · Datenstatus: synthetisch
    observed_treatment
    Wert: 4800 · Einheit: Einheit · Typ: Ganzzahl · Datenstatus: synthetisch
    observed_control
    Wert: 4900 · Einheit: Einheit · Typ: Ganzzahl · Datenstatus: synthetisch
    exposed_treatment
    Wert: 4500 · Einheit: Einheit · Typ: Ganzzahl · Datenstatus: synthetisch
    exposed_control
    Wert: 200 · Einheit: Einheit · Typ: Ganzzahl · Datenstatus: synthetisch

    08

    Formales Modell

    Formales Modell

    attrition_treatment = 1 − observed_treatment/assigned_treatment; attrition_control = 1 − observed_control/assigned_control; differential_attrition = attrition_treatment − attrition_control; treatment_exposure = exposed_treatment/assigned_treatment; control_contamination = exposed_control/assigned_control

    Belegte Aussagen: MSC-P017-C01 · MSC-P017-C02 · MSC-P017-C03 · MSC-P017-C04 · MSC-P017-C05

    Wissenschaftliche Frage und Geltungsbereich

    Diagnostische Evidenz, kein neuer Kausaleffekt

    09

    Deklarierte Berechnung

    1. 01

      Die Anzahlen geeigneter, zugewiesener, beobachteter und exponierter Einheiten je randomisierten Arm abgleichen und jede unmögliche Zählbeziehung ablehnen.

    2. 02

      Armspezifischen Ausfall, differenziellen Ausfall, Treatment-Exposition und Kontrollkontamination berechnen.

    3. 03

      Nur Implementierungsdiagnostik berichten; nicht behaupten, sie behebe Bias oder sei ein SRM-Test.

    10

    Zahlenbeispiel oder Anwendungsfall

    Anwendungsbeispiel — synthetische Daten oder deklarierte Parameter; keine realen Beobachtungen

    Versiegelte Eingaben

    • assigned_treatment=5000 [Einheit]
    • assigned_control=5000 [Einheit]
    • observed_treatment=4800 [Einheit]
    • observed_control=4900 [Einheit]
    • exposed_treatment=4500 [Einheit]
    • exposed_control=200 [Einheit]

    Reproduzierbare Ergebnisse

    • attrition_treatment/control=0.04/0.02
    • differential_attrition=0.02
    • exposure/contamination=0.90/0.04

    Geprüftes Dossier: Aussagen sind mit Quellen auf Passagebene verknüpft, die Python/R-Berechnung ist reproduziert, Grenzen sind explizit und die unabhängige wissenschaftliche Prüfung ist abgeschlossen.

    11

    Validitätsannahmen

    • Stimmen Zuweisungszahlen mit Randomisierungsprotokoll und vorab festgelegter Allokation überein?
    • Wird Ergebnisausfall nach Zuweisungsarm unter einer deklarierten Regel verglichen?
    • Sind Exposition und Kontamination definiert, ohne die primäre ITT-Analyse auf Verhalten nach Zuweisung zu bedingen?

    12

    Diagnostik und Unsicherheit

    Diagnostik und Unsicherheit

    Stimmen Zuweisungszahlen mit Randomisierungsprotokoll und vorab festgelegter Allokation überein? · Wird Ergebnisausfall nach Zuweisungsarm unter einer deklarierten Regel verglichen? · Sind Exposition und Kontamination definiert, ohne die primäre ITT-Analyse auf Verhalten nach Zuweisung zu bedingen?

    Begrenzte Diagnose

    Die Diagnostik beschreibt den Implementierungsfluss; sie behebt keinen Bias und ersetzt keinen SRM-Test.

    Expliziter Unsicherheitsvertrag · not_estimable_from_sealed_inputs

    Methode: Explizite Bewertung der Nichtschätzbarkeit anhand des versiegelten Eingabeschemas.

    Ziel: Stichprobenunsicherheit von Ausfall-, Expositions- und Kontaminationsraten.

    Engine-Nachweis: diagnostic=diagnostics_do_not_repair_bias

    Interpretation: Aggregierte Prozesszahlen allein identifizieren weder Abhängigkeit noch Fehlwertprozess, die für gültige Unsicherheitsintervalle nötig sind.

    Stoppen, wenn

    Schweren differenziellen Ausfall automatisch reparieren.

    13

    Ergebnisinterpretation

    • Bedrohungen einordnen und Sensitivitätsanalysen durchführen.
    • Das Ergebnis gilt bedingt auf deklarierte Population, Horizont, Spezifikation und Diagnosen. Es darf nicht ohne neue Begründung auf eine andere Entscheidung übertragen werden.

    14

    Vertretbare und unzulässige Schlussfolgerung

    Vertretbar

    Bedrohungen einordnen und Sensitivitätsanalysen durchführen.

    Unzulässig

    Schweren differenziellen Ausfall automatisch reparieren.

    15

    Mögliche Marketingentscheidung

    1. 01

      Bedrohungen einordnen und Sensitivitätsanalysen durchführen.

    2. 02

      Das Ergebnis gilt bedingt auf deklarierte Population, Horizont, Spezifikation und Diagnosen. Es darf nicht ohne neue Begründung auf eine andere Entscheidung übertragen werden.

    16

    Wann einsetzen — wann stoppen

    Einsetzen, wenn

    Bedrohungen einordnen und Sensitivitätsanalysen durchführen.

    Geeignete Einheit im gesamten Analysefluss

    Stoppen, wenn

    Schweren differenziellen Ausfall automatisch reparieren.

    Methodische Alternativen

    • Einen exakten SRM-Test durchführen, wenn Zuweisungswahrscheinlichkeiten und Protokolle verfügbar sind.
    • Sensitivitätsgrenzen für fehlende Ergebnisse oder Nichtbefolgung verwenden.
    • ITT und vorab festgelegte Treatment-received-Analysen berichten, ohne den ITT-Estimand zu ersetzen.

    17

    Reproduzierbarkeitsvertrag

    Python und R sind die ausführbaren Referenzen. SPSS und SAS bleiben Sekundärsyntax, bis sie mit denselben Daten, derselben Spezifikation und denselben Diagnosen geprüft sind.

    Die Engine wählt ausschließlich Slice und expliziten Zweig dieser Seite. Hash, Ausgaben und Diagnosen bleiben im atomaren Dossier versiegelt; ein generischer Fallback-Zweig ist unzulässig.

    Slice-Fingerabdruck: 86981a5527088e6e95da14a6c0091530f1f492c73e0b0dec47bdbd5cbda693e0

    Formales Modell

    attrition_treatment = 1 − observed_treatment/assigned_treatment; attrition_control = 1 − observed_control/assigned_control; differential_attrition = attrition_treatment − attrition_control; treatment_exposure = exposed_treatment/assigned_treatment; control_contamination = exposed_control/assigned_control

    Geprüftes Dossier: Aussagen sind mit Quellen auf Passagebene verknüpft, die Python/R-Berechnung ist reproduziert, Grenzen sind explizit und die unabhängige wissenschaftliche Prüfung ist abgeschlossen.

    18

    Erwartetes Endergebnis

    1. 01

      Wie erkennt man Selektion, Kontamination und Ausfall in einem Experiment? — Geeignete Einheit im gesamten Analysefluss

    2. 02

      assigned_arm · observed_arm · exposed_arm · attrition_arm · exposure_T · contamination_C

    3. 03

      attrition_treatment = 1 − observed_treatment/assigned_treatment; attrition_control = 1 − observed_control/assigned_control; differential_attrition = attrition_treatment − attrition_control; treatment_exposure = exposed_treatment/assigned_treatment; control_contamination = exposed_control/assigned_control

    4. 04

      Stimmen Zuweisungszahlen mit Randomisierungsprotokoll und vorab festgelegter Allokation überein? · Wird Ergebnisausfall nach Zuweisungsarm unter einer deklarierten Regel verglichen? · Sind Exposition und Kontamination definiert, ohne die primäre ITT-Analyse auf Verhalten nach Zuweisung zu bedingen?

    5. 05

      Bedrohungen einordnen und Sensitivitätsanalysen durchführen. / Schweren differenziellen Ausfall automatisch reparieren.

    19

    Wissenschaftliche Quellen und Evidenzstatus

    Geprüftes Dossier: Aussagen sind mit Quellen auf Passagebene verknüpft, die Python/R-Berechnung ist reproduziert, Grenzen sind explizit und die unabhängige wissenschaftliche Prüfung ist abgeschlossen.

    1. MSC-P017-C01 — Stichprobenplanung muss Primärergebnis und alle verwendeten Größen benennen.
    2. MSC-P017-C02 — Anpassungen für Ausfall und Nichteinhaltung müssen berichtet werden.
    3. MSC-P017-C03 — Analyse nach Randomisierungszuweisung bewahrt den beabsichtigten Vergleich.
    4. MSC-P017-C04 — Konsistenz verbindet beobachtetes und potenzielles Ergebnis unter der zugewiesenen Maßnahme.
    5. MSC-P017-C05 — Der kausale Estimand setzt voraus, dass die Zuweisung eines Kunden das Ergebnis eines anderen nicht verändert.
    1. CONSORT 2010 Explanation and Elaboration
    2. Hernán & Robins, Causal Inference: What If

    Methodische Verbindungen

    Übergeordnetes GebietMessung und Kausalität: Wie lässt sich ein Marketingeffekt belegen?

    Als Nächstes

    MSC-P-010Wann sollte ein Marketingexperiment durchgeführt werden?→MSC-P-011Wie plant man einen A/B-Test, der tatsächlich einen Effekt schätzt?→MSC-P-013Wie misst man den inkrementellen Kampagneneffekt mit einer Kontrollgruppe?→