Wie erkennt man Selektion, Kontamination und Ausfall in einem Experiment?
Die Diagnose verfolgt Einheiten von der Eignung bis zum Ergebnis: Zuweisung, Exposition, Kontamination, Ausfälle und Ausschlüsse. ITT basiert weiterhin auf Zuweisung.
Wissenschaftliche Redaktion: Marketing Science Center
Direkte Antwort
Bedrohungen einordnen und Sensitivitätsanalysen durchführen.
Die Diagnose verfolgt Einheiten von der Eignung bis zum Ergebnis: Zuweisung, Exposition, Kontamination, Ausfälle und Ausschlüsse. ITT basiert weiterhin auf Zuweisung.
CONSORT 2010 Explanation and ElaborationHernán & Robins, Causal Inference: What If
01
Operative Zusammenfassung
Wissenschaftliche Frage und Geltungsbereich
Wie erkennt man Selektion, Kontamination und Ausfall in einem Experiment?
Vertretbar
Bedrohungen einordnen und Sensitivitätsanalysen durchführen.
Unzulässig
Schweren differenziellen Ausfall automatisch reparieren.
02
Drei Leseebenen
- 01
Entscheidungsebene — Ergebnis mit deklarierter Entscheidung, Nutzenschwelle und Fehlerkosten verbinden.
- 02
Praxis — Population, Einheit, Horizont, verfügbare Variablen und Analyseregel vor der Berechnung festlegen.
- 03
Analyse — Berechnung reproduzieren, Unsicherheit quantifizieren und Diagnosen, Fehlschläge sowie Sensitivitäten dokumentieren.
03
Konkrete Marketingsituation
Die Diagnose verfolgt Einheiten von der Eignung bis zum Ergebnis: Zuweisung, Exposition, Kontamination, Ausfälle und Ausschlüsse. ITT basiert weiterhin auf Zuweisung.
04
Wissenschaftliche Frage und Geltungsbereich
Wie erkennt man Selektion, Kontamination und Ausfall in einem Experiment?
Diagnostische Evidenz, kein neuer Kausaleffekt
Benötigte Daten
Geeignete Einheit im gesamten Analysefluss
Population, Analyseeinheit, Ursprungsdatum und Horizont müssen im Ergebnis deklariert sein. Andernfalls ändert sich der Estimand unbemerkt.
05
Warum eine einfache Analyse scheitern kann
- Schweren differenziellen Ausfall automatisch reparieren.
- Stimmen Zuweisungszahlen mit Randomisierungsprotokoll und vorab festgelegter Allokation überein?
- Wird Ergebnisausfall nach Zuweisungsarm unter einer deklarierten Regel verglichen?
- Sind Exposition und Kontamination definiert, ohne die primäre ITT-Analyse auf Verhalten nach Zuweisung zu bedingen?
06
Intuition der Methode
Die Methode macht aus einer Assoziation nicht automatisch Evidenz. Sie verbindet eine deklarierte Frage mit Estimand, Spezifikation, kompatiblen Daten und begrenzter Interpretationsregel.
Diagnostische Evidenz, kein neuer Kausaleffekt
07
Benötigte Daten
Wörterbuch wissenschaftlicher Symbole
assigned_arm- Zahl der geeigneten Einheiten, die dem deklarierten Arm randomisiert zugewiesen wurden. Einheit:
Einheit· Typ:nichtnegative Ganzzahl· Rolle:Eingabe observed_arm- Zahl der zugewiesenen Einheiten mit beobachtetem Primärergebnis nach der vorab festgelegten Fehlwertregel. Einheit:
Einheit· Typ:nichtnegative Ganzzahl· Rolle:Eingabe exposed_arm- Zahl der zugewiesenen Einheiten mit gemessener Exposition nach der vorab festgelegten Definition. Einheit:
Einheit· Typ:nichtnegative Ganzzahl· Rolle:Eingabe attrition_arm- Anteil der zugewiesenen Einheiten ohne beobachtetes Primärergebnis in diesem Arm. Einheit:
Anteil· Typ:Zahl in [0, 1]· Rolle:Ausgabe exposure_T- Expositionsanteil unter den dem Treatment zugewiesenen Einheiten. Einheit:
Anteil· Typ:Zahl in [0, 1]· Rolle:Diagnose contamination_C- Expositionsanteil unter den Kontrollzuweisungen. Einheit:
Anteil· Typ:Zahl in [0, 1]· Rolle:Diagnose
Exakte versiegelte Engine-Eingaben
assigned_treatment- Wert:
5000· Einheit:Einheit· Typ:Ganzzahl· Datenstatus:synthetisch assigned_control- Wert:
5000· Einheit:Einheit· Typ:Ganzzahl· Datenstatus:synthetisch observed_treatment- Wert:
4800· Einheit:Einheit· Typ:Ganzzahl· Datenstatus:synthetisch observed_control- Wert:
4900· Einheit:Einheit· Typ:Ganzzahl· Datenstatus:synthetisch exposed_treatment- Wert:
4500· Einheit:Einheit· Typ:Ganzzahl· Datenstatus:synthetisch exposed_control- Wert:
200· Einheit:Einheit· Typ:Ganzzahl· Datenstatus:synthetisch
08
Formales Modell
Formales Modell
attrition_treatment = 1 − observed_treatment/assigned_treatment; attrition_control = 1 − observed_control/assigned_control; differential_attrition = attrition_treatment − attrition_control; treatment_exposure = exposed_treatment/assigned_treatment; control_contamination = exposed_control/assigned_controlBelegte Aussagen: MSC-P017-C01 · MSC-P017-C02 · MSC-P017-C03 · MSC-P017-C04 · MSC-P017-C05
Wissenschaftliche Frage und Geltungsbereich
Diagnostische Evidenz, kein neuer Kausaleffekt
09
Deklarierte Berechnung
- 01
Die Anzahlen geeigneter, zugewiesener, beobachteter und exponierter Einheiten je randomisierten Arm abgleichen und jede unmögliche Zählbeziehung ablehnen.
- 02
Armspezifischen Ausfall, differenziellen Ausfall, Treatment-Exposition und Kontrollkontamination berechnen.
- 03
Nur Implementierungsdiagnostik berichten; nicht behaupten, sie behebe Bias oder sei ein SRM-Test.
10
Zahlenbeispiel oder Anwendungsfall
Anwendungsbeispiel — synthetische Daten oder deklarierte Parameter; keine realen Beobachtungen
Versiegelte Eingaben
assigned_treatment=5000 [Einheit]assigned_control=5000 [Einheit]observed_treatment=4800 [Einheit]observed_control=4900 [Einheit]exposed_treatment=4500 [Einheit]exposed_control=200 [Einheit]
Reproduzierbare Ergebnisse
attrition_treatment/control=0.04/0.02differential_attrition=0.02exposure/contamination=0.90/0.04
Geprüftes Dossier: Aussagen sind mit Quellen auf Passagebene verknüpft, die Python/R-Berechnung ist reproduziert, Grenzen sind explizit und die unabhängige wissenschaftliche Prüfung ist abgeschlossen.
11
Validitätsannahmen
- Stimmen Zuweisungszahlen mit Randomisierungsprotokoll und vorab festgelegter Allokation überein?
- Wird Ergebnisausfall nach Zuweisungsarm unter einer deklarierten Regel verglichen?
- Sind Exposition und Kontamination definiert, ohne die primäre ITT-Analyse auf Verhalten nach Zuweisung zu bedingen?
12
Diagnostik und Unsicherheit
Diagnostik und Unsicherheit
Stimmen Zuweisungszahlen mit Randomisierungsprotokoll und vorab festgelegter Allokation überein? · Wird Ergebnisausfall nach Zuweisungsarm unter einer deklarierten Regel verglichen? · Sind Exposition und Kontamination definiert, ohne die primäre ITT-Analyse auf Verhalten nach Zuweisung zu bedingen?
Begrenzte Diagnose
Die Diagnostik beschreibt den Implementierungsfluss; sie behebt keinen Bias und ersetzt keinen SRM-Test.
Expliziter Unsicherheitsvertrag · not_estimable_from_sealed_inputs
Methode: Explizite Bewertung der Nichtschätzbarkeit anhand des versiegelten Eingabeschemas.
Ziel: Stichprobenunsicherheit von Ausfall-, Expositions- und Kontaminationsraten.
Engine-Nachweis: diagnostic=diagnostics_do_not_repair_bias
Interpretation: Aggregierte Prozesszahlen allein identifizieren weder Abhängigkeit noch Fehlwertprozess, die für gültige Unsicherheitsintervalle nötig sind.
Stoppen, wenn
Schweren differenziellen Ausfall automatisch reparieren.
13
Ergebnisinterpretation
- Bedrohungen einordnen und Sensitivitätsanalysen durchführen.
- Das Ergebnis gilt bedingt auf deklarierte Population, Horizont, Spezifikation und Diagnosen. Es darf nicht ohne neue Begründung auf eine andere Entscheidung übertragen werden.
14
Vertretbare und unzulässige Schlussfolgerung
Vertretbar
Bedrohungen einordnen und Sensitivitätsanalysen durchführen.
Unzulässig
Schweren differenziellen Ausfall automatisch reparieren.
15
Mögliche Marketingentscheidung
- 01
Bedrohungen einordnen und Sensitivitätsanalysen durchführen.
- 02
Das Ergebnis gilt bedingt auf deklarierte Population, Horizont, Spezifikation und Diagnosen. Es darf nicht ohne neue Begründung auf eine andere Entscheidung übertragen werden.
16
Wann einsetzen — wann stoppen
Einsetzen, wenn
Bedrohungen einordnen und Sensitivitätsanalysen durchführen.
Geeignete Einheit im gesamten Analysefluss
Stoppen, wenn
Schweren differenziellen Ausfall automatisch reparieren.
Methodische Alternativen
- Einen exakten SRM-Test durchführen, wenn Zuweisungswahrscheinlichkeiten und Protokolle verfügbar sind.
- Sensitivitätsgrenzen für fehlende Ergebnisse oder Nichtbefolgung verwenden.
- ITT und vorab festgelegte Treatment-received-Analysen berichten, ohne den ITT-Estimand zu ersetzen.
17
Reproduzierbarkeitsvertrag
Python und R sind die ausführbaren Referenzen. SPSS und SAS bleiben Sekundärsyntax, bis sie mit denselben Daten, derselben Spezifikation und denselben Diagnosen geprüft sind.
Die Engine wählt ausschließlich Slice und expliziten Zweig dieser Seite. Hash, Ausgaben und Diagnosen bleiben im atomaren Dossier versiegelt; ein generischer Fallback-Zweig ist unzulässig.
Slice-Fingerabdruck: 86981a5527088e6e95da14a6c0091530f1f492c73e0b0dec47bdbd5cbda693e0
CSV · CC0
msc-validation-inputs-v1.csv ↓Python · MIT
msc-validation-reference-v1.py ↓R · MIT
msc-validation-reference-v1.R ↓SPSS / SAS · MIT · nur zur Inspektion
SPSS ↓SAS ↓Formales Modell
attrition_treatment = 1 − observed_treatment/assigned_treatment; attrition_control = 1 − observed_control/assigned_control; differential_attrition = attrition_treatment − attrition_control; treatment_exposure = exposed_treatment/assigned_treatment; control_contamination = exposed_control/assigned_controlGeprüftes Dossier: Aussagen sind mit Quellen auf Passagebene verknüpft, die Python/R-Berechnung ist reproduziert, Grenzen sind explizit und die unabhängige wissenschaftliche Prüfung ist abgeschlossen.
18
Erwartetes Endergebnis
- 01
Wie erkennt man Selektion, Kontamination und Ausfall in einem Experiment? —
Geeignete Einheit im gesamten Analysefluss - 02
assigned_arm · observed_arm · exposed_arm · attrition_arm · exposure_T · contamination_C
- 03
attrition_treatment = 1 − observed_treatment/assigned_treatment; attrition_control = 1 − observed_control/assigned_control; differential_attrition = attrition_treatment − attrition_control; treatment_exposure = exposed_treatment/assigned_treatment; control_contamination = exposed_control/assigned_control - 04
Stimmen Zuweisungszahlen mit Randomisierungsprotokoll und vorab festgelegter Allokation überein? · Wird Ergebnisausfall nach Zuweisungsarm unter einer deklarierten Regel verglichen? · Sind Exposition und Kontamination definiert, ohne die primäre ITT-Analyse auf Verhalten nach Zuweisung zu bedingen?
- 05
Bedrohungen einordnen und Sensitivitätsanalysen durchführen. / Schweren differenziellen Ausfall automatisch reparieren.
19
Wissenschaftliche Quellen und Evidenzstatus
Geprüftes Dossier: Aussagen sind mit Quellen auf Passagebene verknüpft, die Python/R-Berechnung ist reproduziert, Grenzen sind explizit und die unabhängige wissenschaftliche Prüfung ist abgeschlossen.
MSC-P017-C01— Stichprobenplanung muss Primärergebnis und alle verwendeten Größen benennen.MSC-P017-C02— Anpassungen für Ausfall und Nichteinhaltung müssen berichtet werden.MSC-P017-C03— Analyse nach Randomisierungszuweisung bewahrt den beabsichtigten Vergleich.MSC-P017-C04— Konsistenz verbindet beobachtetes und potenzielles Ergebnis unter der zugewiesenen Maßnahme.MSC-P017-C05— Der kausale Estimand setzt voraus, dass die Zuweisung eines Kunden das Ergebnis eines anderen nicht verändert.
Methodische Verbindungen