Research & Evidence

Methode suchen

Titel, Fragen, Gebiete und MSC-Kennungen durchsuchen.

    ← Alle Methoden
    METHODEN-DOSSIERMSC-P-013Experimente und KausalitätGeprüftes wissenschaftliches Dossier

    Wie misst man den inkrementellen Kampagneneffekt mit einer Kontrollgruppe?

    Primärer Estimand ist die absolute Ergebnisdifferenz zwischen zugewiesenen Gruppen. Relativer Lift und inkrementelle Conversions sind sekundäre Transformationen mit klarem Nenner und Population.

    Wissenschaftliche Redaktion: Marketing Science Center

    Direkte Antwort

    Den Kampagnen-ITT und sein Intervall schätzen.

    Primärer Estimand ist die absolute Ergebnisdifferenz zwischen zugewiesenen Gruppen. Relativer Lift und inkrementelle Conversions sind sekundäre Transformationen mit klarem Nenner und Population.

    Rubin, 1974Hernán & Robins, Causal Inference: What If

    01

    Direkte Antwort

    Eine randomisierte Kampagne wird zuerst anhand der absoluten Ergebnisdifferenz zwischen allen Test- und Kontrolleinheiten bewertet. Relativer Lift und inkrementelle Conversions sind sekundär und ersetzen weder ITT noch Intervall.

    02

    Entscheidungsfrage

    Welche Conversion-Differenz erzeugt die Zuweisungspolitik in der geeigneten Population und im vorab festgelegten Fenster, mit welcher Präzision und gegenüber welcher Wertschwelle?

    03

    Population, Einheit und Horizont

    Population: vor der Zuweisung geeignete Einheiten. Einheit: tatsächlich randomisierter Kunde, Cookie, Standort oder Region. Horizont: 14 Tage im Beispiel. Jede Einheit verbleibt im zugewiesenen Arm.

    04

    Estimand und Design

    Primärer Estimand ist der mittlere Zuweisungseffekt ITT = E[Y(1)−Y(0)]. Randomisierung zielt auf Ausgangsaustauschbarkeit; Konsistenz, Positivität und fehlende Interferenz bleiben erforderlich.

    05

    Benötigte Daten

    Einheiten-ID, Eignung, Zuweisung, Ergebnis, Beobachtungsstatus, Exposition, Fenster und vorab beschlossene Ausschlüsse aufbewahren. Aggregate allein diagnostizieren keine Duplikate, Ausfälle oder Kontamination.

    06

    Identifikationsannahmen

    Die Zuweisungsfolge muss unvorhersehbar und auf die deklarierte Einheit angewandt sein; Test und Kontrolle müssen klar definiert sein; Nachbeobachtung darf nicht armabhängig sein; Interferenz erfordert ein eigenes Modell.

    07

    Modell und Symbole

    Bei binärem Ergebnis gilt p̂1=y1/n1 und p̂0=y0/n0. Primärer Effekt ist Δ̂=p̂1−p̂0. Lift ist Δ̂/p̂0; inkrementelle Test-Conversions sind n1×Δ̂. Nenner stets deklarieren.

    08

    Reproduzierbare Berechnung

    CSV lesen, zwei eindeutige Arme und Nenner prüfen, Raten aus Zählwerten neu berechnen, Δ̂, Standardfehler und Intervall berechnen, erst dann Lift und inkrementelles Volumen. Kein Seed: Das Beispiel enthält realisierte Zählwerte.

    09

    Referenzergebnis

    Kontrolle: 1.600/20.000 = 8,00 %. Test: 1.900/20.000 = 9,50 %. ITT = +1,50 Prozentpunkte; Lift = 18,75 %; 300 inkrementelle Test-Conversions.

    MSC-P-013-CAMPAIGN-ITT
    GruppenyRate
    Kontrolle20.0001.6008,00 %
    Test20.0001.9009,50 %

    10

    Unsicherheit

    Die Normalapproximation ergibt SE=0,2826 Punkte und 95-%-KI [0,946; 2,054] Punkte. Bei kleinen Zählwerten oder extremen Raten Score-Intervall verwenden; bei Clusterzuweisung Varianz auf Randomisierungsebene schätzen.

    11

    ITT, Exposition und Adhärenz

    Im Testarm gibt es 17.400 Expositionen bei 20.000 Zuweisungen. ITT behält alle 20.000 Einheiten und schätzt den Effekt der Zuweisungsrichtlinie. Beschränkung auf Exponierte ändert den Estimand und führt Post-Randomisierungsselektion ein.

    12

    Fehlende Ergebnisse

    Im Referenzdatensatz fehlen keine Ergebnisse. In Produktion Fehlwerte nach Arm berichten, Mechanismus erklären und begrenzte Sensitivität durchführen. Differenzielles Löschen kann den Randomisierungsvorteil aufheben.

    13

    Protokolldiagnostik

    Erwartetes Stichprobenverhältnis, Duplikate, Vorbehandlungsbalance, Tracking, Kontamination, Interferenz und Fenster prüfen. Dies diagnostiziert das Protokoll und ersetzt nicht die Schätzung.

    14

    Häufige Fehler

    Typische Fehler: Exponierte als randomisiert behandeln, Nichtkonvertierte nachträglich ausschließen, absolute Differenz Lift nennen, ITT mit falscher Population multiplizieren, früh stoppen oder Multiplizität ignorieren.

    15

    Interpretation

    Unter dem deklarierten Protokoll ist der Bereich mit positivem Politikeffekt für diese Population und dieses Fenster vereinbar. Er beschreibt weder nur Exponierte noch Persistenz über 14 Tage oder Übertragbarkeit.

    16

    Vertretbare Entscheidung

    Untere ITT-Grenze mit vorab festgelegter Wertschwelle vergleichen und unter Kosten, Risiko und Kapazität Rollout, weiteren Pilot oder Stopp wählen. Die Entscheidung bleibt menschlich.

    17

    Unzulässige Entscheidung

    Effekt nicht nur Exponierten, einem Kanal einer Multichannel-Kampagne, Nachfrageerzeugung statt Zeitverschiebung oder künftiger Leistung außerhalb von Population und Fenster zuschreiben.

    18

    Implementierung und Ergebnis

    Das Mindestergebnis enthält eingefrorenes Protokoll, Flussdiagramm, Armzählungen, absolutes ITT, 95-%-KI, Lift, inkrementelles Volumen, Diagnostik, Wertschwelle, Grenzen und mögliche/unzulässige Entscheidung. CSV und Python reproduzieren die Zahlen.

    19

    Wissenschaftliche Quellen

    Hernán und Robins begründen kontrafaktisches Denken, Randomisierung und ITT. Fagerland, Lydersen und Laake dokumentieren Intervalle für Anteilsdifferenzen und Wald-Grenzen. Keine Quelle belegt kommerzielle Leistung.

    Datensatz · Werkzeug

    Datensatz · MSC-P-013-CAMPAIGN-ITTSynthetischer randomisierter Kampagnen-Holdout→

    Methodische Verbindungen

    Übergeordnetes GebietMessung und Kausalität: Wie lässt sich ein Marketingeffekt belegen?

    Als Nächstes

    MSC-P-011Wie plant man einen A/B-Test, der tatsächlich einen Effekt schätzt?→MSC-P-012Wie viele Beobachtungen braucht ein Experiment?→MSC-P-017Wie erkennt man Selektion, Kontamination und Ausfall in einem Experiment?→MSC-P-015Wie schätzt man einen Effekt mit Difference-in-Differences?→