Research & Evidence

Rechercher une méthode

Recherchez parmi les titres, les questions, les territoires et les identifiants MSC.

    ← Toutes les méthodes
    FICHE MÉTHODEMSC-P-013Expérimentation et causalitéDossier scientifique vérifié

    Comment mesurer l’effet incrémental d’une campagne avec un groupe témoin ?

    L’estimand primaire est la différence absolue d’outcome entre groupes assignés. Le lift relatif et les conversions incrémentales sont des transformations secondaires avec dénominateur et population explicites.

    Rédaction scientifique : Marketing Science Center

    Réponse directe

    Estimer l’ITT de la campagne et son intervalle.

    L’estimand primaire est la différence absolue d’outcome entre groupes assignés. Le lift relatif et les conversions incrémentales sont des transformations secondaires avec dénominateur et population explicites.

    Rubin, 1974Hernán & Robins, Causal Inference: What If

    01

    Réponse directe

    Une campagne randomisée s’évalue d’abord par la différence absolue de résultat entre toutes les unités assignées au test et au contrôle. Le lift relatif et les conversions incrémentales sont secondaires ; ils ne remplacent ni l’ITT ni son intervalle.

    02

    Question décisionnelle

    Pour la population éligible et la fenêtre fixée avant lancement, quelle différence de conversion la politique d’assignation produit-elle, avec quelle précision, et cette plage est-elle compatible avec le seuil de valeur défini ?

    03

    Population, unité et horizon

    Population : unités éligibles avant assignation. Unité : client, cookie, magasin ou géographie réellement randomisé. Horizon : 14 jours dans l’exemple. Une unité reste dans son groupe assigné jusqu’à l’analyse.

    04

    Estimand et design

    L’estimand primaire est l’effet moyen de l’assignation, ITT = E[Y(1)−Y(0)]. La randomisation vise l’échangeabilité des groupes au départ ; cohérence, positivité et absence d’interférence restent nécessaires à l’interprétation.

    05

    Données nécessaires

    Conserver l’identifiant d’unité, l’éligibilité, l’assignation, le résultat, son statut d’observation, l’exposition, la fenêtre et les exclusions décidées avant le test. Les comptes agrégés ne suffisent pas à diagnostiquer doublons, attrition ou contamination.

    06

    Hypothèses d’identification

    La séquence d’assignation doit être imprévisible et appliquée à l’unité déclarée ; le traitement et le contrôle doivent être bien définis ; le suivi ne doit pas dépendre différentiellement du groupe ; une unité ne doit pas modifier le résultat d’une autre sans modèle d’interférence.

    07

    Modèle et symboles

    Pour un résultat binaire, p̂1=y1/n1 et p̂0=y0/n0. L’effet primaire est Δ̂=p̂1−p̂0. Le lift est Δ̂/p̂0 ; les conversions incrémentales dans le test valent n1×Δ̂. Toujours déclarer le dénominateur.

    08

    Calcul reproductible

    Lire le CSV, vérifier deux bras uniques et les dénominateurs, recalculer les taux depuis les comptes, calculer Δ̂, son erreur-type et l’IC, puis seulement dériver lift et volume incrémental. La graine n’intervient pas : l’exemple contient les comptes réalisés.

    09

    Résultat de référence

    Contrôle : 1 600/20 000 = 8,00 %. Test : 1 900/20 000 = 9,50 %. ITT = +1,50 point ; lift secondaire = 18,75 % ; 300 conversions incrémentales dans le bras test.

    MSC-P-013-CAMPAIGN-ITT
    GroupenyTaux
    Contrôle20 0001 6008,00 %
    Test20 0001 9009,50 %

    10

    Incertitude

    L’approximation normale donne SE=0,2826 point et IC95 [0,946 ; 2,054] points. Avec de petits comptes ou des taux extrêmes, préférer un intervalle de score ; si l’assignation est clusterisée, estimer la variance au niveau de randomisation.

    11

    ITT, exposition et adhérence

    Le bras test compte 17 400 expositions pour 20 000 assignations. L’ITT conserve les 20 000 unités et estime l’effet de la politique d’assignation. Diviser par les seuls exposés change l’estimand et réintroduit une sélection post-randomisation.

    12

    Données manquantes

    Le jeu de référence ne contient aucun outcome manquant. En production, rapporter les manquants par bras, expliquer leur mécanisme et réaliser une sensibilité bornée. Une suppression différentielle après assignation peut rompre le bénéfice de la randomisation.

    13

    Diagnostics du protocole

    Contrôler le ratio d’échantillon attendu, les doublons d’unité, l’équilibre des variables prétraitement, la stabilité du tracking, la contamination, l’interférence et la conformité de la fenêtre. Ces diagnostics qualifient le protocole ; ils ne remplacent pas l’estimation.

    14

    Erreurs fréquentes

    Erreurs typiques : analyser les exposés comme s’ils étaient randomisés, exclure après coup les non-convertis, appeler lift une différence absolue, multiplier l’ITT par la mauvaise population, arrêter au premier résultat favorable ou ignorer la multiplicité.

    15

    Interprétation

    Sous le protocole déclaré, la plage est compatible avec un effet positif de la politique sur cette population et cette fenêtre. Elle ne décrit pas l’effet chez les seuls exposés, la persistance au-delà de 14 jours ni la transférabilité à une autre campagne.

    16

    Décision possible

    Comparer la borne basse de l’ITT à un seuil de valeur fixé avant l’analyse, puis décider d’un déploiement, d’un pilote supplémentaire ou d’un arrêt en intégrant coût, risque et capacité. La décision reste humaine et conditionnelle.

    17

    Décision impossible

    Ne pas attribuer l’effet aux seuls utilisateurs exposés, à un canal précis dans une campagne multicanale, à la création de demande plutôt qu’à un déplacement temporel, ni à une performance future hors de la population et de la fenêtre observées.

    18

    Implémentation et livrable

    Le livrable minimal contient protocole gelé, diagramme de flux, comptes par bras, ITT absolu, IC95, lift secondaire, volume incrémental, diagnostics, seuil de valeur, limites et décision possible/impossible. Le CSV et le script Python ci-dessous reproduisent les chiffres.

    19

    Sources scientifiques

    Hernán et Robins fondent la logique contrefactuelle, la randomisation et l’ITT. Fagerland, Lydersen et Laake documentent les intervalles pour différences de proportions et les limites de Wald. Ces sources ne prouvent aucune performance commerciale.

    Dataset · Outil

    Dataset · MSC-P-013-CAMPAIGN-ITTHoldout randomisé synthétique de campagne→

    Connexions méthodologiques

    Territoire parentMesure et causalité : comment établir un effet marketing ?

    À lire ensuite

    MSC-P-011Comment concevoir un A/B test qui estime réellement un effet ?→MSC-P-012De combien d’observations une expérience a-t-elle besoin ?→MSC-P-017Comment détecter sélection, contamination et attrition dans une expérience ?→MSC-P-015Comment estimer un effet avec une différence-de-différences ?→