Research & Evidence

Rechercher une méthode

Recherchez parmi les titres, les questions, les territoires et les identifiants MSC.

    ← Toutes les méthodes
    FICHE MÉTHODEMSC-P-017Expérimentation et causalitéDossier scientifique vérifié

    Comment détecter sélection, contamination et attrition dans une expérience ?

    Le diagnostic compare le flux d’unités depuis l’éligibilité jusqu’au résultat : assignation, exposition, contamination, pertes et exclusions. L’ITT reste fondé sur l’assignation.

    Rédaction scientifique : Marketing Science Center

    Réponse directe

    Qualifier les menaces et réaliser des analyses de sensibilité.

    Le diagnostic compare le flux d’unités depuis l’éligibilité jusqu’au résultat : assignation, exposition, contamination, pertes et exclusions. L’ITT reste fondé sur l’assignation.

    CONSORT 2010 Explanation and ElaborationHernán & Robins, Causal Inference: What If

    01

    Résumé opérationnel

    Question scientifique et périmètre

    Comment détecter sélection, contamination et attrition dans une expérience ?

    Recevable

    Qualifier les menaces et réaliser des analyses de sensibilité.

    Interdit

    Réparer automatiquement une attrition différentielle sévère.

    02

    Trois niveaux de lecture

    1. 01

      Décideur — Relier le résultat à une décision, un seuil utile et un coût d’erreur déclarés.

    2. 02

      Praticien — Fixer population, unité, horizon, variables disponibles et règle d’analyse avant le calcul.

    3. 03

      Analyste — Reproduire le calcul, quantifier l’incertitude et documenter diagnostics, échecs et sensibilités.

    03

    Situation marketing concrète

    Le diagnostic compare le flux d’unités depuis l’éligibilité jusqu’au résultat : assignation, exposition, contamination, pertes et exclusions. L’ITT reste fondé sur l’assignation.

    04

    Question scientifique et périmètre

    Comment détecter sélection, contamination et attrition dans une expérience ?

    Éléments diagnostiques, non un nouvel effet causal

    Données nécessaires

    unité éligible dans le flux d’analyse

    La population, l’unité d’analyse, la date d’origine et l’horizon doivent être déclarés dans le livrable. Sans eux, l’estimand change silencieusement.

    05

    Pourquoi une analyse simple peut échouer

    • Réparer automatiquement une attrition différentielle sévère.
    • Les nombres d’unités assignées se réconcilient-ils avec le journal de randomisation et l’allocation spécifiée a priori ?
    • Les résultats manquants sont-ils comparés selon le bras d’assignation en appliquant une règle déclarée ?
    • L’exposition et la contamination sont-elles définies sans conditionner l’analyse ITT principale sur un comportement postérieur à l’assignation ?

    06

    Intuition de la méthode

    La méthode ne transforme pas automatiquement une association en preuve. Elle relie une question déclarée à un estimand, une spécification, des données compatibles et une règle d’interprétation limitée.

    Éléments diagnostiques, non un nouvel effet causal

    07

    Données nécessaires

    Dictionnaire des symboles scientifiques

    assigned_arm
    Nombre d’unités éligibles randomisées dans le bras déclaré. Unité : unité · Type : entier positif ou nul · Rôle : entrée
    observed_arm
    Nombre d’unités assignées pour lesquelles le résultat principal est observé selon la règle spécifiée a priori pour les résultats manquants. Unité : unité · Type : entier positif ou nul · Rôle : entrée
    exposed_arm
    Nombre d’unités assignées ayant reçu l’exposition mesurée selon la définition de l’exposition spécifiée a priori. Unité : unité · Type : entier positif ou nul · Rôle : entrée
    attrition_arm
    Part des unités assignées sans résultat principal observé dans ce bras. Unité : proportion · Type : nombre dans [0, 1] · Rôle : sortie
    exposure_T
    Part d’unités exposées parmi les unités assignées au traitement. Unité : proportion · Type : nombre dans [0, 1] · Rôle : diagnostic
    contamination_C
    Part d’unités exposées parmi les unités assignées au contrôle. Unité : proportion · Type : nombre dans [0, 1] · Rôle : diagnostic

    Entrées exactes et scellées du moteur

    assigned_treatment
    Valeur : 5000 · Unité : unité · Type : entier · Statut des données : synthétique
    assigned_control
    Valeur : 5000 · Unité : unité · Type : entier · Statut des données : synthétique
    observed_treatment
    Valeur : 4800 · Unité : unité · Type : entier · Statut des données : synthétique
    observed_control
    Valeur : 4900 · Unité : unité · Type : entier · Statut des données : synthétique
    exposed_treatment
    Valeur : 4500 · Unité : unité · Type : entier · Statut des données : synthétique
    exposed_control
    Valeur : 200 · Unité : unité · Type : entier · Statut des données : synthétique

    08

    Modèle formel

    Modèle formel

    attrition_treatment = 1 − observed_treatment/assigned_treatment; attrition_control = 1 − observed_control/assigned_control; differential_attrition = attrition_treatment − attrition_control; treatment_exposure = exposed_treatment/assigned_treatment; control_contamination = exposed_control/assigned_control

    Affirmations étayées : MSC-P017-C01 · MSC-P017-C02 · MSC-P017-C03 · MSC-P017-C04 · MSC-P017-C05

    Question scientifique et périmètre

    Éléments diagnostiques, non un nouvel effet causal

    09

    Calcul déclaré

    1. 01

      Réconcilier les nombres d’unités éligibles, assignées, observées et exposées par bras randomisé, et rejeter toute relation de comptage impossible.

    2. 02

      Calculer, par bras, l’attrition, l’attrition différentielle, l’exposition au traitement et le taux de contamination du contrôle.

    3. 03

      Rapporter uniquement des diagnostics de mise en œuvre ; ne pas prétendre que ces taux corrigent le biais ou constituent un test SRM.

    10

    Exemple numérique ou cas d’application

    Exemple d’application — données synthétiques ou paramètres déclarés ; aucune observation réelle

    Entrées scellées

    • assigned_treatment=5000 [unité]
    • assigned_control=5000 [unité]
    • observed_treatment=4800 [unité]
    • observed_control=4900 [unité]
    • exposed_treatment=4500 [unité]
    • exposed_control=200 [unité]

    Résultats reproductibles

    • attrition_treatment/control=0.04/0.02
    • differential_attrition=0.02
    • exposure/contamination=0.90/0.04

    Dossier vérifié : affirmations reliées à des sources au niveau du passage, calcul Python/R reproduit, limites explicites et revue scientifique indépendante achevée.

    11

    Hypothèses de validité

    • Les nombres d’unités assignées se réconcilient-ils avec le journal de randomisation et l’allocation spécifiée a priori ?
    • Les résultats manquants sont-ils comparés selon le bras d’assignation en appliquant une règle déclarée ?
    • L’exposition et la contamination sont-elles définies sans conditionner l’analyse ITT principale sur un comportement postérieur à l’assignation ?

    12

    Diagnostics et incertitude

    Diagnostics et incertitude

    Les nombres d’unités assignées se réconcilient-ils avec le journal de randomisation et l’allocation spécifiée a priori ? · Les résultats manquants sont-ils comparés selon le bras d’assignation en appliquant une règle déclarée ? · L’exposition et la contamination sont-elles définies sans conditionner l’analyse ITT principale sur un comportement postérieur à l’assignation ?

    Diagnostic borné

    Ces diagnostics révèlent des risques de mise en œuvre ; ils ne corrigent pas les biais.

    Contrat explicite d’incertitude · not_estimable_from_sealed_inputs

    Méthode : Évaluation explicite de la non-estimabilité au regard du schéma d’entrées scellé.

    Cible : Incertitude d’échantillonnage des taux d’attrition, d’exposition et de contamination.

    Preuve du moteur : diagnostic=diagnostics_do_not_repair_bias

    Interprétation : Les seuls comptages agrégés du flux n’identifient ni la structure de dépendance ni le mécanisme de données manquantes nécessaires à des intervalles d’incertitude valides.

    Arrêter si

    Réparer automatiquement une attrition différentielle sévère.

    13

    Interprétation du résultat

    • Qualifier les menaces et réaliser des analyses de sensibilité.
    • Le résultat est conditionnel à la population, à l’horizon, à la spécification et aux contrôles déclarés. Il ne doit pas être étendu à une autre décision sans nouvelle justification.

    14

    Conclusion recevable et conclusion interdite

    Recevable

    Qualifier les menaces et réaliser des analyses de sensibilité.

    Interdit

    Réparer automatiquement une attrition différentielle sévère.

    15

    Décision marketing possible

    1. 01

      Qualifier les menaces et réaliser des analyses de sensibilité.

    2. 02

      Le résultat est conditionnel à la population, à l’horizon, à la spécification et aux contrôles déclarés. Il ne doit pas être étendu à une autre décision sans nouvelle justification.

    16

    Quand utiliser — quand s’arrêter

    Utiliser si

    Qualifier les menaces et réaliser des analyses de sensibilité.

    unité éligible dans le flux d’analyse

    Arrêter si

    Réparer automatiquement une attrition différentielle sévère.

    Alternatives méthodologiques

    • Effectuer un test exact d’inadéquation du ratio d’échantillon lorsque les probabilités d’allocation et les journaux d’assignation sont disponibles.
    • Utiliser des bornes de sensibilité pour les résultats manquants ou la non-observance.
    • Rapporter à la fois l’analyse ITT et les analyses spécifiées a priori selon le traitement reçu, sans remplacer l’estimand ITT.

    17

    Contrat de reproductibilité

    Python et R servent de références exécutables. SPSS et SAS restent des syntaxes secondaires jusqu’à vérification sur les mêmes données, la même spécification et les mêmes contrôles.

    Le moteur sélectionne uniquement le slice et la branche explicite de cette page. Son hash, ses sorties et ses diagnostics restent scellés dans le dossier atomique ; aucune branche générique de repli n’est autorisée.

    Empreinte du slice : 86981a5527088e6e95da14a6c0091530f1f492c73e0b0dec47bdbd5cbda693e0

    Modèle formel

    attrition_treatment = 1 − observed_treatment/assigned_treatment; attrition_control = 1 − observed_control/assigned_control; differential_attrition = attrition_treatment − attrition_control; treatment_exposure = exposed_treatment/assigned_treatment; control_contamination = exposed_control/assigned_control

    Dossier vérifié : affirmations reliées à des sources au niveau du passage, calcul Python/R reproduit, limites explicites et revue scientifique indépendante achevée.

    18

    Livrable final attendu

    1. 01

      Comment détecter sélection, contamination et attrition dans une expérience ? — unité éligible dans le flux d’analyse

    2. 02

      assigned_arm · observed_arm · exposed_arm · attrition_arm · exposure_T · contamination_C

    3. 03

      attrition_treatment = 1 − observed_treatment/assigned_treatment; attrition_control = 1 − observed_control/assigned_control; differential_attrition = attrition_treatment − attrition_control; treatment_exposure = exposed_treatment/assigned_treatment; control_contamination = exposed_control/assigned_control

    4. 04

      Les nombres d’unités assignées se réconcilient-ils avec le journal de randomisation et l’allocation spécifiée a priori ? · Les résultats manquants sont-ils comparés selon le bras d’assignation en appliquant une règle déclarée ? · L’exposition et la contamination sont-elles définies sans conditionner l’analyse ITT principale sur un comportement postérieur à l’assignation ?

    5. 05

      Qualifier les menaces et réaliser des analyses de sensibilité. / Réparer automatiquement une attrition différentielle sévère.

    19

    Sources scientifiques et statut de preuve

    Dossier vérifié : affirmations reliées à des sources au niveau du passage, calcul Python/R reproduit, limites explicites et revue scientifique indépendante achevée.

    1. MSC-P017-C01 — La détermination de la taille d’échantillon doit nommer le résultat principal et toutes les quantités utilisées.
    2. MSC-P017-C02 — Les ajustements pour l’attrition et la non-observance doivent être rapportés.
    3. MSC-P017-C03 — L’analyse selon l’assignation randomisée préserve la comparaison prévue.
    4. MSC-P017-C04 — La cohérence relie le résultat observé au résultat potentiel sous la politique assignée.
    5. MSC-P017-C05 — L’estimand causal suppose que l’assignation d’un client ne modifie pas le résultat d’un autre client.
    1. CONSORT 2010 Explanation and Elaboration
    2. Hernán & Robins, Causal Inference: What If

    Connexions méthodologiques

    Territoire parentMesure et causalité : comment établir un effet marketing ?

    À lire ensuite

    MSC-P-010Quand faut-il mener une expérience marketing ?→MSC-P-011Comment concevoir un A/B test qui estime réellement un effet ?→MSC-P-013Comment mesurer l’effet incrémental d’une campagne avec un groupe témoin ?→