Research & Evidence

Rechercher une méthode

Recherchez parmi les titres, les questions, les territoires et les identifiants MSC.

    ← Toutes les méthodes
    FICHE MÉTHODEMSC-P-010Expérimentation et causalitéDossier scientifique vérifié

    Quand faut-il mener une expérience marketing ?

    Une expérience est prioritaire lorsque la question porte sur l’effet d’une action et que l’assignation peut être contrôlée sans risque disproportionné. Sinon, le design observationnel doit expliciter ses hypothèses.

    Rédaction scientifique : Marketing Science Center

    Réponse directe

    Choisir un design proportionné à la décision et au risque.

    Une expérience est prioritaire lorsque la question porte sur l’effet d’une action et que l’assignation peut être contrôlée sans risque disproportionné. Sinon, le design observationnel doit expliciter ses hypothèses.

    Jackson et al., 2022Hernán & Robins, Causal Inference: What If

    01

    Résumé opérationnel

    Question scientifique et périmètre

    Quand faut-il mener une expérience marketing ?

    Recevable

    Choisir un design proportionné à la décision et au risque.

    Interdit

    Exiger une causalité forte quand aucune variation crédible n’existe.

    02

    Trois niveaux de lecture

    1. 01

      Décideur — Relier le résultat à une décision, un seuil utile et un coût d’erreur déclarés.

    2. 02

      Praticien — Fixer population, unité, horizon, variables disponibles et règle d’analyse avant le calcul.

    3. 03

      Analyste — Reproduire le calcul, quantifier l’incertitude et documenter diagnostics, échecs et sensibilités.

    03

    Situation marketing concrète

    Une expérience est prioritaire lorsque la question porte sur l’effet d’une action et que l’assignation peut être contrôlée sans risque disproportionné. Sinon, le design observationnel doit expliciter ses hypothèses.

    04

    Question scientifique et périmètre

    Quand faut-il mener une expérience marketing ?

    Filtre de gouvernance local déterminant si une expérience causale mérite une conception détaillée ; ce n’est ni une EVSI ni une EVPI

    Données nécessaires

    unité éligible × assignation × horizon de valeur fixe

    La population, l’unité d’analyse, la date d’origine et l’horizon doivent être déclarés dans le livrable. Sans eux, l’estimand change silencieusement.

    05

    Pourquoi une analyse simple peut échouer

    • Exiger une causalité forte quand aucune variation crédible n’existe.
    • Toutes les quantités monétaires sont-elles évaluées sur le même horizon et selon la même base monétaire ?
    • Le scénario de valorisation a-t-il été fixé avant l’observation d’un résultat expérimental ?
    • Les probabilités et conséquences des risques sont-elles explicitement documentées plutôt qu’incorporées dans un score inexpliqué ?

    06

    Intuition de la méthode

    La méthode ne transforme pas automatiquement une association en preuve. Elle relie une question déclarée à un estimand, une spécification, des données compatibles et une règle d’interprétation limitée.

    Filtre de gouvernance local déterminant si une expérience causale mérite une conception détaillée ; ce n’est ni une EVSI ni une EVPI

    07

    Données nécessaires

    Dictionnaire des symboles scientifiques

    local_decision_value
    Valeur monétaire évaluée localement pour la résolution de la décision déclarée dans un scénario de valorisation et un horizon spécifiés a priori ; ce n’est ni EVSI ni EVPI. Unité : euro sur l’horizon déclaré · Type : nombre · Rôle : entrée
    experiment_cost
    Coût monétaire incrémental total de conception, de conduite et d’analyse de l’expérience sur le même horizon. Unité : euro · Type : nombre positif ou nul · Rôle : entrée
    expected_operational_harm
    Préjudice monétaire attendu selon un modèle probabiliste déclaré des risques opérationnels et éthiques. Unité : euro · Type : nombre positif ou nul · Rôle : entrée
    local_screen
    Solde local de gouvernance utilisé pour décider s’il est pertinent de poursuivre la conception détaillée de l’expérience ; ce n’est ni une estimation d’effet ni une valeur formelle de l’information. Unité : euro · Type : nombre · Rôle : sortie

    Entrées exactes et scellées du moteur

    local_decision_value_eur
    Valeur : 25000 · Unité : EUR · Type : nombre · Statut des données : synthétique
    experiment_cost_eur
    Valeur : 12000 · Unité : EUR · Type : nombre · Statut des données : synthétique
    operational_risk_eur
    Valeur : 5000 · Unité : EUR · Type : nombre · Statut des données : synthétique
    anticipated_gain_pp
    Valeur : 2.0 · Unité : point_de_pourcentage · Type : nombre · Statut des données : synthétique
    minimum_useful_gain_pp
    Valeur : 1.5 · Unité : point_de_pourcentage · Type : nombre · Statut des données : paramètre déclaré
    action_reversible
    Valeur : 1 · Unité : binaire · Type : entier · Statut des données : synthétique
    assignment_feasible
    Valeur : 1 · Unité : binaire · Type : entier · Statut des données : synthétique
    value_horizon_days
    Valeur : 30 · Unité : jour · Type : entier · Statut des données : paramètre déclaré
    valuation_scenario_prespecified
    Valeur : 1 · Unité : binaire · Type : entier · Statut des données : paramètre déclaré
    risk_probability_model_declared
    Valeur : 1 · Unité : binaire · Type : entier · Statut des données : paramètre déclaré

    08

    Modèle formel

    Modèle formel

    local_net_screen_eur = local_decision_value_eur − experiment_cost_eur − operational_risk_eur; passes_local_screen = 1 only if local_net_screen_eur > 0, anticipated_gain_pp >= minimum_useful_gain_pp, action_reversible = 1, assignment_feasible = 1, valuation_scenario_prespecified = 1, risk_probability_model_declared = 1, and value_horizon_days > 0

    Affirmations étayées : MSC-P010-C01 · MSC-P010-C02 · MSC-P010-C03 · MSC-P010-C04 · MSC-P010-C05 · MSC-P010-C06 · MSC-P010-C07 · MSC-P010-C08 · MSC-P010-C09

    Question scientifique et périmètre

    Filtre de gouvernance local déterminant si une expérience causale mérite une conception détaillée ; ce n’est ni une EVSI ni une EVPI

    09

    Calcul déclaré

    1. 01

      Aligner la valeur de la décision, le coût et le préjudice sur une même devise, un même scénario de valorisation et un horizon fixe ; exiger la déclaration du scénario et du modèle de risque.

    2. 02

      Soustraire le coût de l’expérience et le préjudice opérationnel attendu de la valeur de décision évaluée localement, puis comparer le gain anticipé au gain utile minimal.

    3. 03

      Qualifier la sortie de screening de gouvernance non universel et interdire toute formulation en termes de VOI ou d’effet causal.

    10

    Exemple numérique ou cas d’application

    Exemple d’application — données synthétiques ou paramètres déclarés ; aucune observation réelle

    Entrées scellées

    • local_decision_value_eur=25000 [EUR]
    • experiment_cost_eur=12000 [EUR]
    • operational_risk_eur=5000 [EUR]
    • anticipated_gain_pp=2.0 [point_de_pourcentage]
    • minimum_useful_gain_pp=1.5 [point_de_pourcentage]
    • action_reversible=1 [binaire]
    • assignment_feasible=1 [binaire]
    • value_horizon_days=30 [jour]
    • valuation_scenario_prespecified=1 [binaire]
    • risk_probability_model_declared=1 [binaire]

    Résultats reproductibles

    • local_net_screen=€8,000
    • passes_local_screen=true

    Dossier vérifié : affirmations reliées à des sources au niveau du passage, calcul Python/R reproduit, limites explicites et revue scientifique indépendante achevée.

    11

    Hypothèses de validité

    • Toutes les quantités monétaires sont-elles évaluées sur le même horizon et selon la même base monétaire ?
    • Le scénario de valorisation a-t-il été fixé avant l’observation d’un résultat expérimental ?
    • Les probabilités et conséquences des risques sont-elles explicitement documentées plutôt qu’incorporées dans un score inexpliqué ?

    12

    Diagnostics et incertitude

    Diagnostics et incertitude

    Toutes les quantités monétaires sont-elles évaluées sur le même horizon et selon la même base monétaire ? · Le scénario de valorisation a-t-il été fixé avant l’observation d’un résultat expérimental ? · Les probabilités et conséquences des risques sont-elles explicitement documentées plutôt qu’incorporées dans un score inexpliqué ?

    Diagnostic borné

    Filtre local de gouvernance, non universel ; ni valeur de l’information ni estimation d’effet.

    Contrat explicite d’incertitude · not_estimable_from_sealed_inputs

    Méthode : Évaluation explicite de la non-estimabilité au regard du schéma d’entrées scellé.

    Cible : Incertitude portant sur les entrées locales de valeur, de coût, de risque et de gain.

    Preuve du moteur : diagnostic=local_nonuniversal_governance_screen_not_voi_or_effect_estimate

    Interprétation : Les entrées ponctuelles scellées ne contiennent aucune distribution de probabilité ; ce screening de gouvernance ne peut donc quantifier ni EVSI, ni EVPI, ni l’incertitude décisionnelle.

    Arrêter si

    Exiger une causalité forte quand aucune variation crédible n’existe.

    13

    Interprétation du résultat

    • Choisir un design proportionné à la décision et au risque.
    • Le résultat est conditionnel à la population, à l’horizon, à la spécification et aux contrôles déclarés. Il ne doit pas être étendu à une autre décision sans nouvelle justification.

    14

    Conclusion recevable et conclusion interdite

    Recevable

    Choisir un design proportionné à la décision et au risque.

    Interdit

    Exiger une causalité forte quand aucune variation crédible n’existe.

    15

    Décision marketing possible

    1. 01

      Choisir un design proportionné à la décision et au risque.

    2. 02

      Le résultat est conditionnel à la population, à l’horizon, à la spécification et aux contrôles déclarés. Il ne doit pas être étendu à une autre décision sans nouvelle justification.

    16

    Quand utiliser — quand s’arrêter

    Utiliser si

    Choisir un design proportionné à la décision et au risque.

    unité éligible × assignation × horizon de valeur fixe

    Arrêter si

    Exiger une causalité forte quand aucune variation crédible n’existe.

    Alternatives méthodologiques

    • Utiliser EVPI ou EVSI dans le cadre d’un modèle décisionnel probabiliste entièrement spécifié.
    • Utiliser un gate qualitatif de faisabilité et d’éthique lorsqu’une valorisation monétaire serait trompeuse.
    • Ne mener un petit pilote qu’après avoir défini les règles d’arrêt et l’estimand causal.

    17

    Contrat de reproductibilité

    Python et R servent de références exécutables. SPSS et SAS restent des syntaxes secondaires jusqu’à vérification sur les mêmes données, la même spécification et les mêmes contrôles.

    Le moteur sélectionne uniquement le slice et la branche explicite de cette page. Son hash, ses sorties et ses diagnostics restent scellés dans le dossier atomique ; aucune branche générique de repli n’est autorisée.

    Empreinte du slice : 9f3be1ae9f83565bb0f6f7351672c8284fe0eaf705c212e574f0545f899f4c14

    Modèle formel

    local_net_screen_eur = local_decision_value_eur − experiment_cost_eur − operational_risk_eur; passes_local_screen = 1 only if local_net_screen_eur > 0, anticipated_gain_pp >= minimum_useful_gain_pp, action_reversible = 1, assignment_feasible = 1, valuation_scenario_prespecified = 1, risk_probability_model_declared = 1, and value_horizon_days > 0

    Dossier vérifié : affirmations reliées à des sources au niveau du passage, calcul Python/R reproduit, limites explicites et revue scientifique indépendante achevée.

    18

    Livrable final attendu

    1. 01

      Quand faut-il mener une expérience marketing ? — unité éligible × assignation × horizon de valeur fixe

    2. 02

      local_decision_value · experiment_cost · expected_operational_harm · local_screen

    3. 03

      local_net_screen_eur = local_decision_value_eur − experiment_cost_eur − operational_risk_eur; passes_local_screen = 1 only if local_net_screen_eur > 0, anticipated_gain_pp >= minimum_useful_gain_pp, action_reversible = 1, assignment_feasible = 1, valuation_scenario_prespecified = 1, risk_probability_model_declared = 1, and value_horizon_days > 0

    4. 04

      Toutes les quantités monétaires sont-elles évaluées sur le même horizon et selon la même base monétaire ? · Le scénario de valorisation a-t-il été fixé avant l’observation d’un résultat expérimental ? · Les probabilités et conséquences des risques sont-elles explicitement documentées plutôt qu’incorporées dans un score inexpliqué ?

    5. 05

      Choisir un design proportionné à la décision et au risque. / Exiger une causalité forte quand aucune variation crédible n’existe.

    19

    Sources scientifiques et statut de preuve

    Dossier vérifié : affirmations reliées à des sources au niveau du passage, calcul Python/R reproduit, limites explicites et revue scientifique indépendante achevée.

    1. MSC-P010-C01 — La cible causale compare les moyennes des résultats potentiels sous deux interventions définies.
    2. MSC-P010-C02 — La cohérence relie le résultat observé au résultat potentiel sous la politique assignée.
    3. MSC-P010-C03 — L’estimand causal suppose que l’assignation d’un client ne modifie pas le résultat d’un autre client.
    4. MSC-P010-C04 — L’ajustement d’une régression n’établit pas à lui seul un plan causal.
    5. MSC-P010-C05 — La spécification a priori porte à la fois sur la question de recherche et sur le plan d’analyse avant l’observation des résultats.
    6. MSC-P010-C06 — Les méthodes de valeur de l’information étayent la priorisation de la recherche et la conception des études.
    7. MSC-P010-C07 — Une VoI formelle exige une incertitude probabiliste sur les paramètres.
    8. MSC-P010-C08 — Une VoI formelle exige des pertes ou bénéfices propres à la décision.
    9. MSC-P010-C09 — ENBS est fondé sur EVSI, et non sur un score local arbitraire.
    1. Jackson et al., 2022
    2. Hernán & Robins, Causal Inference: What If
    3. Arnold et al., 2020
    4. Nosek et al., 2018

    Connexions méthodologiques

    Territoire parentMesure et causalité : comment établir un effet marketing ?

    À lire ensuite

    MSC-P-011Comment concevoir un A/B test qui estime réellement un effet ?→MSC-P-012De combien d’observations une expérience a-t-elle besoin ?→MSC-P-017Comment détecter sélection, contamination et attrition dans une expérience ?→