Quand faut-il mener une expérience marketing ?
Une expérience est prioritaire lorsque la question porte sur l’effet d’une action et que l’assignation peut être contrôlée sans risque disproportionné. Sinon, le design observationnel doit expliciter ses hypothèses.
Rédaction scientifique : Marketing Science Center
Réponse directe
Choisir un design proportionné à la décision et au risque.
Une expérience est prioritaire lorsque la question porte sur l’effet d’une action et que l’assignation peut être contrôlée sans risque disproportionné. Sinon, le design observationnel doit expliciter ses hypothèses.
Jackson et al., 2022Hernán & Robins, Causal Inference: What If
01
Résumé opérationnel
Question scientifique et périmètre
Quand faut-il mener une expérience marketing ?
Recevable
Choisir un design proportionné à la décision et au risque.
Interdit
Exiger une causalité forte quand aucune variation crédible n’existe.
02
Trois niveaux de lecture
- 01
Décideur — Relier le résultat à une décision, un seuil utile et un coût d’erreur déclarés.
- 02
Praticien — Fixer population, unité, horizon, variables disponibles et règle d’analyse avant le calcul.
- 03
Analyste — Reproduire le calcul, quantifier l’incertitude et documenter diagnostics, échecs et sensibilités.
03
Situation marketing concrète
Une expérience est prioritaire lorsque la question porte sur l’effet d’une action et que l’assignation peut être contrôlée sans risque disproportionné. Sinon, le design observationnel doit expliciter ses hypothèses.
04
Question scientifique et périmètre
Quand faut-il mener une expérience marketing ?
Filtre de gouvernance local déterminant si une expérience causale mérite une conception détaillée ; ce n’est ni une EVSI ni une EVPI
Données nécessaires
unité éligible × assignation × horizon de valeur fixe
La population, l’unité d’analyse, la date d’origine et l’horizon doivent être déclarés dans le livrable. Sans eux, l’estimand change silencieusement.
05
Pourquoi une analyse simple peut échouer
- Exiger une causalité forte quand aucune variation crédible n’existe.
- Toutes les quantités monétaires sont-elles évaluées sur le même horizon et selon la même base monétaire ?
- Le scénario de valorisation a-t-il été fixé avant l’observation d’un résultat expérimental ?
- Les probabilités et conséquences des risques sont-elles explicitement documentées plutôt qu’incorporées dans un score inexpliqué ?
06
Intuition de la méthode
La méthode ne transforme pas automatiquement une association en preuve. Elle relie une question déclarée à un estimand, une spécification, des données compatibles et une règle d’interprétation limitée.
Filtre de gouvernance local déterminant si une expérience causale mérite une conception détaillée ; ce n’est ni une EVSI ni une EVPI
07
Données nécessaires
Dictionnaire des symboles scientifiques
local_decision_value- Valeur monétaire évaluée localement pour la résolution de la décision déclarée dans un scénario de valorisation et un horizon spécifiés a priori ; ce n’est ni EVSI ni EVPI. Unité:
euro sur l’horizon déclaré· Type:nombre· Rôle:entrée experiment_cost- Coût monétaire incrémental total de conception, de conduite et d’analyse de l’expérience sur le même horizon. Unité:
euro· Type:nombre positif ou nul· Rôle:entrée expected_operational_harm- Préjudice monétaire attendu selon un modèle probabiliste déclaré des risques opérationnels et éthiques. Unité:
euro· Type:nombre positif ou nul· Rôle:entrée local_screen- Solde local de gouvernance utilisé pour décider s’il est pertinent de poursuivre la conception détaillée de l’expérience ; ce n’est ni une estimation d’effet ni une valeur formelle de l’information. Unité:
euro· Type:nombre· Rôle:sortie
Entrées exactes et scellées du moteur
local_decision_value_eur- Valeur:
25000· Unité:EUR· Type:nombre· Statut des données:synthétique experiment_cost_eur- Valeur:
12000· Unité:EUR· Type:nombre· Statut des données:synthétique operational_risk_eur- Valeur:
5000· Unité:EUR· Type:nombre· Statut des données:synthétique anticipated_gain_pp- Valeur:
2.0· Unité:point_de_pourcentage· Type:nombre· Statut des données:synthétique minimum_useful_gain_pp- Valeur:
1.5· Unité:point_de_pourcentage· Type:nombre· Statut des données:paramètre déclaré action_reversible- Valeur:
1· Unité:binaire· Type:entier· Statut des données:synthétique assignment_feasible- Valeur:
1· Unité:binaire· Type:entier· Statut des données:synthétique value_horizon_days- Valeur:
30· Unité:jour· Type:entier· Statut des données:paramètre déclaré valuation_scenario_prespecified- Valeur:
1· Unité:binaire· Type:entier· Statut des données:paramètre déclaré risk_probability_model_declared- Valeur:
1· Unité:binaire· Type:entier· Statut des données:paramètre déclaré
08
Modèle formel
Modèle formel
local_net_screen_eur = local_decision_value_eur − experiment_cost_eur − operational_risk_eur; passes_local_screen = 1 only if local_net_screen_eur > 0, anticipated_gain_pp >= minimum_useful_gain_pp, action_reversible = 1, assignment_feasible = 1, valuation_scenario_prespecified = 1, risk_probability_model_declared = 1, and value_horizon_days > 0Affirmations étayées: MSC-P010-C01 · MSC-P010-C02 · MSC-P010-C03 · MSC-P010-C04 · MSC-P010-C05 · MSC-P010-C06 · MSC-P010-C07 · MSC-P010-C08 · MSC-P010-C09
Question scientifique et périmètre
Filtre de gouvernance local déterminant si une expérience causale mérite une conception détaillée ; ce n’est ni une EVSI ni une EVPI
09
Calcul déclaré
- 01
Aligner la valeur de la décision, le coût et le préjudice sur une même devise, un même scénario de valorisation et un horizon fixe ; exiger la déclaration du scénario et du modèle de risque.
- 02
Soustraire le coût de l’expérience et le préjudice opérationnel attendu de la valeur de décision évaluée localement, puis comparer le gain anticipé au gain utile minimal.
- 03
Qualifier la sortie de screening de gouvernance non universel et interdire toute formulation en termes de VOI ou d’effet causal.
10
Exemple numérique ou cas d’application
Exemple d’application — données synthétiques ou paramètres déclarés ; aucune observation réelle
Entrées scellées
local_decision_value_eur=25000 [EUR]experiment_cost_eur=12000 [EUR]operational_risk_eur=5000 [EUR]anticipated_gain_pp=2.0 [point_de_pourcentage]minimum_useful_gain_pp=1.5 [point_de_pourcentage]action_reversible=1 [binaire]assignment_feasible=1 [binaire]value_horizon_days=30 [jour]valuation_scenario_prespecified=1 [binaire]risk_probability_model_declared=1 [binaire]
Résultats reproductibles
local_net_screen=€8,000passes_local_screen=true
Dossier vérifié : affirmations reliées à des sources au niveau du passage, calcul Python/R reproduit, limites explicites et revue scientifique indépendante achevée.
11
Hypothèses de validité
- Toutes les quantités monétaires sont-elles évaluées sur le même horizon et selon la même base monétaire ?
- Le scénario de valorisation a-t-il été fixé avant l’observation d’un résultat expérimental ?
- Les probabilités et conséquences des risques sont-elles explicitement documentées plutôt qu’incorporées dans un score inexpliqué ?
12
Diagnostics et incertitude
Diagnostics et incertitude
Toutes les quantités monétaires sont-elles évaluées sur le même horizon et selon la même base monétaire ? · Le scénario de valorisation a-t-il été fixé avant l’observation d’un résultat expérimental ? · Les probabilités et conséquences des risques sont-elles explicitement documentées plutôt qu’incorporées dans un score inexpliqué ?
Diagnostic borné
Filtre local de gouvernance, non universel ; ni valeur de l’information ni estimation d’effet.
Contrat explicite d’incertitude · not_estimable_from_sealed_inputs
Méthode : Évaluation explicite de la non-estimabilité au regard du schéma d’entrées scellé.
Cible : Incertitude portant sur les entrées locales de valeur, de coût, de risque et de gain.
Preuve du moteur : diagnostic=local_nonuniversal_governance_screen_not_voi_or_effect_estimate
Interprétation : Les entrées ponctuelles scellées ne contiennent aucune distribution de probabilité ; ce screening de gouvernance ne peut donc quantifier ni EVSI, ni EVPI, ni l’incertitude décisionnelle.
Arrêter si
Exiger une causalité forte quand aucune variation crédible n’existe.
13
Interprétation du résultat
- Choisir un design proportionné à la décision et au risque.
- Le résultat est conditionnel à la population, à l’horizon, à la spécification et aux contrôles déclarés. Il ne doit pas être étendu à une autre décision sans nouvelle justification.
14
Conclusion recevable et conclusion interdite
Recevable
Choisir un design proportionné à la décision et au risque.
Interdit
Exiger une causalité forte quand aucune variation crédible n’existe.
15
Décision marketing possible
- 01
Choisir un design proportionné à la décision et au risque.
- 02
Le résultat est conditionnel à la population, à l’horizon, à la spécification et aux contrôles déclarés. Il ne doit pas être étendu à une autre décision sans nouvelle justification.
16
Quand utiliser — quand s’arrêter
Utiliser si
Choisir un design proportionné à la décision et au risque.
unité éligible × assignation × horizon de valeur fixe
Arrêter si
Exiger une causalité forte quand aucune variation crédible n’existe.
Alternatives méthodologiques
- Utiliser EVPI ou EVSI dans le cadre d’un modèle décisionnel probabiliste entièrement spécifié.
- Utiliser un gate qualitatif de faisabilité et d’éthique lorsqu’une valorisation monétaire serait trompeuse.
- Ne mener un petit pilote qu’après avoir défini les règles d’arrêt et l’estimand causal.
17
Contrat de reproductibilité
Python et R servent de références exécutables. SPSS et SAS restent des syntaxes secondaires jusqu’à vérification sur les mêmes données, la même spécification et les mêmes contrôles.
Le moteur sélectionne uniquement le slice et la branche explicite de cette page. Son hash, ses sorties et ses diagnostics restent scellés dans le dossier atomique ; aucune branche générique de repli n’est autorisée.
Empreinte du slice: 9f3be1ae9f83565bb0f6f7351672c8284fe0eaf705c212e574f0545f899f4c14
CSV · CC0
msc-validation-inputs-v1.csv ↓Python · MIT
msc-validation-reference-v1.py ↓R · MIT
msc-validation-reference-v1.R ↓SPSS / SAS · MIT · inspection uniquement
SPSS ↓SAS ↓Modèle formel
local_net_screen_eur = local_decision_value_eur − experiment_cost_eur − operational_risk_eur; passes_local_screen = 1 only if local_net_screen_eur > 0, anticipated_gain_pp >= minimum_useful_gain_pp, action_reversible = 1, assignment_feasible = 1, valuation_scenario_prespecified = 1, risk_probability_model_declared = 1, and value_horizon_days > 0Dossier vérifié : affirmations reliées à des sources au niveau du passage, calcul Python/R reproduit, limites explicites et revue scientifique indépendante achevée.
18
Livrable final attendu
- 01
Quand faut-il mener une expérience marketing ? —
unité éligible × assignation × horizon de valeur fixe - 02
local_decision_value · experiment_cost · expected_operational_harm · local_screen
- 03
local_net_screen_eur = local_decision_value_eur − experiment_cost_eur − operational_risk_eur; passes_local_screen = 1 only if local_net_screen_eur > 0, anticipated_gain_pp >= minimum_useful_gain_pp, action_reversible = 1, assignment_feasible = 1, valuation_scenario_prespecified = 1, risk_probability_model_declared = 1, and value_horizon_days > 0 - 04
Toutes les quantités monétaires sont-elles évaluées sur le même horizon et selon la même base monétaire ? · Le scénario de valorisation a-t-il été fixé avant l’observation d’un résultat expérimental ? · Les probabilités et conséquences des risques sont-elles explicitement documentées plutôt qu’incorporées dans un score inexpliqué ?
- 05
Choisir un design proportionné à la décision et au risque. / Exiger une causalité forte quand aucune variation crédible n’existe.
19
Sources scientifiques et statut de preuve
Dossier vérifié : affirmations reliées à des sources au niveau du passage, calcul Python/R reproduit, limites explicites et revue scientifique indépendante achevée.
MSC-P010-C01— La cible causale compare les moyennes des résultats potentiels sous deux interventions définies.MSC-P010-C02— La cohérence relie le résultat observé au résultat potentiel sous la politique assignée.MSC-P010-C03— L’estimand causal suppose que l’assignation d’un client ne modifie pas le résultat d’un autre client.MSC-P010-C04— L’ajustement d’une régression n’établit pas à lui seul un plan causal.MSC-P010-C05— La spécification a priori porte à la fois sur la question de recherche et sur le plan d’analyse avant l’observation des résultats.MSC-P010-C06— Les méthodes de valeur de l’information étayent la priorisation de la recherche et la conception des études.MSC-P010-C07— Une VoI formelle exige une incertitude probabiliste sur les paramètres.MSC-P010-C08— Une VoI formelle exige des pertes ou bénéfices propres à la décision.MSC-P010-C09— ENBS est fondé sur EVSI, et non sur un score local arbitraire.
Connexions méthodologiques