Comment transformer une affirmation marketing en question testable ?
Une question devient testable lorsqu’elle fixe population, unité, intervention, comparateur, résultat, horizon, effet minimal utile et résultat capable de contredire l’hypothèse.
Rédaction scientifique : Marketing Science Center
Réponse directe
Écrire un protocole mesurable avant de choisir une méthode.
Une question devient testable lorsqu’elle fixe population, unité, intervention, comparateur, résultat, horizon, effet minimal utile et résultat capable de contredire l’hypothèse.
Nosek et al. (2018), The preregistration revolutionICH E9(R1), Estimands and sensitivity analysis
01
Problème à résoudre
Une affirmation comme « l’e-mail augmente les achats » ne désigne ni population, ni comparaison, ni horizon, ni résultat susceptible de la contredire. Elle ne peut donc pas guider un protocole ni une décision vérifiable.
02
Résumé opérationnel
La fiche transforme le claim en un contrat composé d’une population, d’une unité, d’une exposition, d’un comparateur, d’un outcome, d’un horizon, d’un effet minimal utile, d’un plan d’analyse et d’un falsificateur. La sortie valide la complétude du contrat, pas l’effet marketing.
- Décideur : vérifier la décision et le seuil utile.
- Praticien : fixer population, unité, outcome et horizon.
- Analyste : sceller estimand, analyse, incertitude et falsificateur.
03
Situation marketing concrète
Une équipe souhaite décider si une campagne e-mail mérite un test. La population est limitée aux abonnés éligibles, l’unité est l’abonné, le comparateur est l’absence d’e-mail et l’outcome est un achat dans les sept jours.
04
Question scientifique et périmètre
Chez les abonnés éligibles, l’assignation à l’e-mail plutôt qu’à l’absence d’e-mail augmente-t-elle l’achat dans les sept jours d’au moins 1,0 point de pourcentage ? L’estimand prévu est une différence de risques en intention de traiter.
05
Pourquoi une formulation simple échoue
Sans unité, la dépendance entre observations reste inconnue. Sans comparateur, l’effet n’est pas défini. Sans horizon, l’outcome peut être déplacé après observation. Sans seuil ni falsificateur, presque tout résultat peut être présenté comme favorable.
06
Intuition de la méthode
Une question testable fixe à l’avance ce qui sera observé, chez qui, par rapport à quoi, quand et selon quelle règle le résultat pourra soutenir ou contredire l’hypothèse. Elle sépare ainsi génération d’idée et test confirmatoire.
07
Données nécessaires
Le registre exige population et éligibilité, unités d’assignation et d’analyse, intervention, comparateur, définition et horizon de l’outcome, estimand, stratégie des événements intercurrents, règle de données manquantes, estimateur, méthode d’intervalle, alpha, multiplicité, seuil, direction, trois issues décisionnelles, écarts au protocole et statut des données.
08
Modèle formel
Q=(P,U,X,C,Y,H,Δ*,D,A,F), où P est la population, U l’unité, X l’exposition, C le comparateur, Y l’outcome, H l’horizon, Δ* l’effet minimal utile, D la direction, A le plan d’analyse et F le falsificateur.
09
Calcul déclaré
Python et R lisent le chemin fourni, exigent une ligne, contrôlent les champs, H>0, Δ*>0, la cohérence 95 % ↔ alpha 0,05, le couple direction-bornes, le dénominateur ITT, les événements intercurrents, la règle fail-closed des données manquantes, la multiplicité et les écarts, puis calculent le même SHA-256 canonique.
10
Exemple numérique de bout en bout
Le protocole fixe H=7 jours, Δ*=1,0 point et un contraste. L’IC de Miettinen-Nurminen inverse le score binomial contraint, applique N/(N-1), tolérance 1e-8, 100 itérations, niveau 95 % et alpha bilatéral 0,05. Borne basse ≥ +1,0 : seuil soutenu ; borne haute < +1,0 : falsifié ; sinon indécis. protocol_complete=true ; SHA-256=86a315abd306359f92ec5439f361511d80a7516af3516525c8bd1272014caa74 ; aucun effet estimé.
Exemple de protocole synthétique — aucune observation ni effet estimé.
| Horizon | Seuil | Estimand | Sortie |
|---|---|---|---|
| 7 | 1.0 pp | planned ITT risk difference | protocol_complete=true |
11
Hypothèses de validité
Les champs doivent désigner des objets observables et non redondants. L’unité doit correspondre au mécanisme d’assignation. L’outcome doit être mesurable pour tous les groupes sur le même horizon. Le seuil utile doit venir de la décision, pas des résultats futurs.
12
Diagnostics et incertitude
Contrôler population, assignations uniques, couverture complète du journal de transactions, livraisons, ouvertures, croisements, expositions externes, calendrier, exclusions, multiplicité et écarts. Une précision anticipée peut être planifiée avec taille et taux supposés ; l’intervalle empirique ne peut être calculé qu’après observation.
13
Interprétation du résultat
protocol_complete=true signifie seulement que le registre contient les champs requis et passe les règles déterministes. Cela ne prouve ni que le design est faisable, ni que l’assignation sera valide, ni que l’e-mail produira l’effet minimal utile.
14
Conclusion recevable et conclusion interdite
Recevable : la question, l’estimand prévu, le seuil et le falsificateur sont explicites. Interdit : l’e-mail augmente les achats, le protocole garantit un résultat ou la simple présence d’un seuil rend le futur test causal.
15
Décision marketing possible
L’équipe peut accepter, réviser ou refuser le protocole avant toute collecte, estimer le coût du test, vérifier la disponibilité des variables et décider si le seuil de 1,0 point justifie l’expérience. Elle ne peut pas encore lancer une action sur la base d’un effet observé inexistant.
16
Quand utiliser et quand s’arrêter
Utiliser avant collecte ou avant ouverture des outcomes. S’arrêter si population, comparateur, outcome ou horizon ne peuvent pas être fixés, si le seuil n’a aucune justification décisionnelle, ou si le plan est réécrit après lecture des résultats sans étiquette exploratoire.
17
Implémentations reproductibles
Le CSV CC0 est le registre unique. Python 3.13 et R 4.5 sont les validateurs de référence : même chemin fourni, mêmes règles, même question et même SHA-256. SPSS et SAS sont explicitement limités à l’import et à l’inspection ; ils ne valident pas protocol_complete. Aucune graine, car aucune simulation.
CSV · CC0
msc-p001-testable-question.csv ↓Python · MIT
msc-p001-reference.py ↓R · MIT
msc-p001-reference.R ↓SPSS / SAS · MIT · inspection seulement
SPSS ↓SAS ↓18
Livrable final attendu
Livrer la question canonique, le registre versionné et hashé, la justification de Δ*, le plan d’analyse, la règle de données manquantes, le falsificateur, les écarts au protocole et l’étiquette confirmatoire ou exploratoire de chaque analyse.
19
Références et niveau de preuve
Nosek et al. étayent préspécification et falsifiabilité. ICH E9(R1) étaye estimand, événements intercurrents et réplication. La documentation SAS 9.4 scelle l’algorithme MN corrigé, l’arrêt numérique et la distinction avec Mee. Les trois textes intégraux sont vérifiés. Aucun ne valide l’e-mail ni le seuil synthétique.
- Nosek et al. (2018) ↗Texte intégral vérifié · manuscrit déposé par les auteurs
- ICH E9(R1) (2020) ↗Texte intégral vérifié · guide officiel Step 5
- SAS 9.4 · PROC FREQ ↗Texte intégral vérifié · documentation officielle de l’algorithme
Dataset · Outil
Connexions méthodologiques

