FRENITESDE

Research & Evidence

Rechercher une méthode

Recherchez parmi les titres, les questions, les territoires et les identifiants MSC.

40 résultats
  1. MSC-P-001Comment transformer une affirmation marketing en question testable ?Science de la décision↗
  2. MSC-P-002Corrélation ou causalité : que permet réellement d’affirmer une analyse ?Mesure marketing↗
  3. MSC-P-003Comment exprimer l’incertitude d’un résultat marketing ?Science de la décision↗
  4. MSC-P-004Significativité ou taille d’effet : quel résultat faut-il interpréter ?Science de la décision↗
  5. MSC-P-005Comment mesurer un construit marketing qui n’est pas directement observable ?Études de marché↗
  6. MSC-P-006Comment concevoir puis valider une échelle de mesure ?Études de marché↗
  7. MSC-P-007Alpha ou oméga : comment évaluer la fiabilité d’une échelle ?Études de marché↗
  8. MSC-P-009ACP, AFE ou AFC : quelle méthode choisir ?Études de marché↗
  9. MSC-P-010Quand faut-il mener une expérience marketing ?Mesure marketing↗
  10. MSC-P-011Comment concevoir un A/B test qui estime réellement un effet ?Mesure marketing↗
  11. MSC-P-012De combien d’observations une expérience a-t-elle besoin ?Science de la décision↗
  12. MSC-P-013Comment mesurer l’effet incrémental d’une campagne avec un groupe témoin ?Mesure marketing↗
  13. MSC-P-017Comment détecter sélection, contamination et attrition dans une expérience ?Mesure marketing↗
  14. MSC-P-018Régression prédictive ou causale : qu’essaye-t-on d’estimer ?Modèles marketing↗
  15. MSC-P-019Comment diagnostiquer une régression marketing avant de l’interpréter ?Modèles marketing↗
  16. MSC-P-022Comment estimer une élasticité-prix et son incertitude ?Science des prix↗
  17. MSC-P-026Logit vs Probit : comment choisir pour une probabilité d’achat ?Science client↗
  18. MSC-P-029Quels clients présentent la probabilité de churn la plus élevée ?Science client↗
  19. MSC-P-027TAM, UTAUT ou UTAUT2 : quel cadre pour étudier l’acceptation d’une technologie ?Études de marché↗
  20. MSC-H-001Mesure et causalité : comment établir un effet marketing ?Mesure marketing↗
  21. MSC-H-002Modèles de réponse marketing : forme, délai et saturationModèles marketing↗
  22. MSC-H-003Science des prix : relier prix, demande et contributionScience des prix↗
  23. MSC-H-004Science client et choix : comportement, valeur et hétérogénéitéScience client↗
  24. MSC-H-005Science de la mesure : construire des indicateurs validesÉtudes de marché↗
  25. MSC-H-006Méthodes statistiques de décision : choisir, quantifier, validerScience de la décision↗
  26. MSC-P-008Comment valider une échelle de mesure marketing ?Études de marché↗
  27. MSC-P-014Comment concevoir une expérience géographique marketing ?Mesure marketing↗
  28. MSC-P-015Comment estimer un effet avec une différence-de-différences ?Mesure marketing↗
  29. MSC-P-020Comment traiter l’endogénéité du prix ?Science des prix↗
  30. MSC-P-021Effets fixes ou aléatoires : quel modèle de panel choisir ?Modèles marketing↗
  31. MSC-P-023Comment estimer une fonction de demande ?Science des prix↗
  32. MSC-P-024Comment simuler un scénario prix-volume-marge ?Science des prix↗
  33. MSC-P-028Comment estimer la CLV avec BG/NBD et Gamma-Gamma ?Science client↗
  34. MSC-P-030Comment analyser la rétention avec un modèle de survie ?Science client↗
  35. MSC-P-031Comment construire une segmentation client utile ?Science client↗
  36. MSC-P-032Comment tester la stabilité d’une segmentation ?Science client↗
  37. MSC-P-033Comment valider une prévision marketing ?Science de la décision↗
  38. MSC-P-034Comment construire une simulation Monte Carlo pour une décision marketing ?Science de la décision↗
  39. MSC-P-035Comment modéliser saturation et adstock ?Modèles marketing↗
  40. MSC-P-039Quel test statistique choisir ?Science de la décision↗
← Toutes les méthodes
FICHE MÉTHODEMSC-P-011Expérimentation et causalité

Comment concevoir un A/B test qui estime réellement un effet ?

Le protocole fixe avant le test : population, unité de randomisation, variante, métrique primaire, MDE, durée, exclusions et analyse en intention de traiter.

Réponse directe

Estimer un ITT avec une précision connue pour la population éligible.

Le protocole fixe avant le test : population, unité de randomisation, variante, métrique primaire, MDE, durée, exclusions et analyse en intention de traiter.

Modèle ou livrableITT = mean(Y assigned B) − mean(Y assigned A)

Kohavi et al., 2009

ESTIMAND

Profil de l’estimation

Unité d’analyse
Unité assignée × groupe × périodeNomenclature scientifique contrôlée (EN)randomization unit
Estimand exact
ITT = E[Y|Z=1] − E[Y|Z=0]
Modèle ou livrable
ITT = mean(Y assigned B) − mean(Y assigned A)

01—08

Cadre d’analyse vérifiable

  1. 01
    Question

    Comment concevoir un A/B test qui estime réellement un effet ?

  2. 02
    Estimand

    ITT = E[Y|Z=1] − E[Y|Z=0] · randomization unit

  3. 03
    Données

    unit_id · assignment · outcome · pre_period · exposure

  4. 04
    Modèle ou livrable

    ITT = mean(Y assigned B) − mean(Y assigned A)

  5. 05
    Calcul déclaré

    ITT = mean(Y assigned B) − mean(Y assigned A) → ITT = E[Y|Z=1] − E[Y|Z=0]

  6. 06
    Contrôles d’incertitude

    Sample ratio mismatch · Pre-period balance · Missing outcomes

  7. 07
    Validation spécifique

    Vérifier données, stabilité de l’estimation et limites d’interprétation. Sample ratio mismatch · Pre-period balance · Missing outcomes

  8. 08
    Limites

    Changer métrique ou durée après avoir vu le résultat.

Variables nécessaires

  • unit_id
  • assignment
  • outcome
  • pre_period
  • exposure

Contrôles · Nomenclature scientifique contrôlée (EN)

  • Sample ratio mismatch
  • Pre-period balance
  • Missing outcomes
Décision possible

Estimer un ITT avec une précision connue pour la population éligible.

Décision impossible

Changer métrique ou durée après avoir vu le résultat.

Sources scientifiques

1 source

  1. Kohavi et al., 2009

Dataset · Outil

Outil · MSC-T01Taille d’échantillon A/B→

Connexions méthodologiques

Territoire parentMesure et causalité : comment établir un effet marketing ?

À lire ensuite

MSC-P-012De combien d’observations une expérience a-t-elle besoin ?→MSC-P-013Comment mesurer l’effet incrémental d’une campagne avec un groupe témoin ?→MSC-P-017Comment détecter sélection, contamination et attrition dans une expérience ?→