Research & Evidence

Rechercher une méthode

Recherchez parmi les titres, les questions, les territoires et les identifiants MSC.

    ← Toutes les méthodes
    FICHE MÉTHODEMSC-P-012Expérimentation et causalitéDossier scientifique vérifié

    De combien d’observations une expérience a-t-elle besoin ?

    La taille dépend du taux de base ou de la variance, du MDE, de l’alpha, de la puissance, de l’allocation, de l’attrition et du clustering. Elle se calcule avant le test et s’arrondit vers le haut.

    Rédaction scientifique : Marketing Science Center

    Réponse directe

    Dimensionner un test pour un effet minimal défini.

    La taille dépend du taux de base ou de la variance, du MDE, de l’alpha, de la puissance, de l’allocation, de l’attrition et du clustering. Elle se calcule avant le test et s’arrondit vers le haut.

    Cohen, 1992CONSORT 2010 Explanation and Elaboration

    01

    Résumé opérationnel

    Question scientifique et périmètre

    De combien d’observations une expérience a-t-elle besoin ?

    Recevable

    Dimensionner un test pour un effet minimal défini.

    Interdit

    Utiliser la puissance observée après le test comme preuve.

    02

    Trois niveaux de lecture

    1. 01

      Décideur — Relier le résultat à une décision, un seuil utile et un coût d’erreur déclarés.

    2. 02

      Praticien — Fixer population, unité, horizon, variables disponibles et règle d’analyse avant le calcul.

    3. 03

      Analyste — Reproduire le calcul, quantifier l’incertitude et documenter diagnostics, échecs et sensibilités.

    03

    Situation marketing concrète

    La taille dépend du taux de base ou de la variance, du MDE, de l’alpha, de la puissance, de l’allocation, de l’attrition et du clustering. Elle se calcule avant le test et s’arrondit vers le haut.

    04

    Question scientifique et périmètre

    De combien d’observations une expérience a-t-elle besoin ?

    Taille n par bras pour un résultat binaire, un MDE, α et 1−β ; allocation égale et approximation normale

    Données nécessaires

    unité de randomisation par bras

    La population, l’unité d’analyse, la date d’origine et l’horizon doivent être déclarés dans le livrable. Sans eux, l’estimand change silencieusement.

    05

    Pourquoi une analyse simple peut échouer

    • Utiliser la puissance observée après le test comme preuve.
    • Le résultat binaire principal et sa fenêtre d’observation fixe sont-ils déclarés ?
    • p0 et p1 sont-ils des valeurs de planification défendables plutôt que des taux observés choisis a posteriori ?
    • La structure d’assignation exige-t-elle des ajustements pour l’attrition, une allocation inégale ou un plan en grappes ?

    06

    Intuition de la méthode

    La méthode ne transforme pas automatiquement une association en preuve. Elle relie une question déclarée à un estimand, une spécification, des données compatibles et une règle d’interprétation limitée.

    Taille n par bras pour un résultat binaire, un MDE, α et 1−β ; allocation égale et approximation normale

    07

    Données nécessaires

    Dictionnaire des symboles scientifiques

    p0
    Probabilité de référence de l’événement dans le bras comparateur. Unité : probabilité · Type : nombre dans ]0, 1[ · Rôle : entrée
    p1
    Probabilité cible de l’événement représentant l’effet minimal que le plan est dimensionné pour détecter. Unité : probabilité · Type : nombre dans ]0, 1[ · Rôle : entrée
    p_bar
    Point milieu de planification (p0 + p1) / 2 pour l’approximation normale à allocation égale. Unité : probabilité · Type : nombre · Rôle : dérivé
    alpha
    Probabilité bilatérale d’erreur de type I spécifiée a priori. Unité : probabilité · Type : nombre dans ]0, 1[ · Rôle : entrée
    power
    Probabilité spécifiée a priori de rejeter l’hypothèse nulle à la différence cible sous le modèle de planification. Unité : probabilité · Type : nombre dans ]0, 1[ · Rôle : entrée
    z_alpha
    Quantile 1 − alpha/2 de la loi normale standard, calculé à partir de alpha. Unité : sans dimension · Type : nombre strictement positif · Rôle : dérivé
    z_power
    Quantile de la loi normale standard au niveau de puissance déclaré, calculé à partir de power. Unité : sans dimension · Type : nombre · Rôle : dérivé
    n_raw
    Taille d’échantillon non arrondie par bras issue de l’approximation normale avant ajustements de plan. Unité : unité de randomisation par bras · Type : nombre strictement positif · Rôle : dérivé
    n_planned
    Taille d’échantillon opérationnelle par bras après arrondi à l’entier supérieur et tout ajustement déclaré séparément pour l’attrition ou la mise en grappes. Unité : unité de randomisation par bras · Type : entier strictement positif · Rôle : sortie

    Entrées exactes et scellées du moteur

    baseline_rate
    Valeur : 0.10 · Unité : probabilité · Type : nombre · Statut des données : synthétique
    target_rate
    Valeur : 0.12 · Unité : probabilité · Type : nombre · Statut des données : synthétique
    alpha_two_sided
    Valeur : 0.05 · Unité : probabilité · Type : nombre · Statut des données : paramètre déclaré
    power
    Valeur : 0.80 · Unité : probabilité · Type : nombre · Statut des données : paramètre déclaré
    attrition_rate
    Valeur : 0 · Unité : probabilité · Type : nombre · Statut des données : paramètre déclaré
    design_effect
    Valeur : 1 · Unité : sans dimension · Type : nombre · Statut des données : paramètre déclaré

    08

    Modèle formel

    Modèle formel

    p_bar = (baseline_rate + target_rate)/2; z_alpha = Φ⁻¹(1−alpha_two_sided/2); z_power = Φ⁻¹(power); n_raw = [z_alpha×sqrt(2p_bar(1−p_bar)) + z_power×sqrt(baseline_rate(1−baseline_rate)+target_rate(1−target_rate))]^2/(target_rate−baseline_rate)^2; n_planned = ceil(n_raw×design_effect/(1−attrition_rate))

    Affirmations étayées : MSC-P012-C01 · MSC-P012-C02 · MSC-P012-C03 · MSC-P012-C04 · MSC-P012-C05

    Question scientifique et périmètre

    Taille n par bras pour un résultat binaire, un MDE, α et 1−β ; allocation égale et approximation normale

    09

    Calcul déclaré

    1. 01

      Valider les taux du résultat binaire, alpha bilatéral, la puissance, l’allocation égale et une différence cible non nulle.

    2. 02

      Calculer les deux quantiles normaux à partir de alpha et de power, puis évaluer la formule de planification pour deux proportions.

    3. 03

      Arrondir à l’entier supérieur et rapporter le domaine de validité de l’approximation ; n’appliquer des effets d’attrition ou de plan que s’ils sont explicitement fournis.

    10

    Exemple numérique ou cas d’application

    Exemple calculé — données synthétiques ou paramètres déclarés ; aucune observation réelle

    Entrées scellées

    • baseline_rate=0.10 [probabilité]
    • target_rate=0.12 [probabilité]
    • alpha_two_sided=0.05 [probabilité]
    • power=0.80 [probabilité]
    • attrition_rate=0 [probabilité]
    • design_effect=1 [sans dimension]

    Résultats reproductibles

    • computed_z_alpha=1.959964
    • computed_z_power=0.841621
    • raw_n_per_arm=3840.847482
    • planned_n_per_arm=3841

    Dossier vérifié : affirmations reliées à des sources au niveau du passage, calcul Python/R reproduit, limites explicites et revue scientifique indépendante achevée.

    11

    Hypothèses de validité

    • Le résultat binaire principal et sa fenêtre d’observation fixe sont-ils déclarés ?
    • p0 et p1 sont-ils des valeurs de planification défendables plutôt que des taux observés choisis a posteriori ?
    • La structure d’assignation exige-t-elle des ajustements pour l’attrition, une allocation inégale ou un plan en grappes ?

    12

    Diagnostics et incertitude

    Diagnostics et incertitude

    Le résultat binaire principal et sa fenêtre d’observation fixe sont-ils déclarés ? · p0 et p1 sont-ils des valeurs de planification défendables plutôt que des taux observés choisis a posteriori ? · La structure d’assignation exige-t-elle des ajustements pour l’attrition, une allocation inégale ou un plan en grappes ?

    Diagnostic borné

    Approximation normale à allocation égale ; les quantiles sont calculés à partir d’alpha et de la puissance, puis l’effectif est arrondi à l’entier supérieur.

    Contrat explicite d’incertitude · design_sensitivity

    Méthode : Calcul déterministe du moteur de référence sur le sous-ensemble d’entrées scellé.

    Cible : Sensibilité de la taille d’échantillon requise aux valeurs spécifiées a priori de alpha, de la puissance, de l’attrition et de l’effet de plan.

    Preuve du moteur : metric.raw_n_per_arm= · metric.planned_n_per_arm= · metric.z_alpha_two_sided= · metric.z_power=

    Interprétation : Le résultat est une quantité déterministe de planification, conditionnelle à toutes les entrées déclarées du plan ; ce n’est pas un intervalle de confiance de l’effet futur.

    Arrêter si

    Utiliser la puissance observée après le test comme preuve.

    13

    Interprétation du résultat

    • Dimensionner un test pour un effet minimal défini.
    • Le résultat est conditionnel à la population, à l’horizon, à la spécification et aux contrôles déclarés. Il ne doit pas être étendu à une autre décision sans nouvelle justification.

    14

    Conclusion recevable et conclusion interdite

    Recevable

    Dimensionner un test pour un effet minimal défini.

    Interdit

    Utiliser la puissance observée après le test comme preuve.

    15

    Décision marketing possible

    1. 01

      Dimensionner un test pour un effet minimal défini.

    2. 02

      Le résultat est conditionnel à la population, à l’horizon, à la spécification et aux contrôles déclarés. Il ne doit pas être étendu à une autre décision sans nouvelle justification.

    16

    Quand utiliser — quand s’arrêter

    Utiliser si

    Dimensionner un test pour un effet minimal défini.

    unité de randomisation par bras

    Arrêter si

    Utiliser la puissance observée après le test comme preuve.

    Alternatives méthodologiques

    • Utiliser un plan binaire exact ou fondé sur la simulation lorsque l’approximation normale est faible.
    • Utiliser un calcul pour essai randomisé en grappes avec corrélation intragrappe lorsque l’assignation est groupée.
    • N’utiliser un plan séquentiel ou séquentiel par groupes qu’avec une règle de suivi spécifiée a priori.

    17

    Contrat de reproductibilité

    Python et R servent de références exécutables. SPSS et SAS restent des syntaxes secondaires jusqu’à vérification sur les mêmes données, la même spécification et les mêmes contrôles.

    Le moteur sélectionne uniquement le slice et la branche explicite de cette page. Son hash, ses sorties et ses diagnostics restent scellés dans le dossier atomique ; aucune branche générique de repli n’est autorisée.

    Empreinte du slice : e2ce0f592a6aa84d9930f38499580ab88972e6eba77945d2b617d51b9f8a8bc1

    Actif disponible · MSC-T01

    Taille d’échantillon A/B

    Modèle formel

    p_bar = (baseline_rate + target_rate)/2; z_alpha = Φ⁻¹(1−alpha_two_sided/2); z_power = Φ⁻¹(power); n_raw = [z_alpha×sqrt(2p_bar(1−p_bar)) + z_power×sqrt(baseline_rate(1−baseline_rate)+target_rate(1−target_rate))]^2/(target_rate−baseline_rate)^2; n_planned = ceil(n_raw×design_effect/(1−attrition_rate))

    Dossier vérifié : affirmations reliées à des sources au niveau du passage, calcul Python/R reproduit, limites explicites et revue scientifique indépendante achevée.

    18

    Livrable final attendu

    1. 01

      De combien d’observations une expérience a-t-elle besoin ? — unité de randomisation par bras

    2. 02

      p0 · p1 · p_bar · alpha · power · z_alpha · z_power · n_raw · n_planned

    3. 03

      p_bar = (baseline_rate + target_rate)/2; z_alpha = Φ⁻¹(1−alpha_two_sided/2); z_power = Φ⁻¹(power); n_raw = [z_alpha×sqrt(2p_bar(1−p_bar)) + z_power×sqrt(baseline_rate(1−baseline_rate)+target_rate(1−target_rate))]^2/(target_rate−baseline_rate)^2; n_planned = ceil(n_raw×design_effect/(1−attrition_rate))

    4. 04

      Le résultat binaire principal et sa fenêtre d’observation fixe sont-ils déclarés ? · p0 et p1 sont-ils des valeurs de planification défendables plutôt que des taux observés choisis a posteriori ? · La structure d’assignation exige-t-elle des ajustements pour l’attrition, une allocation inégale ou un plan en grappes ?

    5. 05

      Dimensionner un test pour un effet minimal défini. / Utiliser la puissance observée après le test comme preuve.

    19

    Sources scientifiques et statut de preuve

    Dossier vérifié : affirmations reliées à des sources au niveau du passage, calcul Python/R reproduit, limites explicites et revue scientifique indépendante achevée.

    1. MSC-P012-C01 — La planification de la puissance couvre une différence entre deux proportions indépendantes.
    2. MSC-P012-C02 — La planification dépend conjointement de la taille d’effet, du critère de significativité et de la puissance.
    3. MSC-P012-C03 — La détermination de la taille d’échantillon doit nommer le résultat principal et toutes les quantités utilisées.
    4. MSC-P012-C04 — Les ajustements pour l’attrition et la non-observance doivent être rapportés.
    5. MSC-P012-C05 — Les tailles d’effet étayent la planification prospective d’une étude.
    1. Cohen, 1992
    2. CONSORT 2010 Explanation and Elaboration
    3. Lakens, 2013

    Dataset · Outil

    Outil · MSC-T01Taille d’échantillon A/B→

    Connexions méthodologiques

    Territoire parentMéthodes statistiques de décision : choisir, quantifier, valider

    À lire ensuite

    MSC-P-011Comment concevoir un A/B test qui estime réellement un effet ?→MSC-P-013Comment mesurer l’effet incrémental d’une campagne avec un groupe témoin ?→MSC-P-003Comment exprimer l’incertitude d’un résultat marketing ?→