Peut-on arrêter un test A/B dès qu’il devient significatif ?

Non, et le prix de cette habitude est mesurable. Sur données synthétiques où aucune variante ne gagne, un test lu une seule fois à sa date prévue conclut à tort dans 4,875 % des cas. Le risque accepté était de 5 %, et il est tenu. Le même test, lu chaque jour pendant quatre semaines et arrêté au premier jour significatif, conclut à tort dans 26,870 % des cas. Plus d'un test sur quatre désigne un gagnant qui n'existe pas. Lire une fois par semaine ne sauve pas : 12,020 %. Attendre la première semaine puis lire chaque jour non plus : 18,300 %.

Il existe une façon honnête de regarder tous les jours. Une borne dite valide à tout instant reste légitime quel que soit le nombre de lectures, et elle tient sa promesse : 2,000 % de fausses annonces sur 84 lectures quotidiennes, pour 5 % permis. Elle coûte du temps. Pour atteindre la puissance du test à date fixe, c'est-à-dire sa capacité à repérer une amélioration qui existe vraiment, il lui faut 52 jours au lieu de 28, soit un facteur 1,86. Trois autres réglages, publiés plus bas, vont jusqu'à 2,39.

Une équipe lance un test A/B sur sa page produit. Elle reçoit 250 visiteurs par jour, chacun affecté au hasard à l'une des deux versions avec une chance sur deux, comme le fait un vrai test A/B. Le taux de conversion de référence est de 5 %, et la durée prévue de quatre semaines, soit environ 3 500 visiteurs par version. Le tableau de bord se met à jour chaque matin et affiche une valeur p : la probabilité d'observer un écart au moins aussi grand que celui mesuré si les deux versions se valaient. Plus elle est petite, plus l'écart serait improbable par simple hasard. La tentation est permanente : si c'est déjà significatif au bout de neuf jours, pourquoi attendre la date prévue ? Les données de cette page sont synthétiques : on sait, par construction, quelles variantes gagnent vraiment, ce qui permet de compter les erreurs.

Quelle est la probabilité qu'une procédure de décision, règle d'arrêt comprise, conclue à une différence alors qu'aucune variante n'améliore la conversion ? Et, à l'inverse, quelle puissance et quel délai cette procédure offre-t-elle quand la variante améliore réellement la conversion ?

• Estimand, c'est-à-dire la quantité que l'on cherche à estimer : la probabilité de conclure à une différence, calculée sur la procédure entière, regards compris, et non sur un test isolé. Cette probabilité porte un nom usuel, la taille du test : c'est le risque de fausse annonce que la procédure réalise vraiment, par opposition au risque de 5 % qu'elle affiche.
• Population : les tests à deux versions, à trafic quotidien constant et à affectation tirée au hasard, dont la métrique est binaire.
• Horizon : 28 jours prévus, surveillance poussée jusqu'à 84 jours pour mesurer ce que coûtent les lectures supplémentaires.

La valeur p d'un test z, et le seuil de 5 % auquel on la compare, supposent une seule lecture, à une date fixée avant le lancement. Lue chaque jour, la même statistique fluctue : elle franchit le seuil, le repasse, le franchit à nouveau. La règle « j'arrête au premier franchissement » cueille ces franchissements passagers. Les auteurs de notre source principale le constatent dans ces termes : les résultats sont souvent surveillés en continu avec des méthodes qui supposent un échantillon fixe ^[C02], et cette surveillance gonfle sensiblement le risque de conclure à tort, ce que les statisticiens appellent le risque de première espèce ^[C03]. Cette page mesure de combien.

Trois façons de décider, sur exactement les mêmes données :

1. Date fixe : on choisit la durée à l'avance, on ne regarde qu'à la fin. Le risque annoncé est le vrai risque, mais on ne peut pas s'arrêter tôt.
2. Premier regard significatif : on lit chaque jour et on s'arrête dès que la valeur p passe sous 5 %. C'est la pratique courante, et c'est elle qui dérape.
3. Borne valide à tout instant : on lit chaque jour, mais on compare l'écart cumulé à une borne qui monte avec l'information accumulée, calculée pour que la probabilité de la franchir un jour ou l'autre reste sous 5 %. Une telle borne autorise à regarder quand on veut et à s'arrêter selon n'importe quelle règle, sous les hypothèses que ses auteurs énoncent et que cette page établit par construction de son plan d'expérience ^[C04]. Elle vient d'un cadre de concentration valide à tout instant, et non d'une inégalité à échantillon fixe ^[C08].

L'objet mathématique derrière la troisième règle s'appelle une suite de confiance : une suite d'intervalles valide uniformément sur un horizon non borné ^[C01]. Cette liberté a un prix, que les auteurs énoncent eux-mêmes : les intervalles sont plus larges que ceux qui reposent sur des approximations asymptotiques, c'est-à-dire valables seulement quand l'échantillon est grand ^[C05].

Pour chaque jour et chaque version : le nombre de visiteurs et le nombre de conversions, en cumulé. Rien d'individuel. Et deux choses écrites avant le lancement : la durée prévue et la règle de décision, y compris la fréquence des lectures. Sans elles, aucune garantie n'est calculable après coup.

Cette section s'adresse au praticien. Le décideur peut la sauter et reprendre à « L'exemple chiffré complet » : la phrase « En clair » qui termine cette section suffit pour lire les tableaux.

• nᶜ, nᵛ : visiteurs reçus par le témoin et par la variante, aléatoires puisque l'affectation est tirée au hasard. Cₜ, Vₜ : leurs conversions cumulées.
• α : le risque de fausse annonce accepté pour la procédure entière, ici 5 %.
• Règles 1 et 2, statistique z à variance commune : zₜ est l'écart des deux taux observés, divisé par √(p̄ₜ(1 − p̄ₜ)(1/nᶜ + 1/nᵛ)), où p̄ₜ est le taux des deux versions réunies. On conclut à une différence, dans un sens ou dans l'autre puisque le test est bilatéral, si |zₜ| ≥ 1,96 (1,959964 dans les programmes). Pour la règle 1 cette lecture n'a lieu qu'à la date prévue, le jour 28 dans notre plan, et les tableaux rejouent la même règle pour quatre durées prévues différentes ; pour la règle 2, au premier jour qui franchit.
• Règle 3, borne dite de mélange normal : au lieu d'un seuil unique, elle moyenne les seuils d'une famille d'écarts possibles, ce qui la rend valide quel que soit l'écart réel. Elle se lit sur l'horloge des conversions et non sur celle des visiteurs. On suit l'écart brut Sₜ = Vₜ − Cₜ et le nombre total de conversions Wₜ = Cₜ + Vₜ, et l'on conclut au premier jour où

|Sₜ| ≥ √( (Wₜ + ρ) · log( (Wₜ + ρ) / (ρ α²) ) ).

Ici log est le logarithme népérien. Le carré sur α, et non α seul, vient du caractère bilatéral du test. C'est la forme fermée de la borne de mélange normal bilatérale de notre source ^[C09], appliquée avec un rapport de vraisemblance initial égal à 1, valeur que la source fixe elle-même dans tous les cas scalaires ^[C14].

• Pourquoi cette horloge, et pourquoi l'affectation doit être tirée au hasard. Chaque visiteur est affecté à une version par un tirage à une chance sur deux. Sous l'hypothèse d'absence d'effet, les deux versions convertissent au même taux ; un visiteur donné est donc « conversion de la variante » avec probabilité p/2 et « conversion du témoin » avec la même probabilité. Conditionnellement à une conversion, elle appartient à la variante avec probabilité exactement un demi, indépendamment des autres. L'incrément de Sₜ vaut donc +1 ou −1 à pile ou face. Un tel incrément est dit sous-gaussien de variance 1 : ses écarts extrêmes ne dépassent pas ceux d'une loi normale de variance 1, ce qui est la condition exigée par la proposition dont la borne est issue : elle demande que l'écart cumulé, dans les deux sens, soit sous-gaussien avec le processus de variance que l'on suit ^[C11]. Elle tient pour tout taux de conversion, car l'inégalité cosh(λ) ≤ exp(λ²/2) vaut pour tout nombre réel λ, où λ est le paramètre d'inclinaison qui sert à comparer ces deux lois.
• Ce qui serait faux avec un effectif figé par version. Si l'on imposait 125 visiteurs à chaque version, le nombre de conversions de la variante suivrait, à total donné, une loi hypergéométrique, c'est-à-dire un tirage sans remise : les incréments resteraient interchangeables entre eux, mais ne seraient plus indépendants : chaque conversion attribuée retire une place à l'autre version, donc connaître les premières renseigne sur les suivantes. Leur variance conditionnelle tomberait sous 1 : sur l'écart cumulé que la borne lit réellement, elle vaudrait environ 0,95 tout au long de l'horizon, au lieu de 1. La conclusion resterait prudente, car le tirage sans remise est moins dispersé, mais l'argument de pile ou face serait faux. C'est pourquoi l'affectation est tirée, et pourquoi les programmes mesurent ces deux parts avant de calculer.
• ρ fixe l'endroit où la borne est la plus serrée, et ce n'est pas ρ lui-même : la source montre que ce point se situe à environ 8,21 fois ρ, et que c'est ce même rapport qui donne le ρ minimisant le seuil à une date visée ^[C12]. Les programmes retrouvent ce rapport par une recherche numérique déclarée, au lieu de l'écrire en dur, et un invariant vérifie qu'il vaut bien 8,212. La source signale que ce réglage est décisif en pratique ^[C10] : la page publie donc quatre réglages, dont celui que la source permet de calculer.

En clair : la règle 2 compare chaque jour le même écart au même seuil, comme s'il n'y avait qu'un seul jour. La règle 3 relève le seuil à mesure qu'on regarde, de sorte que l'ensemble des regards, et non chacun pris à part, tient la promesse de 5 %.

1. Invariants mesurés avant tout calcul, avec arrêt en erreur si l'un échoue : l'inégalité de sous-gaussianité, sur 2 000 valeurs de λ, de 0,01 à 20 ; la part des visiteurs affectés à la variante, qui doit tenir à un demi-point de 50 % ; la part des conversions tombant dans la variante, qui doit tenir à un point de 50 % ; le rapport du point le plus serré au réglage, qui doit valoir 8,212 comme l'énonce la source ; la forme fermée de la borne, comparée en cinq points à une écriture algébrique différente ; la consommation d'un seul tirage aléatoire par loi binomiale, contrôlée en comparant l'état du générateur à un pas exact de sa récurrence ; l'horloge sur laquelle la borne est lue, vérifiée de bout en bout sur un test court dont les verdicts sont recalculés à partir du seul total de conversions. Mesuré sur 500 000 visiteurs : 50,090 % d'affectation à la variante, et 50,091 % des 25 288 conversions tombant dans la variante.
2. Contrôle indépendant de la borne elle-même : 5 000 marches aléatoires de 2 000 pas, chaque pas valant +1 ou −1 à pile ou face. C'est exactement l'incrément que la borne suppose, et l'hypothèse nulle y est vraie par construction. La part de marches qui franchissent la borne doit rester sous 5 % : elle vaut 2,980 %, et le programme s'arrête si elle dépasse ce seuil. Ce contrôle porte sur la borne, non sur le plan d'expérience.
3. Deuxième contrôle bloquant, sur le plan lui-même : 2 000 réplications sans aucun effet, lues chaque jour pendant 84 jours, dont le taux de fausse annonce doit rester sous 5 %. Il vaut 1,750 %. Et une mesure du cas dangereux : la même borne appliquée à une affectation collante, par blocs de dix visiteurs, donne 8,780 % — au-delà du seuil permis, ce qui montre que la garantie dépend du plan et non de la borne seule. Cette mesure n'est pas bloquante, elle est l'avertissement.
4. Expérience synthétique engendrée par un générateur de nombres pseudo-aléatoires écrit en clair (graine 20260916 ; x ← 1103515245 · x + 12345 mod 2³¹), identique en Python et en R.
5. Chaque journée se tire en trois temps : la répartition des 250 visiteurs entre les deux versions, puis les conversions de chacune. Les trois nombres sont tirés exactement dans la loi binomiale, par inversion : on tire un nombre entre 0 et 1 et on lit la valeur qui lui correspond dans la loi, sans aucune approximation.
6. Deux scénarios : aucune variante gagnante (5 % contre 5 %), et une vraie amélioration de 1,5 point (5 % contre 6,5 %).
7. Les règles sont appliquées aux mêmes données. Six rythmes de lecture sont évalués : quotidien sur 7, 14, 28 et 84 jours, hebdomadaire sur quatre semaines, et quotidien à partir du jour 7 seulement.
8. La règle 3 est évaluée pour quatre réglages déclarés a priori : celui que la source permet de calculer, et trois calibrages aux jours 7, 28 et 56.
9. Taille exacte du test à date fixe, calculée et non simulée. Pour un nombre de conversions du témoin donné, l'ensemble des nombres de conversions de la variante qui font rejeter est l'extérieur d'un trinôme, une expression du second degré. La probabilité exacte se déduit alors de la fonction de répartition de la loi binomiale, qui donne la probabilité d'obtenir au plus un nombre donné de conversions. Elle est lue à effectifs égaux, ce qu'est le plan en espérance. La simulation sert à vérifier ce calcul, jamais de source de vérité.
10. 20 000 réplications par scénario. Les parts sont imprimées en effectif et en taux à cinq décimales : un taux sur 20 000 est exact à cinq décimales, alors qu'à quatre décimales certaines valeurs tombent pile au milieu et Python et R les arrondissent en sens contraire.

Données synthétiques, graine 20260916. Ce ne sont pas des résultats de marché. Les pourcentages sont le rapport exact des effectifs imprimés par les programmes, donné à trois décimales, sans arrondi.

Un test sans aucun effet, déclaré concluant. Dès le premier essai, le programme tombe sur un test où les deux versions sont identiques. Au jour 9, l'écart cumulé est de −20 conversions et la statistique vaut −1,9907. La règle du premier regard significatif s'arrête là et conclut à une différence, au désavantage de la variante, ce qui aurait suffi à la rejeter à tort. Or au jour 28, à la date prévue, la statistique est revenue à −0,6120 et le test ne conclut pas. La borne valide à tout instant, elle, n'a pas été franchie au cours des 28 jours simulés. Trois règles, deux verdicts : la lecture quotidienne conclut, la date fixe et la borne valide ne concluent pas. Seule la première se trompe, et c'est la seule dont le risque affiché ne vaut rien.

Fausses annonces, quand aucune variante ne gagne (20 000 réplications). Entre parenthèses, une erreur-type de simulation, c'est-à-dire un écart-type de Monte-Carlo, et non un intervalle de confiance : elle mesure l'imprécision du tirage, pas celle d'un test réel.

Deux rythmes plus raisonnables, sur la même durée de quatre semaines : une lecture hebdomadaire, quatre regards, donne 12,020 % (± 0,230) de fausses annonces ; une lecture quotidienne à partir du jour 7, vingt-deux regards, donne 18,300 % (± 0,273). Espacer les regards ou attendre la première semaine réduit le mal sans le supprimer : le risque reste deux à quatre fois celui qui est affiché. Quand la variante gagne vraiment, ces deux rythmes détectent dans 81,970 % (± 0,272) et 85,500 % (± 0,249) des cas, contre 76,965 % pour la date fixe : la détection gagnée se paie exactement du risque de fausse annonce ci-dessus, et ne se compare donc pas à risque égal.

Taille exacte du test à date fixe, calculée sans simulation, à effectifs égaux entre les deux versions, ce qu'est le plan en espérance : 4,9718 % à 7 jours, 5,0075 % à 14 jours, 4,9795 % à 28 jours, 4,9973 % à 84 jours. Le test tient donc son risque de 5 % à trois centièmes de point près. L'écart entre cette valeur exacte et la colonne simulée vaut 0,7 erreur-type au jour 28, ce qui est du bruit de tirage ordinaire.

Détections, quand la variante gagne vraiment de 1,5 point :

Attention à la colonne du milieu. La lecture quotidienne détecte plus souvent, mais au prix d'un risque de fausse annonce cinq fois et demie plus élevé : 26,870 % contre 4,875 %. On ne compare deux procédures sur leur puissance que si elles tiennent le même risque. Ici, seules la date fixe et la borne valide le tiennent.

Le réglage de la borne, publié parce qu'il est décisif. Même borne, mêmes données, quatre réglages déclarés à l'avance. Le premier est celui que la source permet de calculer : le point le plus serré se situant à 8,21 fois ρ, viser la date prévue impose ρ = 350 ÷ 8,21 ≈ 42,6 conversions, et non les 350 attendues à cette date. Les trois autres suivent l'instinct contraire, celui qui prend pour ρ les conversions attendues à une date. Comme la borne est en réalité la plus serrée 8,21 fois plus loin, ce choix la règle pour une date bien postérieure à celle que l'on croit viser : le jour 57 pour le réglage dit « du jour 7 », le jour 230 pour celui du jour 28. Le tableau montre ce que coûte cet instinct.

Ces jours d'égalisation sont à prendre à un jour près : la veille, la puissance de la borne vaut encore 76,185 %, 76,475 %, 76,630 % et 75,855 %, pour une cible de 76,965 % connue elle-même à 0,298 point près.

Quand la variante gagne vraiment, la borne de référence conclut au jour 31 en médiane, sur les 95,255 % de cas où elle conclut dans les 84 jours. La lecture quotidienne s'arrête au jour 8 en médiane, sur les 87,090 % de cas où elle conclut dans les 28 jours. Les deux médianes portent donc sur des fenêtres différentes et ne se comparent pas terme à terme. Et cette même hâte, appliquée au scénario sans effet, est ce qui y produit 26,870 % de fausses annonces.

• Affectation tirée au hasard, à une chance sur deux, visiteur par visiteur. C'est l'hypothèse porteuse : c'est elle qui fait tomber chaque conversion à pile ou face et rend la borne licite. Votre outil répartit-il vraiment au hasard, et le fait-il visiteur par visiteur plutôt que par quotas figés ? La licéité vient de la construction du plan, pas de la mesure : les deux parts que les programmes contrôlent, avec une tolérance d'un demi-point sur 500 000 visiteurs, ne détectent qu'une erreur grossière de répartition. Elles ne peuvent pas voir une dépendance entre visiteurs.
• Affectation indépendante d'un visiteur à l'autre, et non collante. C'est l'hypothèse la plus fragile en pratique, et la plus dangereuse : une affectation par cookie ou par session garde la même version pour toutes les visites d'une personne. Les parts restent à un demi en moyenne, les contrôles des programmes passent au vert, et la garantie tombe. Nous l'avons mesuré, avec des blocs de dix visiteurs partageant une version : 8,780 % de fausses annonces pour 5 % promis, soit près du double. Votre outil affecte-t-il au hasard chaque visite, ou colle-t-il une version à chaque visiteur ?
• Une seule conversion possible par visiteur. Vos visiteurs reviennent-ils plusieurs fois, ou partagent-ils un appareil ?
• Trafic et taux de référence stables : notre expérience synthétique n'a ni saisonnalité, ni jour de pointe, ni dérive du taux de base. Votre trafic du week-end ressemble-t-il à celui du mardi ? Une dérive commune aux deux versions ne biaise pas la comparaison, une dérive propre à une version, oui.
• Une seule métrique, un seul test. Combien de variantes et combien de métriques votre tableau de bord affiche-t-il côte à côte ? Dès qu'il y en a plusieurs, lues ensemble, le problème change de nature et appelle une correction pour tests multiples.
• Règle d'arrêt déclarée avant le lancement. Hypothèse non vérifiable après coup : seule une pré-déclaration écrite la garantit.
• Horizon de surveillance fini. Les 2,000 % sont un taux à 84 lectures. La garantie invoquée vaut sur un horizon non borné, mais le chiffre mesuré croît avec le nombre de lectures et ne doit pas être lu comme le niveau de la borne.
• Données tirées du modèle même que le test suppose : conversions indépendantes, taux constants, affectation équilibrée. Hypothèse vraie par construction ici, donc favorable aux trois règles. Sur des données réelles, les écarts à ce modèle s'ajoutent aux chiffres de cette page, ils ne s'en retranchent pas.

• L'erreur de simulation de Monte-Carlo est publiée à côté de chaque taux des trois tableaux de résultats ; la colonne des seuils, elle, est déterministe et n'en a pas. Sur 20 000 réplications elle vaut environ 0,15 point pour un taux de 5 % et 0,31 point pour un taux de 27 %. Le contraste principal de la page, 4,875 % contre 26,870 %, vaut 22 points : il est sans commune mesure avec ces erreurs-types.
• La taille exacte calculée, elle, ne dépend d'aucun tirage. C'est sur elle que la page s'appuie pour affirmer que le test à date fixe tient son risque, et non sur le chiffre simulé, dont l'écart à 5 % n'aurait pas été concluant.
• La borne valide à tout instant est prudente : elle garantit 5 % et délivre 2,000 % avec le réglage de référence, moins encore avec les réglages tardifs. C'est le prix d'une garantie qui ne suppose rien sur la façon de regarder. Et c'est le prix de cette borne : la même source en propose une autre, plus serrée lorsque les incréments sont bornés, comme ici ^[C13]. Nous ne l'avons pas implémentée, donc le facteur 1,86 est le coût du mélange normal à ce réglage, pas le coût de la validité à tout instant en général.
• Son prix se mesure, et ne se déduit pas du seuil. Le seuil de la borne vaut 3,1140 en unités de z, contre 1,959964 pour le test à date fixe, soit 1,589 fois plus ; le coût en durée, lui, est de 1,86. Les deux ne se convertissent pas l'un dans l'autre, car le seuil de la borne baisse à mesure que l'information s'accumule et que toutes les lectures intermédiaires comptent. Les auteurs bornent d'ailleurs le prix en largeur à moins d'un doublement ^[C06], mais pour une autre de leurs bornes que celle employée ici, et notre réglage le plus tardif atteint 2,293 fois le seuil fixe en unités de z : nous ne revendiquons donc aucune conformité à cet énoncé, seulement les mesures ci-dessus.
• Ce que cette simulation ne peut pas trancher : un seul trafic (250 visiteurs par jour), un seul taux de référence (5 %), une seule amélioration vraie (1,5 point). Avec moins de trafic ou un taux plus bas, les franchissements passagers sont plus fréquents encore ; rien ici ne dit de combien.
• Diagnostic à faire sur ses propres tests : compter les lectures, et vérifier que la répartition entre versions est bien tirée au hasard. Si personne ne sait combien de fois le tableau de bord a été consulté avant la décision, le risque affiché n'a pas de sens.

Le seuil de 5 % n'est pas une propriété de la valeur p : c'est une propriété de la procédure qui l'utilise. Sur notre expérience synthétique, lire tous les jours et s'arrêter au premier franchissement transforme un risque de 5 % en un risque de 26,870 % sur quatre semaines, et de 35,385 % sur douze. Lire une fois par semaine le ramène à 12,020 %, ce qui reste plus du double du risque affiché. Sur un autre trafic ces valeurs changeront ; le mécanisme, non. L'inflation ne vient pas d'un défaut du test mais de la règle d'arrêt, qui sélectionne les jours favorables.

La parade existe et fonctionne, mais elle n'est pas gratuite. Une borne valide à tout instant autorise la lecture quotidienne et tient sa garantie, au prix d'une durée allongée d'un facteur 1,86 avec le réglage que la source permet de calculer, et jusqu'à 2,39 avec un réglage mal choisi. Une autre borne de la même source, plus serrée pour des incréments bornés, ferait mieux ; cette page ne la chiffre pas ^[C13]. Entre les deux, la solution la plus économique reste la plus ancienne : fixer la durée à l'avance et ne décider qu'à la fin.

• Permis : « Avec une durée fixée à l'avance et une seule lecture, notre risque de conclure à tort est de 5 % ; la taille exacte du test, calculée à effectifs égaux, vaut 4,9795 % à la date prévue. »
• Permis : « Si nous voulons lire le test chaque jour en gardant ce risque, il faut une borne valide à tout instant, et prévoir sur ce plan d'expérience une durée 1,86 fois plus longue avec le réglage calculé selon la source, pour la même puissance. »
• Interdit : « Le test est significatif aujourd'hui, donc la variante gagne. » Sans règle d'arrêt déclarée, cette phrase n'a pas de risque associé.
• Interdit : transposer les 26,870 % à un autre test, ni le facteur de durée. Les deux dépendent du nombre de lectures, du trafic quotidien, de l'effet réel et du réglage de la borne. C'est le mécanisme qui se transpose, pas les valeurs.
• Interdit : appliquer cette borne à un test dont l'affectation est collante, par cookie ou par session. Mesuré ici : 8,780 % de fausses annonces pour 5 % promis. C'est la direction dangereuse, et aucun des contrôles des programmes ne la détecte.
• Interdit : lire les deux parts mesurées par les programmes comme une preuve que la borne est licite. Elles ne détectent qu'une erreur grossière de répartition ; la licéité vient de la construction du plan.
• Interdit : présenter ces chiffres comme des résultats de marché. Les données sont synthétiques, et tirées du modèle même que le test suppose.

Écrire, avant le lancement : la durée, la métrique de décision et la fréquence de lecture. Ensuite, choisir en connaissance de cause. Pour un test dont l'enjeu justifie une décision rapide, prévoir une borne valide à tout instant, la régler par le calcul plutôt qu'à vue, et budgéter la durée en conséquence. Pour un test de routine, fermer le tableau de bord jusqu'à la date prévue. Et si quelqu'un a déjà regardé dix fois, le dire : la décision reste humaine, mais elle doit se prendre avec le vrai risque sous les yeux, pas avec celui qu'affiche l'outil.

• Utiliser : dès qu'un test peut être consulté avant sa date de fin, ce qui est le cas de presque tous les tests en ligne, y compris quand le regard intermédiaire est unique — cas que le mécanisme couvre mais que cette page ne chiffre pas, le rythme le plus économe qu'elle mesure comptant quatre regards.
• Ne pas utiliser seul : avec plusieurs variantes ou plusieurs métriques lues ensemble, où il faut en plus une correction pour tests multiples ; avec un trafic très irrégulier, une répartition figée au lieu d'être tirée au hasard, ou un taux de base qui dérive, où la comparaison elle-même doit être revue.
• Alternatives, toutes deux hors du champ de nos sources et donc énoncées sans renvoi de preuve :

• les plans séquentiels par groupes réservent une part du risque à chaque analyse intermédiaire prévue au protocole. Ils conviennent quand le nombre de lectures est connu d'avance, là où la borne de cette page ne suppose rien.
• les approches bayésiennes formulent leurs garanties autrement. Elles ne se comparent pas terme à terme à un taux d'erreur.

• Python 3.14.5, bibliothèque standard seule : msc-p048-reference.py, à lancer par python msc-p048-reference.py
• R 4.6.1, base seule : msc-p048-reference.R, à lancer par Rscript msc-p048-reference.R
• Les deux programmes impriment exactement les mêmes lignes. L'empreinte sha256 de la sortie, après normalisation des fins de ligne, est enregistrée dans manifest.json. Graine déclarée 20260916, 20 000 réplications par scénario.
• Quatre précautions ont été nécessaires pour que les deux langages impriment la même chose, et elles sont dans le code. Le premier terme de la loi binomiale est construit par multiplications répétées plutôt que par une puissance, dont le dernier bit diffère entre Python et R. Le multiplicateur du générateur est découpé en deux moitiés dans la version R, qui n'a pas d'entiers assez larges pour tenir le produit exact. Les taux sont imprimés à cinq décimales, où un taux sur 20 000 est exact. Et le calcul des effectifs par version est parenthésé, car la division entière de R lie plus fort que la multiplication.
• Reproduire l'exemple du jour 9 demande de respecter l'ordre de consommation du générateur : invariants mesurés, recherche de l'exemple, scénario sans effet, puis scénario avec amélioration. Le contrôle de la borne par marches aléatoires consomme un flux séparé, remis à la graine.

Pour un test donné : la durée et la règle de décision écrites avant le lancement, le nombre de lectures effectivement faites, le verdict selon la règle déclarée, et, si le test a été lu plusieurs fois, le risque réel de la procédure suivie plutôt que celui du test à date fixe.

• Howard, S. R., Ramdas, A., McAuliffe, J. & Sekhon, J. (2018). Time-uniform, nonparametric, nonasymptotic confidence sequences. The Annals of Statistics 49(2), 1055–1080 (2021). ↗ — texte intégral vérifié sur la version arXiv en accès libre, arXiv:1810.08240v6 ^{[C01, C02, C03, C04, C05, C06, C09, C10, C11, C12, C13, C14]}.
• Howard, S. R., Ramdas, A., McAuliffe, J. & Sekhon, J. (2018). Exponential line-crossing inequalities, titre du document arXiv vérifié ici ; publié sous le titre Time-uniform Chernoff bounds via nonnegative supermartingales, Probability Surveys 17, 257–317 (2020). ↗ — texte intégral vérifié sur la version arXiv en accès libre, arXiv:1808.03204v6 ^{[C07, C08]}.
• La borne et son attribution : la forme employée ici est la borne de mélange normal bilatérale de la première source. Ses auteurs rattachent la méthode des mélanges à une lignée qui remonte à Ville et à Wald, puis à Darling et Robbins. Nous la citons donc à la source que nous avons lue, et non à un texte que nous ne détenons pas. Le choix du rapport de vraisemblance initial relève de notre lecture, et non d'un extrait vérifié.
• Niveau de preuve : démonstration sur données synthétiques, deux scénarios, six rythmes de lecture, quatre réglages, 20 000 réplications. La taille exacte du test est calculée en regard des valeurs simulées ; la borne est contrôlée séparément sur des marches aléatoires où l'hypothèse nulle est vraie par construction ; l'hypothèse qui la rend licite est établie par construction du plan, et deux parts agrégées sont contrôlées avant tout calcul pour détecter une erreur grossière de répartition. Le cas dangereux, l'affectation collante, est mesuré à part. Reproductible en Python et en R. Ce n'est pas un résultat de marché.