¿Se puede detener un test A/B en cuanto resulta significativo?

No, y el precio de esa costumbre es medible. Sobre datos sintéticos en los que ninguna variante gana, un test leído una sola vez, en su fecha prevista, concluye erróneamente en el 4,875 % de los casos. El riesgo aceptado era del 5 %, y se cumple. El mismo test, leído cada día durante cuatro semanas y detenido el primer día significativo, concluye erróneamente en el 26,870 % de los casos. Más de un test de cada cuatro designa un ganador que no existe. Leer una vez por semana no salva: 12,020 %. Tampoco esperar la primera semana y leer después cada día: 18,300 %.

Existe una manera honesta de mirar todos los días. Un umbral llamado válido en todo instante sigue siendo legítimo sea cual sea el número de lecturas, y cumple su promesa: 2,000 % de falsas alarmas en 84 lecturas diarias, para un 5 % permitido. Cuesta tiempo. Para alcanzar la potencia del test con fecha fija, es decir, su capacidad de detectar una mejora que existe de verdad, necesita 52 días en lugar de 28, o sea un factor 1,86. Otros tres ajustes, publicados más abajo, llegan hasta 2,39.

Un equipo lanza un test A/B en su página de producto. Recibe 250 visitantes al día, cada uno asignado al azar a una de las dos versiones con una posibilidad entre dos, como hace un test A/B real. La tasa de conversión de referencia es del 5 %, y la duración prevista de cuatro semanas, es decir unos 3.500 visitantes por versión. El panel se actualiza cada mañana y muestra un valor p: la probabilidad de observar una diferencia al menos tan grande como la medida si las dos versiones fueran equivalentes. Cuanto menor es, más improbable sería la diferencia por puro azar. La tentación es permanente: si ya es significativo al cabo de nueve días, ¿por qué esperar la fecha prevista? Los datos de esta página son sintéticos: se sabe, por construcción, qué variantes ganan de verdad, y eso es lo que permite contar los errores.

¿Cuál es la probabilidad de que un procedimiento de decisión, regla de parada incluida, concluya que hay una diferencia cuando ninguna variante mejora la conversión? Y, al contrario, ¿qué potencia y qué demora ofrece ese procedimiento cuando la variante mejora realmente la conversión?

• Estimando, es decir, la cantidad que se busca estimar: la probabilidad de concluir que hay una diferencia, calculada sobre el procedimiento entero, miradas incluidas, y no sobre un test aislado. Esa probabilidad tiene un nombre habitual, el tamaño del test: es el riesgo de falsa alarma que el procedimiento realiza de verdad, frente al riesgo del 5 % que exhibe.
• Población: los tests con dos versiones, con tráfico diario constante y asignación sorteada al azar, cuya métrica es binaria.
• Horizonte: 28 días previstos, vigilancia llevada hasta 84 días para medir cuánto cuestan las lecturas adicionales.

El valor p de un test z, y el umbral del 5 % con el que se compara, suponen una sola lectura, en una fecha fijada antes del lanzamiento. Leída cada día, la misma estadística fluctúa: cruza el umbral, vuelve a bajar, lo cruza de nuevo. La regla «me detengo en el primer cruce» recoge esos cruces pasajeros. Los autores de nuestra fuente principal lo constatan en estos términos: los resultados se vigilan a menudo de forma continua con métodos que suponen una muestra fija ^[C02], y esa vigilancia infla sensiblemente el riesgo de concluir erróneamente, lo que los estadísticos llaman riesgo de primera especie ^[C03]. Esta página mide cuánto.

Tres maneras de decidir, con exactamente los mismos datos:

1. Fecha fija: se elige la duración por adelantado y solo se mira al final. El riesgo anunciado es el riesgo verdadero, pero no se puede parar antes.
2. Primera mirada significativa: se lee cada día y se para en cuanto el valor p baja del 5 %. Es la práctica corriente, y es la que descarrila.
3. Umbral válido en todo instante: se lee cada día, pero se compara la diferencia acumulada con un umbral que sube con la información acumulada, calculado para que la probabilidad de cruzarlo un día u otro quede por debajo del 5 %. Un umbral así autoriza a mirar cuando se quiera y a parar según cualquier regla, bajo las hipótesis que sus autores enuncian y que esta página establece por construcción de su plan experimental ^[C04]. Procede de un marco de concentración válido en todo instante, y no de una desigualdad con muestra fija ^[C08].

El objeto matemático que hay detrás de la tercera regla se llama sucesión de confianza: una sucesión de intervalos válida uniformemente sobre un horizonte no acotado ^[C01]. Esa libertad tiene un precio, que los autores enuncian ellos mismos: los intervalos son más anchos que los que se apoyan en aproximaciones asintóticas, es decir, válidas solo cuando la muestra es grande ^[C05].

Para cada día y cada versión: el número de visitantes y el número de conversiones, acumulados. Nada individual. Y dos cosas escritas antes del lanzamiento: la duración prevista y la regla de decisión, incluida la frecuencia de las lecturas. Sin ellas, ninguna garantía es calculable a posteriori.

Esta sección se dirige al profesional. Quien decide puede saltarla y retomar en «El ejemplo numérico completo»: la frase «En claro» que cierra esta sección basta para leer las tablas.

• nᶜ, nᵛ: visitantes recibidos por el control y por la variante, aleatorios puesto que la asignación se sortea al azar. Cₜ, Vₜ: sus conversiones acumuladas.
• α: el riesgo de falsa alarma aceptado para el procedimiento entero, aquí 5 %.
• Reglas 1 y 2, estadístico z con varianza común: zₜ es la diferencia de las dos tasas observadas, dividida por √(p̄ₜ(1 − p̄ₜ)(1/nᶜ + 1/nᵛ)), donde p̄ₜ es la tasa de las dos versiones reunidas. Se concluye que hay una diferencia, en un sentido o en el otro puesto que el test es bilateral, si |zₜ| ≥ 1,96 (1,959964 en los programas). Para la regla 1 esta lectura solo tiene lugar en la fecha prevista, el día 28 en nuestro plan, y las tablas vuelven a jugar la misma regla para cuatro duraciones previstas distintas; para la regla 2, el primer día que cruza.
• Regla 3, umbral llamado de mezcla normal: en lugar de un umbral único, promedia los umbrales de una familia de diferencias posibles, lo que lo hace válido sea cual sea la diferencia real. Se lee en el reloj de las conversiones y no en el de los visitantes. Se sigue la diferencia bruta Sₜ = Vₜ − Cₜ y el número total de conversiones Wₜ = Cₜ + Vₜ, y se concluye el primer día en que

|Sₜ| ≥ √( (Wₜ + ρ) · log( (Wₜ + ρ) / (ρ α²) ) ).

Aquí log es el logaritmo natural. El cuadrado sobre α, y no α solo, viene del carácter bilateral del test. Es la forma cerrada del umbral de mezcla normal bilateral de nuestra fuente ^[C09], aplicado con una razón de verosimilitud inicial igual a 1, valor que la fuente misma fija en todos los casos escalares ^[C14].

• Por qué este reloj, y por qué la asignación debe sortearse al azar. Cada visitante se asigna a una versión mediante un sorteo con una posibilidad entre dos. Bajo la hipótesis de ausencia de efecto, las dos versiones convierten a la misma tasa; un visitante dado es por tanto «conversión de la variante» con probabilidad p/2 y «conversión del control» con la misma probabilidad. Condicionalmente a una conversión, esta pertenece a la variante con probabilidad exactamente un medio, independientemente de las demás. El incremento de Sₜ vale pues +1 o −1 a cara o cruz. Tal incremento se dice subgaussiano de varianza 1: sus desviaciones extremas no superan las de una ley normal de varianza 1, que es la condición exigida por la proposición de la que procede el umbral: pide que la diferencia acumulada, en ambos sentidos, sea subgaussiana con el proceso de varianza que se sigue ^[C11]. Se cumple para cualquier tasa de conversión, porque la desigualdad cosh(λ) ≤ exp(λ²/2) vale para todo número real λ, donde λ es el parámetro de inclinación que sirve para comparar esas dos leyes.
• Lo que sería falso con un tamaño fijo por versión. Si se impusieran 125 visitantes a cada versión, el número de conversiones de la variante seguiría, dado el total, una ley hipergeométrica, es decir, un sorteo sin reposición: los incrementos seguirían siendo intercambiables entre sí, pero ya no serían independientes: cada conversión atribuida quita un sitio a la otra versión, de modo que conocer las primeras informa sobre las siguientes. Su varianza condicional caería por debajo de 1: sobre la diferencia acumulada que el umbral lee realmente, valdría unos 0,95 a lo largo de todo el horizonte, en lugar de 1. La conclusión seguiría siendo prudente, porque el sorteo sin reposición está menos dispersado, pero el argumento de cara o cruz sería falso. Por eso la asignación se sortea, y por eso los programas miden esas dos proporciones antes de calcular.
• ρ fija el lugar donde el umbral es más estrecho, y no es ρ mismo: la fuente muestra que ese punto se sitúa a unas 8,21 veces ρ, y que es esa misma razón la que da el ρ que minimiza el umbral en una fecha buscada ^[C12]. Los programas recuperan esa razón mediante una búsqueda numérica declarada, en lugar de escribirla fija, y un invariante verifica que vale justamente 8,212. La fuente señala que este ajuste es decisivo en la práctica ^[C10]: la página publica pues cuatro ajustes, incluido el que la fuente permite calcular.

En claro: la regla 2 compara cada día la misma diferencia con el mismo umbral, como si solo hubiera un día. La regla 3 eleva el umbral a medida que se mira, de modo que el conjunto de las miradas, y no cada una por separado, cumpla la promesa del 5 %.

1. Invariantes medidos antes de todo cálculo, con parada en error si uno de ellos falla: la desigualdad de subgaussianidad, sobre 2.000 valores de λ, de 0,01 a 20; la proporción de visitantes asignados a la variante, que debe mantenerse a medio punto del 50 %; la proporción de conversiones que caen en la variante, que debe mantenerse a un punto del 50 %; la razón del punto más estrecho al ajuste, que debe valer 8,212 como enuncia la fuente; la forma cerrada del umbral, comparada en cinco puntos con una escritura algebraica distinta; el consumo de un solo sorteo aleatorio por ley binomial, controlado comparando el estado del generador con un paso exacto de su recurrencia; el reloj sobre el que se lee el umbral, verificado de principio a fin en un test corto cuyos veredictos se recalculan a partir del solo total de conversiones. Medido sobre 500.000 visitantes: 50,090 % de asignación a la variante, y 50,091 % de las 25.288 conversiones cayendo en la variante.
2. Control independiente del umbral mismo: 5.000 paseos aleatorios de 2.000 pasos, cada paso valiendo +1 o −1 a cara o cruz. Es exactamente el incremento que el umbral supone, y la hipótesis nula es verdadera allí por construcción. La proporción de paseos que cruzan el umbral debe quedar por debajo del 5 %: vale 2,980 %, y el programa se detiene si supera ese umbral. Este control recae sobre el umbral, no sobre el plan experimental.
3. Segundo control bloqueante, sobre el plan mismo: 2.000 replicaciones sin ningún efecto, leídas cada día durante 84 días, cuya tasa de falsa alarma debe quedar por debajo del 5 %. Vale 1,750 %. Y una medida del caso peligroso: el mismo umbral aplicado a una asignación pegajosa, por bloques de diez visitantes, da 8,780 % — por encima del umbral permitido, lo que muestra que la garantía depende del plan y no del umbral solo. Esa medida no es bloqueante, es la advertencia.
4. Experimento sintético generado por un generador de números pseudoaleatorios escrito en claro (semilla 20260916; x ← 1103515245 · x + 12345 mod 2³¹), idéntico en Python y en R.
5. Cada jornada se sortea en tres tiempos: el reparto de los 250 visitantes entre las dos versiones, y luego las conversiones de cada una. Los tres números se sortean exactamente de la ley binomial, por inversión: se sortea un número entre 0 y 1 y se lee el valor que le corresponde en la ley, sin ninguna aproximación.
6. Dos escenarios: ninguna variante ganadora (5 % contra 5 %), y una mejora real de 1,5 punto (5 % contra 6,5 %).
7. Las reglas se aplican a los mismos datos. Se evalúan seis ritmos de lectura: diario sobre 7, 14, 28 y 84 días, semanal sobre cuatro semanas, y diario solo a partir del día 7.
8. La regla 3 se evalúa para cuatro ajustes declarados a priori: el que la fuente permite calcular, y tres calibraciones en los días 7, 28 y 56.
9. Tamaño exacto del test con fecha fija, calculado y no simulado. Para un número dado de conversiones del control, el conjunto de números de conversiones de la variante que hacen rechazar es el exterior de un trinomio, una expresión de segundo grado. La probabilidad exacta se deduce entonces de la función de distribución de la ley binomial, que da la probabilidad de obtener a lo sumo un número dado de conversiones. Se lee con tamaños iguales, que es lo que el plan es en valor esperado. La simulación sirve para verificar ese cálculo, nunca como fuente de verdad.
10. 20.000 replicaciones por escenario. Las proporciones se imprimen en recuento y en tasa con cinco decimales: una tasa sobre 20.000 es exacta con cinco decimales, mientras que con cuatro decimales ciertos valores caen justo en medio y Python y R los redondean en sentidos opuestos.

Datos sintéticos, semilla 20260916. No son resultados de mercado. Los porcentajes son el cociente exacto de los recuentos impresos por los programas, dado con tres decimales, sin redondeo.

Un test sin ningún efecto, declarado concluyente. Ya en el primer intento, el programa da con un test en el que las dos versiones son idénticas. El día 9, la diferencia acumulada es de −20 conversiones y el estadístico vale −1,9907. La regla de la primera mirada significativa se detiene ahí y concluye que hay una diferencia, en desventaja de la variante, lo que habría bastado para descartarla erróneamente. Pues bien, el día 28, en la fecha prevista, el estadístico ha vuelto a −0,6120 y el test no concluye. El umbral válido en todo instante, por su parte, no fue cruzado en el curso de los 28 días simulados. Tres reglas, dos veredictos: la lectura diaria concluye, la fecha fija y el umbral válido no concluyen. Solo la primera se equivoca, y es la única cuyo riesgo exhibido no vale nada.

Falsas alarmas, cuando ninguna variante gana (20.000 replicaciones). Entre paréntesis, un error típico de simulación, es decir, una desviación típica de Monte Carlo, y no un intervalo de confianza: mide la imprecisión del sorteo, no la de un test real.

Dos ritmos más razonables, sobre la misma duración de cuatro semanas: una lectura semanal, cuatro miradas, da 12,020 % (± 0,230) de falsas alarmas; una lectura diaria a partir del día 7, veintidós miradas, da 18,300 % (± 0,273). Espaciar las miradas o esperar la primera semana reduce el mal sin suprimirlo: el riesgo sigue siendo de dos a cuatro veces el exhibido. Cuando la variante gana de verdad, esos dos ritmos detectan en el 81,970 % (± 0,272) y el 85,500 % (± 0,249) de los casos, frente al 76,965 % de la fecha fija: la detección ganada se paga exactamente con el riesgo de falsa alarma de arriba, y no se compara por tanto a riesgo igual.

Tamaño exacto del test con fecha fija, calculado sin simulación, con tamaños iguales entre las dos versiones, que es lo que el plan es en valor esperado: 4,9718 % a 7 días, 5,0075 % a 14 días, 4,9795 % a 28 días, 4,9973 % a 84 días. El test cumple pues su riesgo del 5 % con tres centésimas de punto de margen. La diferencia entre ese valor exacto y la columna simulada vale 0,7 error típico el día 28, lo que es ruido de sorteo ordinario.

Detecciones, cuando la variante gana de verdad por 1,5 punto:

Atención a la columna del medio. La lectura diaria detecta más a menudo, pero al precio de un riesgo de falsa alarma cinco veces y media más alto: 26,870 % contra 4,875 %. Dos procedimientos solo se comparan por su potencia si cumplen el mismo riesgo. Aquí, solo la fecha fija y el umbral válido lo cumplen.

El ajuste del umbral, publicado porque es decisivo. Mismo umbral, mismos datos, cuatro ajustes declarados por adelantado. El primero es el que la fuente permite calcular: al situarse el punto más estrecho a 8,21 veces ρ, apuntar a la fecha prevista impone ρ = 350 ÷ 8,21 ≈ 42,6 conversiones, y no las 350 esperadas en esa fecha. Los otros tres siguen el instinto contrario, el que toma por ρ las conversiones esperadas en una fecha. Como el umbral es en realidad más estrecho 8,21 veces más lejos, esa elección lo ajusta para una fecha muy posterior a la que se cree apuntar: el día 57 para el ajuste llamado «del día 7», el día 230 para el del día 28. La tabla muestra lo que cuesta ese instinto.

Esos días de igualación hay que tomarlos con un día de margen: el día anterior, la potencia del umbral vale todavía 76,185 %, 76,475 %, 76,630 % y 75,855 %, para un objetivo de 76,965 % conocido él mismo con 0,298 punto de margen.

Cuando la variante gana de verdad, el umbral de referencia concluye el día 31 en mediana, sobre el 95,255 % de los casos en que concluye dentro de los 84 días. La lectura diaria se detiene el día 8 en mediana, sobre el 87,090 % de los casos en que concluye dentro de los 28 días. Las dos medianas recaen por tanto sobre ventanas distintas y no se comparan término a término. Y esa misma prisa, aplicada al escenario sin efecto, es lo que produce allí 26,870 % de falsas alarmas.

• Asignación sorteada al azar, con una posibilidad entre dos, visitante por visitante. Es la hipótesis portante: es ella la que hace caer cada conversión a cara o cruz y vuelve lícito el umbral. ¿Reparte su herramienta realmente al azar, y lo hace visitante por visitante en lugar de por cupos fijos? La licitud viene de la construcción del plan, no de la medida: las dos proporciones que los programas controlan, con una tolerancia de medio punto sobre 500.000 visitantes, solo detectan un error grosero de reparto. No pueden ver una dependencia entre visitantes.
• Asignación independiente de un visitante a otro, y no pegajosa. Es la hipótesis más frágil en la práctica, y la más peligrosa: una asignación por cookie o por sesión mantiene la misma versión para todas las visitas de una persona. Las proporciones se quedan en un medio de media, los controles de los programas pasan a verde, y la garantía cae. Lo hemos medido, con bloques de diez visitantes que comparten una versión: 8,780 % de falsas alarmas para un 5 % prometido, o sea casi el doble. ¿Asigna su herramienta al azar cada visita, o pega una versión a cada visitante?
• Una sola conversión posible por visitante. ¿Vuelven sus visitantes varias veces, o comparten un dispositivo?
• Tráfico y tasa de referencia estables: nuestro experimento sintético no tiene estacionalidad, ni día punta, ni deriva de la tasa base. ¿Se parece su tráfico del fin de semana al del martes? Una deriva común a las dos versiones no sesga la comparación; una deriva propia de una versión, sí.
• Una sola métrica, un solo test. ¿Cuántas variantes y cuántas métricas muestra su panel una al lado de la otra? En cuanto hay varias, leídas juntas, el problema cambia de naturaleza y exige una corrección por contrastes múltiples.
• Regla de parada declarada antes del lanzamiento. Hipótesis no verificable a posteriori: solo una predeclaración escrita la garantiza.
• Horizonte de vigilancia finito. El 2,000 % es una tasa sobre 84 lecturas. La garantía invocada vale sobre un horizonte no acotado, pero la cifra medida crece con el número de lecturas y no debe leerse como el nivel del umbral.
• Datos sorteados del modelo mismo que el test supone: conversiones independientes, tasas constantes, asignación equilibrada. Hipótesis verdadera por construcción aquí, y por tanto favorable a las tres reglas. Sobre datos reales, las desviaciones respecto a ese modelo se suman a las cifras de esta página, no se restan.

• El error de simulación de Monte Carlo se publica al lado de cada tasa de las tres tablas de resultados; la columna de los umbrales, en cambio, es determinista y no lo tiene. Sobre 20.000 replicaciones vale unos 0,15 punto para una tasa del 5 % y 0,31 punto para una tasa del 27 %. El contraste principal de la página, 4,875 % contra 26,870 %, vale 22 puntos: no admite comparación con esos errores típicos.
• El tamaño exacto calculado, en cambio, no depende de ningún sorteo. Es en él en el que la página se apoya para afirmar que el test con fecha fija cumple su riesgo, y no en la cifra simulada, cuya desviación respecto al 5 % no habría sido concluyente.
• El umbral válido en todo instante es prudente: garantiza el 5 % y entrega 2,000 % con el ajuste de referencia, menos aún con los ajustes tardíos. Es el precio de una garantía que no supone nada sobre la manera de mirar. Y es el precio de este umbral: la misma fuente propone otro, más estrecho cuando los incrementos están acotados, como aquí ^[C13]. No lo hemos implementado, de modo que el factor 1,86 es el coste de la mezcla normal con este ajuste, no el coste de la validez en todo instante en general.
• Su precio se mide, y no se deduce del umbral. El umbral vale 3,1140 en unidades de z, frente a 1,959964 del test con fecha fija, o sea 1,589 veces más; el coste en duración, en cambio, es de 1,86. Los dos no se convierten el uno en el otro, porque el umbral baja a medida que la información se acumula y porque todas las lecturas intermedias cuentan. Los autores acotan por lo demás el precio en anchura a menos de un doblado ^[C06], pero para otro de sus umbrales distinto del empleado aquí, y nuestro ajuste más tardío alcanza 2,293 veces el umbral fijo en unidades de z: no reivindicamos pues ninguna conformidad con ese enunciado, solo las medidas de arriba.
• Lo que esta simulación no puede dirimir: un solo tráfico (250 visitantes al día), una sola tasa de referencia (5 %), una sola mejora verdadera (1,5 punto). Con menos tráfico o una tasa más baja, los cruces pasajeros son aún más frecuentes; nada aquí dice cuánto.
• Diagnóstico que hacer sobre los propios tests: contar las lecturas, y verificar que el reparto entre versiones se sortea realmente al azar. Si nadie sabe cuántas veces se consultó el panel antes de la decisión, el riesgo exhibido no tiene sentido.

El umbral del 5 % no es una propiedad del valor p: es una propiedad del procedimiento que lo usa. En nuestro experimento sintético, leer todos los días y parar en el primer cruce transforma un riesgo del 5 % en un riesgo del 26,870 % sobre cuatro semanas, y del 35,385 % sobre doce. Leer una vez por semana lo devuelve al 12,020 %, que sigue siendo más del doble del riesgo exhibido. Con otro tráfico esos valores cambiarán; el mecanismo, no. La inflación no viene de un defecto del test sino de la regla de parada, que selecciona los días favorables.

El remedio existe y funciona, pero no es gratuito. Un umbral válido en todo instante autoriza la lectura diaria y cumple su garantía, al precio de una duración alargada en un factor 1,86 con el ajuste que la fuente permite calcular, y hasta 2,39 con un ajuste mal elegido. Otro umbral de la misma fuente, más estrecho para incrementos acotados, lo haría mejor; esta página no lo cuantifica ^[C13]. Entre los dos, la solución más económica sigue siendo la más antigua: fijar la duración por adelantado y decidir solo al final.

• Permitido: «Con una duración fijada por adelantado y una sola lectura, nuestro riesgo de concluir erróneamente es del 5 %; el tamaño exacto del test, calculado con tamaños iguales, vale 4,9795 % en la fecha prevista.»
• Permitido: «Si queremos leer el test cada día conservando ese riesgo, hace falta un umbral válido en todo instante, y hay que prever sobre este plan experimental una duración 1,86 veces más larga con el ajuste calculado según la fuente, para la misma potencia.»
• Prohibido: «El test es significativo hoy, por tanto la variante gana.» Sin regla de parada declarada, esa frase no tiene riesgo asociado.
• Prohibido: trasponer el 26,870 % a otro test, ni el factor de duración. Los dos dependen del número de lecturas, del tráfico diario, del efecto real y del ajuste del umbral. Es el mecanismo lo que se traspone, no los valores.
• Prohibido: aplicar este umbral a un test cuya asignación es pegajosa, por cookie o por sesión. Medido aquí: 8,780 % de falsas alarmas para un 5 % prometido. Es la dirección peligrosa, y ninguno de los controles de los programas la detecta.
• Prohibido: leer las dos proporciones medidas por los programas como una prueba de que el umbral es lícito. Solo detectan un error grosero de reparto; la licitud viene de la construcción del plan.
• Prohibido: presentar estas cifras como resultados de mercado. Los datos son sintéticos, y sorteados del modelo mismo que el test supone.

Escribir, antes del lanzamiento: la duración, la métrica de decisión y la frecuencia de lectura. Después, elegir con conocimiento de causa. Para un test cuyo riesgo justifica una decisión rápida, prever un umbral válido en todo instante, ajustarlo con el cálculo en lugar de a ojo, y presupuestar la duración en consecuencia. Para un test de rutina, cerrar el panel hasta la fecha prevista. Y si alguien ya ha mirado diez veces, decirlo: la decisión sigue siendo humana, pero debe tomarse con el riesgo verdadero delante, no con el que exhibe la herramienta.

• Usar: en cuanto un test puede consultarse antes de su fecha de fin, lo que ocurre con casi todos los tests en línea, incluso cuando la mirada intermedia es única — caso que el mecanismo cubre pero que esta página no cuantifica, pues el ritmo más parco que mide cuenta cuatro miradas.
• No usar solo: con varias variantes o varias métricas leídas juntas, donde hace falta además una corrección por contrastes múltiples; con un tráfico muy irregular, un reparto fijo en lugar de sorteado al azar, o una tasa base que deriva, donde la comparación misma debe revisarse.
• Alternativas, ambas fuera del campo de nuestras fuentes y por tanto enunciadas sin remisión de prueba:

• los planes secuenciales por grupos reservan una parte del riesgo a cada análisis intermedio previsto en el protocolo. Convienen cuando el número de lecturas se conoce por adelantado, allí donde el umbral de esta página no supone nada.
• los enfoques bayesianos formulan sus garantías de otro modo. No se comparan término a término con una tasa de error.

• Python 3.14.5, solo biblioteca estándar: msc-p048-reference.py, se ejecuta con python msc-p048-reference.py
• R 4.6.1, solo base: msc-p048-reference.R, se ejecuta con Rscript msc-p048-reference.R
• Los dos programas imprimen exactamente las mismas líneas. La huella sha256 de la salida, tras normalizar los finales de línea, está registrada en manifest.json. Semilla declarada 20260916, 20.000 replicaciones por escenario.
• Cuatro precauciones fueron necesarias para que los dos lenguajes imprimieran lo mismo, y están en el código. El primer término de la ley binomial se construye por multiplicaciones repetidas en lugar de por una potencia, cuyo último bit difiere entre Python y R. El multiplicador del generador se parte en dos mitades en la versión R, que no tiene enteros lo bastante anchos para contener el producto exacto. Las tasas se imprimen con cinco decimales, donde una tasa sobre 20.000 es exacta. Y el cálculo de los tamaños por versión va entre paréntesis, porque la división entera de R liga más fuerte que la multiplicación.
• Reproducir el ejemplo del día 9 exige respetar el orden de consumo del generador: invariantes medidos, búsqueda del ejemplo, escenario sin efecto, y luego escenario con mejora. El control del umbral mediante paseos aleatorios consume un flujo separado, devuelto a la semilla.

Para un test dado: la duración y la regla de decisión escritas antes del lanzamiento, el número de lecturas realmente hechas, el veredicto según la regla declarada y, si el test se leyó varias veces, el riesgo real del procedimiento seguido en lugar del del test con fecha fija.

• Howard, S. R., Ramdas, A., McAuliffe, J. & Sekhon, J. (2018). Time-uniform, nonparametric, nonasymptotic confidence sequences. The Annals of Statistics 49(2), 1055–1080 (2021). ↗ — texto completo verificado en la versión arXiv en acceso abierto, arXiv:1810.08240v6 ^{[C01, C02, C03, C04, C05, C06, C09, C10, C11, C12, C13, C14]}.
• Howard, S. R., Ramdas, A., McAuliffe, J. & Sekhon, J. (2018). Exponential line-crossing inequalities, título del documento arXiv verificado aquí; publicado con el título Time-uniform Chernoff bounds via nonnegative supermartingales, Probability Surveys 17, 257–317 (2020). ↗ — texto completo verificado en la versión arXiv en acceso abierto, arXiv:1808.03204v6 ^{[C07, C08]}.
• El umbral y su atribución: la forma empleada aquí es el umbral de mezcla normal bilateral de la primera fuente. Sus autores vinculan el método de las mezclas a un linaje que remonta a Ville y a Wald, y luego a Darling y Robbins. La citamos pues en la fuente que hemos leído, y no en un texto que no poseemos. La elección de la razón de verosimilitud inicial es nuestra lectura, y no un extracto verificado.
• Nivel de prueba: demostración sobre datos sintéticos, dos escenarios, seis ritmos de lectura, cuatro ajustes, 20.000 replicaciones. El tamaño exacto del test se calcula frente a los valores simulados; el umbral se controla por separado sobre paseos aleatorios donde la hipótesis nula es verdadera por construcción; la hipótesis que lo vuelve lícito se establece por construcción del plan, y dos proporciones agregadas se controlan antes de todo cálculo para detectar un error grosero de reparto. El caso peligroso, la asignación pegajosa, se mide aparte. Reproducible en Python y en R. No es un resultado de mercado.