¿Qué hacer cuando se prueban decenas de variantes o de segmentos a la vez?

Sobre datos sintéticos — construidos para que se sepa quién ganó de verdad —, lanzar 40 pruebas al umbral del 5 % sin corrección produce casi con certeza falsas victorias: el 81 % de las series de 40 pruebas contiene al menos un falso hallazgo, y de media el 18 % de las «victorias» de una serie es falso. La corrección de Bonferroni rebaja al 3,9 % el riesgo de equivocarse al menos una vez, pero solo recupera un tercio de los efectos verdaderos. El procedimiento de Benjamini-Hochberg controla otra cosa: la proporción media de falsos hallazgos entre los hallazgos. La mantiene en el 4,0 % — el valor exacto que la teoría predice aquí, no menos — recuperando al mismo tiempo el 52 % de los efectos verdaderos. La elección correcta depende de lo que cuesta una falsa victoria frente a una victoria verdadera perdida.

Un equipo de comercio electrónico prueba al mismo tiempo 40 variantes de página de producto, cada una contra su versión actual. Cada prueba recibe 8.200 visitantes en la variante y 8.200 en la página actual — se llama «brazo» a cada uno de esos dos grupos. La tasa de conversión de referencia es del 5 %. El equipo quiere desplegar «todo lo que gane». En nuestros datos, ocho variantes mejoran realmente la conversión en un punto (del 5 % al 6 %); las otras 32 no tienen ningún efecto. Estos datos son sintéticos: es lo que permite saber, prueba por prueba, quién ganó de verdad.

Entre 40 hipótesis nulas «la variante no cambia la conversión», ¿cuáles rechazar para que los errores sigan bajo control? ¿Y qué error controlar: la probabilidad de al menos un falso hallazgo (FWER, tasa de error por familia) o la proporción esperada de falsos hallazgos entre los hallazgos (FDR, tasa de falsos hallazgos)?

El umbral del 5 % garantiza que una prueba sin efecto salga «significativa» en el 5 % de los casos. Con 32 pruebas sin efecto, se esperan unas 1,6 falsas victorias por serie (32 × 0,05), y la probabilidad de tener al menos una se vuelve muy alta: el 80,6 %, es decir 1 − 0,95³². Cada prueba tomada por separado es correcta; es la familia de pruebas la que descarrila.

• Bonferroni exige de cada prueba un umbral 40 veces más severo (5 % / 40). Acota en el 5 % la probabilidad de que al menos una falsa alarma aparezca en la serie, al precio de muchos efectos verdaderos perdidos. Storey y Tibshirani juzgan ese control «excesivamente conservador» (en el original «much too conservative») en su propio campo, la genómica, donde se prueban miles de hipótesis y donde se espera que una parte apreciable de ellas sean efectos verdaderos ^{[C01, C02, C12]}. Aquí es nuestra simulación la que lo muestra, no la cita.
• Holm aplica la misma idea paso a paso, de la más pequeña a la más grande: la misma garantía, algunos efectos verdaderos más recuperados.
• Benjamini-Hochberg acepta algunos falsos hallazgos, pero en proporción acotada. El FDR es la proporción esperada de falsos hallazgos entre las hipótesis rechazadas ^{[C06, C07]}. Es una garantía menos estricta, pero más potente ^{[C08, C09]}.

Para cada prueba: el tamaño y el número de conversiones de cada brazo, y la regla de decisión fijada antes de mirar los resultados (umbral α, nivel q). Ningún dato personal: bastan los totales por prueba. El conjunto de datos de la página contiene 40 filas (test_id, tamaños, conversiones) y, por ser sintético, una columna que indica el efecto verdadero.

• m = 40 pruebas, m₀ = 32 hipótesis nulas verdaderas (desconocido en la práctica).
• α: el umbral de significación elegido por adelantado, es decir, el riesgo de falsa alarma aceptado para una prueba (aquí 5 %). q: el nivel de FDR elegido por adelantado, o sea la proporción de falsas victorias aceptada entre las variantes retenidas (aquí también 5 %). k: el rango de una prueba una vez ordenados los valores p de menor a mayor.
• pᵢ: el valor p de la prueba i, es decir, la probabilidad de observar una diferencia al menos tan grande como la medida si la variante no cambiara nada. Viene de una prueba z sobre dos tasas de conversión, con una varianza común a los dos brazos, en los dos sentidos: subida igual que bajada.
• V: número de falsos hallazgos; R: número total de hallazgos. P(·) se lee «probabilidad de que», E[·] «valor medio sobre un gran número de series».
• FWER = P(V ≥ 1). FDR = E[V / max(R, 1)], la proporción esperada de falsos hallazgos.
• Bonferroni rechaza i si pᵢ ≤ α / m.
• Holm ordena los valores p p₍₁₎ ≤ … ≤ p₍ₘ₎ y rechaza mientras p₍ₖ₎ ≤ α / (m − k + 1).
• Benjamini-Hochberg busca el mayor k tal que p₍ₖ₎ ≤ k · q / m y rechaza los k valores p más pequeños ^[C10].

En pocas palabras: Bonferroni y Holm razonan sobre la serie entera — su umbral es lo bastante severo para que la probabilidad de equivocarse aunque sea una sola vez en las 40 pruebas siga por debajo del 5 %. Benjamini-Hochberg razona sobre la cosecha: su umbral se relaja a medida que se acumulan valores p pequeños, porque muchos valores p pequeños señalan efectos verdaderos antes que ruido.

1. Tamaño fijado a priori: con 8.200 visitantes por brazo, una prueba tiene un 80 % de probabilidades de detectar una ganancia verdadera de 1 punto sobre una base del 5 %, al umbral del 5 % en los dos sentidos — es lo que se llama potencia. Ese tamaño se fija antes del lanzamiento, nunca después.
2. Generación de las conversiones visitante por visitante con una recurrencia congruencial declarada (semilla 20260916; x ← 1103515245 · x + 12345 mod 2³¹), idéntica en Python y en R.
3. Prueba z de varianza común para cada variante, y luego las cuatro reglas: ninguna corrección, Bonferroni, Holm, Benjamini-Hochberg (α = q = 0,05).
4. Valores exactos calculados allí donde el plan lo permite: probabilidad de al menos una falsa alarma, potencia por prueba, y FDR de Benjamini-Hochberg bajo independencia. Los imprimen los programas al lado de los valores simulados.
5. Simulación de Monte Carlo: 10.000 series de 40 pruebas, estadísticos extraídos directamente de la ley normal — las 32 variantes sin efecto centradas en cero, las 8 verdaderas ganadoras desplazadas 2,81 desviaciones típicas, el desplazamiento que conlleva una ganancia de 1 punto con 8.200 visitantes por brazo — la desviación típica empleada es la de la diferencia bajo la alternativa, no la común que la prueba pone en su denominador; la diferencia entre ambas queda por debajo del error de simulación. La simulación sirve para verificar los valores exactos y para estimar lo que no se calcula a mano, nunca como fuente de verdad.

Atención: el conjunto de referencia se extrae visitante por visitante, mientras que las 10.000 series simuladas extraen directamente los estadísticos de prueba. La simulación mide por tanto el comportamiento de las reglas de decisión, no la calidad de la aproximación normal de la prueba z.

Datos sintéticos, semilla 20260916 — no son resultados de mercado.

Una prueba seguida de principio a fin. La prueba más clara de la serie es la variante 5: 385 conversiones de 8.200 visitantes para la página actual (4,70 %), 497 de 8.200 para la variante (6,06 %). Tasa común a los dos brazos: (385 + 497) / 16.400 = 5,38 %. El estadístico z vale (0,0606 − 0,0470) dividido por la desviación típica de esa diferencia, es decir 3,88, lo que da un valor p bilateral de 0,000106 — el más pequeño de los 40. Decisión, regla por regla: sin corrección, 0,000106 ≤ 0,05, retenida; Bonferroni, 0,000106 ≤ 0,05/40 = 0,00125, retenida; Holm, primer rango, mismo umbral, retenida; Benjamini-Hochberg, rango 1, umbral 1 × 0,05/40 = 0,00125, retenida.

La prueba que separa las reglas. El sexto valor p más pequeño vale 0,006. Supera el umbral de Bonferroni (0,00125) pero se queda bajo el umbral de Benjamini-Hochberg en su rango (6 × 0,05/40 = 0,0075): es el hallazgo que solo este último conserva.

Diagnóstico de la serie. Ocho valores p caen por debajo de 0,05, cuando el azar solo produciría 1,6: la acumulación cerca de cero señala efectos verdaderos, y es lo que vuelve una corrección necesaria antes que facultativa.

Sobre 10.000 series simuladas, comparadas con los valores exactos cuando existen (error de simulación entre paréntesis):

Lectura: en el conjunto de referencia, Benjamini-Hochberg hace un falso hallazgo de cada seis. No es una anomalía: el procedimiento garantiza una proporción media, no cero errores en cada serie. Y esa media no está «por debajo del 5 %» por comodidad: bajo independencia vale exactamente m₀ q / m = 32 × 0,05 / 40 = 0,040. El valor simulado, 0,039, está a un error de simulación del valor exacto: es la simulación la que se verifica, no la teoría.

• Pruebas independientes: en nuestra simulación, cada variante tiene su propio grupo de control. Es la condición bajo la cual la fuente establece sus resultados de FDR ^[C11], y bajo la cual el valor exacto de 0,040 está garantizado. ¿Comparten sus variantes el mismo control, o los mismos visitantes? Si es así, las pruebas son dependientes, y las tres reglas no están en la misma situación: las cotas de Bonferroni y de Holm siguen siendo válidas sea cual sea la dependencia, porque solo se apoyan en la suma de probabilidades, mientras que la garantía de Benjamini-Hochberg exige una condición adicional sobre la estructura de dependencia.
• Regla fijada antes de ver los datos: el nivel q y la lista de pruebas se escriben antes del lanzamiento. ¿Lo hizo usted? Es una disciplina que nos imponemos; Storey señala por lo demás que esa obligación es exigente ^[C05], lo que motivó sus valores q.
• Familia completa: las 40 pruebas se corrigen todas juntas. ¿No retiró pruebas a posteriori? Hipótesis no comprobable a posteriori: solo la predeclaración la garantiza.
• Hipótesis prudente: el procedimiento parte del principio de que todas las variantes podrían no tener efecto, lo que lo vuelve más estricto de lo necesario ^[C04]. ¿Tiene una idea, basada en sus pruebas pasadas, de la proporción de variantes que funcionan realmente? Si esa proporción es alta, los valores q recuperan potencia. Aquí, el FDR exacto (0,040) es la proporción de variantes sin efecto (32/40) multiplicada por q.

• El valor p ajustado (Bonferroni, Holm) es el valor p corregido por el número de pruebas: compararlo con el 5 % equivale a controlar la probabilidad de cometer al menos una falsa alarma en toda la familia. El valor q responde a otra pregunta: da la proporción esperada de falsos hallazgos si se declara ganadora esta prueba, junto con todas aquellas cuyo valor p es más pequeño ^[C03]. Dos garantías distintas, que no se leen del mismo modo.
• El error de simulación de Monte Carlo se publica para cada cifra (la columna entre paréntesis), y los valores exactos se dan cuando existen.
• Diagnóstico que hacer sobre los propios datos: la distribución de los valores p. Una acumulación cerca de 0 señala efectos verdaderos; una distribución plana, sobre todo ruido. En nuestro conjunto de referencia, 8 valores p caen por debajo de 0,05 cuando 1,6 se esperaban por azar.

En este escenario preciso — 40 pruebas, 8 verdaderas ganadoras, 80 % de potencia por prueba — las reglas se distinguen así. Sin corrección, se recupera el 80 % de las verdaderas ganadoras, pero de media casi una victoria anunciada de cada cinco es falsa. Bonferroni rebaja al 3,9 % la probabilidad de equivocarse al menos una vez en la serie, y solo recupera un tercio de las verdaderas ganadoras. Holm ofrece exactamente la misma garantía recuperando algunas más (0,343 frente a 0,336): desde el momento en que se quiere controlar el riesgo de equivocarse al menos una vez, no hay ninguna razón para preferir Bonferroni. Benjamini-Hochberg recupera la mitad de las verdaderas ganadoras manteniendo en el 4,0 % la proporción media de falsas victorias entre las variantes retenidas. Cambie el número de pruebas o la proporción de verdaderas ganadoras, y estos valores cambian: es el compromiso lo que se traspone, no las cifras.

• Permitido: «Con Benjamini-Hochberg a q = 5 %, la proporción de falsas victorias entre las variantes retenidas no supera el 5 % de media. En una serie dada puede ser más alta, o nula.»
• Prohibido: «Cada variante retenida es ganadora al 95 %.» La garantía recae sobre el conjunto de los hallazgos, no sobre cada uno.
• Prohibido: trasponer estos porcentajes a otra campaña sin repetir el cálculo; dependen del número de pruebas y de la proporción de verdaderas ganadoras.
• Prohibido: presentar las cifras de esta página como resultados de mercado. Vienen de datos sintéticos.

• Si una falsa victoria cuesta cara (rediseño pesado, compromiso contractual): controlar el riesgo de equivocarse al menos una vez, con el procedimiento secuencial de Holm.
• Si se explora y cada hallazgo se revalidará: controlar la proporción de falsos hallazgos con Benjamini-Hochberg, y luego confirmar las variantes retenidas con una prueba de seguimiento.
• El procedimiento ordena los candidatos; la decisión de desplegar sigue siendo humana y debe tener en cuenta el coste y el efecto estimado, no solo lo «significativo».

• Usar: varias variantes, segmentos, métricas o países probados al mismo tiempo e interpretados juntos.
• No usar solo: una prueba única predeclarada, que no exige ninguna corrección; pruebas que se consultan por el camino, antes de la fecha de fin prevista, que exigen un método concebido para los análisis repetidos; métricas secundarias que no sirven para decidir.
• Alternativas: los valores q de Storey y Tibshirani, que estiman la proporción de variantes sin efecto y ganan potencia ^{[C03, C04]}; pruebas jerárquicas o preseleccionadas cuando la familia está estructurada.

• Python 3.14.5, solo biblioteca estándar: python msc-p040-reference.py
• R 4.6.1, solo base: Rscript msc-p040-reference.R
• Los dos programas imprimen exactamente las mismas líneas. Huella sha256 de la salida, tras normalizar los finales de línea: f7fbde05e16c665db1da621cb9638d90c970a68897e805ba428117536607a9c5. Semilla declarada 20260916; recurrencia congruencial 1103515245 · x + 12345 mod 2³¹. Ninguna biblioteca de terceros: el software no valida el método, lo reproduce — y los valores exactos impresos al lado de los valores simulados permiten comprobarlo.

Una tabla por prueba: valor p, valor p ajustado según la regla predeclarada, decisión, y la lista de variantes que confirmar con una prueba de seguimiento.

• Storey, J. D. & Tibshirani, R. (2003). Statistical significance for genomewide studies. PNAS 100(16), 9440–9445. ↗ — texto completo verificado ^{[C01–C05, C12]}.
• Storey, J. D. (2002). A direct approach to false discovery rates. JRSS B 64(3), 479–498. ↗ — texto completo verificado ^[C06–C11].
• Lo que estas dos fuentes no cubren: los procedimientos de Bonferroni, de Holm y de Benjamini-Hochberg se implementan aquí a partir de su definición, escrita con todas sus letras en la sección «El modelo formal» y legible en los programas. Sus artículos de origen no son accesibles en texto completo y no figuran por tanto entre nuestras fuentes verificadas: esta página no se apoya en ninguna fuente que no haya leído. La corrección de los resultados se comprueba de otro modo, por los valores exactos que los programas calculan e imprimen.
• Nivel de prueba: demostración sobre datos sintéticos, con valores exactos de referencia, reproducible en Python y en R. No es un resultado de mercado.