Research & Evidence

Buscar un método

Busca entre títulos, preguntas, territorios e identificadores MSC.

    ← Todos los métodos
    FICHA DE MÉTODOMSC-P-011Experimentación y causalidadDosier científico verificado

    ¿Cómo diseñar una prueba A/B que estime realmente un efecto?

    Antes de la prueba deben fijarse población, unidad de aleatorización, variante, métrica primaria, MDE, duración, exclusiones y análisis por intención de tratar.

    Redacción científica: Marketing Science Center

    Respuesta directa

    Estimar un ITT con precisión conocida para la población elegible.

    Antes de la prueba deben fijarse población, unidad de aleatorización, variante, métrica primaria, MDE, duración, exclusiones y análisis por intención de tratar.

    Kohavi et al., 2009

    01

    Respuesta directa

    Una prueba A/B creíble se dimensiona antes de la exposición con métrica primaria, MDE, alfa, potencia, unidad y pérdida. Para 8,0 % frente a 8,7 %, MSC-P-011 requiere 24 516 unidades por brazo, o 31 326 con 10 % de pérdida y efecto 1,15.

    02

    Pregunta científica

    ¿Cuántas unidades aleatorizar por brazo para detectar una diferencia absoluta preespecificada en un resultado binario con los riesgos de error elegidos?

    03

    Población, unidad y horizonte

    La unidad es la de aleatorización elegible, analizada en su brazo asignado durante una ventana fija. Usuario, hogar, tienda y zona no son intercambiables.

    04

    Estimando y métrica

    El estimando primario es la diferencia ITT absoluta p₁−p₀. El MDE de 0,7 puntos, 8,75 % relativo, es una elección, no una predicción.

    05

    Datos necesarios

    Se requieren población, tasa base, MDE, métrica y ventana, alfa, potencia, asignación, pérdida, agrupamiento, contaminación y tráfico.

    06

    Supuestos

    Dos brazos independientes, 1:1, resultado binario, prueba bilateral, aproximación normal, ITT y sin reutilización. Clústeres y medidas repetidas requieren otro cálculo.

    07

    Fórmula de planificación

    n≈[z₁₋α/2√(2p̄(1−p̄))+z₁₋β√(p₀(1−p₀)+p₁(1−p₁))]²/(p₁−p₀)², con p̄=(p₀+p₁)/2.

    08

    Cálculo reproducible

    Con p₀=0,08, p₁=0,087, α=0,05 y potencia 0,80: z=1,959964 y 0,841621. El cálculo da 24 515,438 y redondea al alza.

    09

    Resultados de planificación

    Tamaño bruto: 24 516 por brazo. Con efecto 1,15 y pérdida 10 %: 31 326 por brazo, 62 652 total.

    MSC-P-011 · diseño binario de dos brazos
    Tasa de referenciaTasa objetivoBruto por brazoAjustado por brazoTotal
    8,0 %8,7 %24 51631 32662 652

    10

    Incertidumbre de planificación

    El tamaño depende de la tasa base y MDE. Recalcular en rangos plausibles, redondear al alza y tratar la incertidumbre de tráfico y pérdida como riesgo de viabilidad.

    11

    Protocolo previo

    Fijar población, unidad, variantes, métrica primaria, ventana, MDE, tamaño, regla de parada, exclusiones, análisis ITT, tratamiento de datos faltantes y controles del ratio muestral.

    12

    Diagnósticos

    Tras el lanzamiento: asignación, ratio muestral, contaminación, pérdida diferencial, resultado, exposición y registro de cambios.

    13

    Errores frecuentes

    Errores: elegir el MDE para obtener una muestra pequeña, mirar los resultados antes del umbral fijado, multiplicar métricas, aleatorizar usuarios y analizar sesiones, parar en p<0,05 o excluir tras la asignación.

    14

    Interpretación

    Potencia 80 % significa 80 % de probabilidad de rechazar H₀ bajo efecto y supuestos exactos, no 80 % de que la variante sea mejor.

    15

    Decisión posible

    Decidir si la prueba es viable, qué MDE es útil para la decisión y cuánto tráfico y tiempo reservar antes del lanzamiento.

    16

    Decisión imposible

    El tamaño no prueba ausencia de sesgo, relevancia de la métrica ni efecto real, ni causalidad si fallan aleatorización o ITT.

    17

    Implementación

    El CSV CC0 documenta el diseño; Python MIT usa la normal, rechaza parámetros inválidos, redondea y publica tamaño bruto y ajustado.

    18

    Entregable esperado

    Pregunta, población, unidad, variantes, métrica, ventana, MDE, alfa, potencia, fórmula, ajustes, tráfico, duración, diagnósticos y decisión.

    19

    Fuentes científicas

    Cohen fundamenta la potencia; CONSORT exige tamaño, resultados, aleatorización, números analizados y precisión. Ninguna fuente predice la tasa del 8,7 % del archivo sintético.

    1. Cohen (1992) ↗Texto completo verificado
    2. Moher et al. (2010) ↗Texto completo verificado

    Datos · Herramienta

    Herramienta · MSC-T01Tamaño muestral A/B→

    Conexiones metodológicas

    Territorio principalMedición y causalidad: ¿cómo establecer un efecto de marketing?

    Leer después

    MSC-P-012¿Cuántas observaciones necesita un experimento?→MSC-P-013¿Cómo medir el efecto incremental de una campaña con un grupo de control?→MSC-P-017¿Cómo detectar selección, contaminación y pérdida en un experimento?→