¿Cómo diseñar una prueba A/B que estime realmente un efecto?
Antes de la prueba deben fijarse población, unidad de aleatorización, variante, métrica primaria, MDE, duración, exclusiones y análisis por intención de tratar.
Respuesta directa
Estimar un ITT con precisión conocida para la población elegible.
Antes de la prueba deben fijarse población, unidad de aleatorización, variante, métrica primaria, MDE, duración, exclusiones y análisis por intención de tratar.
ITT = mean(Y assigned B) − mean(Y assigned A)ESTIMAND
Perfil de la estimación
- Unidad de análisis
- Unidad asignada × grupo × periodoTerminología científica controlada (EN)
randomization unit - Estimando exacto
ITT = E[Y|Z=1] − E[Y|Z=0]- Modelo o resultado
ITT = mean(Y assigned B) − mean(Y assigned A)
01—08
Marco de análisis verificable
- 01Pregunta
¿Cómo diseñar una prueba A/B que estime realmente un efecto?
- 02Estimando
ITT = E[Y|Z=1] − E[Y|Z=0] · randomization unit
- 03Datos
unit_id · assignment · outcome · pre_period · exposure
- 04Modelo o resultado
ITT = mean(Y assigned B) − mean(Y assigned A)
- 05Cálculo declarado
ITT = mean(Y assigned B) − mean(Y assigned A) → ITT = E[Y|Z=1] − E[Y|Z=0]
- 06Controles de incertidumbre
Sample ratio mismatch · Pre-period balance · Missing outcomes
- 07Validación específica
Comprobar datos, estabilidad de la estimación y límites de interpretación. Sample ratio mismatch · Pre-period balance · Missing outcomes
- 08Límites
Cambiar la métrica o la duración después de ver el resultado.
Variables necesarias
unit_idassignmentoutcomepre_periodexposure
Controles · Terminología científica controlada (EN)
- Sample ratio mismatch
- Pre-period balance
- Missing outcomes
Estimar un ITT con precisión conocida para la población elegible.
Cambiar la métrica o la duración después de ver el resultado.
Fuentes científicas
1 fuente
Dataset · Herramienta
Conexiones metodológicas