¿Cómo medir el efecto incremental de una campaña con un grupo de control?

Para la población elegible y la ventana predefinida, ¿qué diferencia de conversión produce la política de asignación, con qué precisión y frente a qué umbral de valor?

Población: unidades elegibles antes de la asignación. Unidad: cliente, cookie, tienda o geografía realmente aleatorizada. Horizonte: 14 días en el ejemplo. Cada unidad permanece en su grupo asignado.

El estimando primario es el efecto medio de la asignación, ITT = E[Y(1)−Y(0)]. La aleatorización busca intercambiabilidad inicial; coherencia, positividad y ausencia de interferencia siguen siendo necesarias.

Conservar identificador, elegibilidad, asignación, resultado, estado de observación, exposición, ventana y exclusiones predefinidas. Los agregados por sí solos no diagnostican duplicados, pérdidas o contaminación.

La secuencia debe ser imprevisible y aplicarse a la unidad declarada; tratamiento y control deben estar bien definidos; el seguimiento no debe depender del grupo; la interferencia exige un modelo explícito.

Para un resultado binario, p̂1=y1/n1 y p̂0=y0/n0. El efecto primario es Δ̂=p̂1−p̂0. El lift es Δ̂/p̂0; las conversiones incrementales en prueba son n1×Δ̂. Declarar siempre el denominador.

Leer el CSV, comprobar dos grupos y denominadores, recalcular tasas desde recuentos, calcular Δ̂, error estándar e intervalo, y después lift y volumen incremental. No hay semilla: son recuentos realizados.

Control: 1600/20 000 = 8,00 %. Prueba: 1900/20 000 = 9,50 %. ITT = +1,50 puntos; lift = 18,75 %; 300 conversiones incrementales en prueba.

La aproximación normal da SE=0,2826 puntos e IC95 [0,946; 2,054] puntos. Con recuentos pequeños o tasas extremas usar un intervalo de puntuación; con asignación por conglomerados, estimar la varianza al nivel de aleatorización.

El grupo de prueba tiene 17 400 exposiciones sobre 20 000 asignaciones. El ITT conserva las 20 000 unidades y estima el efecto de la política de asignación. Restringir a expuestos cambia el estimando e introduce selección posterior a la aleatorización.

El conjunto de datos no tiene resultados faltantes. En producción, informar faltantes por grupo, explicar su mecanismo y realizar sensibilidad acotada. La eliminación diferencial puede romper la ventaja de la aleatorización.

Comprobar la proporción muestral esperada, los duplicados de unidad, el equilibrio previo al tratamiento, la estabilidad del tracking, la contaminación, la interferencia y el cumplimiento de la ventana. Son diagnósticos del protocolo, no sustituyen la estimación.

Errores típicos: tratar expuestos como aleatorizados, excluir no convertidos, llamar lift a una diferencia absoluta, multiplicar ITT por población errónea, detenerse pronto o ignorar multiplicidad.

Bajo el protocolo declarado, el rango es compatible con un efecto positivo de la política para esta población y ventana. No describe solo expuestos, persistencia más allá de 14 días ni transporte.

Comparar el límite inferior del ITT con un umbral fijado antes del análisis y elegir despliegue, otro piloto o parada incluyendo coste, riesgo y capacidad. La decisión sigue siendo humana.

No atribuir el efecto solo a expuestos, a un canal de una campaña multicanal, a creación de demanda frente a desplazamiento temporal ni a rendimiento futuro fuera de población y ventana.