Research & Evidence

Buscar un método

Busca entre títulos, preguntas, territorios e identificadores MSC.

    ← Todos los métodos
    FICHA DE MÉTODOMSC-P-013Experimentación y causalidadDosier científico verificado

    ¿Cómo medir el efecto incremental de una campaña con un grupo de control?

    El estimando primario es la diferencia absoluta de resultado entre grupos asignados. El lift relativo y las conversiones incrementales son transformaciones secundarias con denominador y población explícitos.

    Redacción científica: Marketing Science Center

    Respuesta directa

    Estimar el ITT de la campaña y su intervalo.

    El estimando primario es la diferencia absoluta de resultado entre grupos asignados. El lift relativo y las conversiones incrementales son transformaciones secundarias con denominador y población explícitos.

    Rubin, 1974Hernán & Robins, Causal Inference: What If

    01

    Respuesta directa

    Una campaña aleatorizada se evalúa primero mediante la diferencia absoluta de resultado entre todas las unidades asignadas a prueba y control. El lift relativo y las conversiones incrementales son secundarios y no sustituyen al ITT ni a su intervalo.

    02

    Pregunta decisional

    Para la población elegible y la ventana predefinida, ¿qué diferencia de conversión produce la política de asignación, con qué precisión y frente a qué umbral de valor?

    03

    Población, unidad y horizonte

    Población: unidades elegibles antes de la asignación. Unidad: cliente, cookie, tienda o geografía realmente aleatorizada. Horizonte: 14 días en el ejemplo. Cada unidad permanece en su grupo asignado.

    04

    Estimando y diseño

    El estimando primario es el efecto medio de la asignación, ITT = E[Y(1)−Y(0)]. La aleatorización busca intercambiabilidad inicial; coherencia, positividad y ausencia de interferencia siguen siendo necesarias.

    05

    Datos necesarios

    Conservar identificador, elegibilidad, asignación, resultado, estado de observación, exposición, ventana y exclusiones predefinidas. Los agregados por sí solos no diagnostican duplicados, pérdidas o contaminación.

    06

    Supuestos de identificación

    La secuencia debe ser imprevisible y aplicarse a la unidad declarada; tratamiento y control deben estar bien definidos; el seguimiento no debe depender del grupo; la interferencia exige un modelo explícito.

    07

    Modelo y símbolos

    Para un resultado binario, p̂1=y1/n1 y p̂0=y0/n0. El efecto primario es Δ̂=p̂1−p̂0. El lift es Δ̂/p̂0; las conversiones incrementales en prueba son n1×Δ̂. Declarar siempre el denominador.

    08

    Cálculo reproducible

    Leer el CSV, comprobar dos grupos y denominadores, recalcular tasas desde recuentos, calcular Δ̂, error estándar e intervalo, y después lift y volumen incremental. No hay semilla: son recuentos realizados.

    09

    Resultado de referencia

    Control: 1600/20 000 = 8,00 %. Prueba: 1900/20 000 = 9,50 %. ITT = +1,50 puntos; lift = 18,75 %; 300 conversiones incrementales en prueba.

    MSC-P-013-CAMPAIGN-ITT
    GruponyTasa
    Control20 00016008,00 %
    Prueba20 00019009,50 %

    10

    Incertidumbre

    La aproximación normal da SE=0,2826 puntos e IC95 [0,946; 2,054] puntos. Con recuentos pequeños o tasas extremas usar un intervalo de puntuación; con asignación por conglomerados, estimar la varianza al nivel de aleatorización.

    11

    ITT, exposición y adherencia

    El grupo de prueba tiene 17 400 exposiciones sobre 20 000 asignaciones. El ITT conserva las 20 000 unidades y estima el efecto de la política de asignación. Restringir a expuestos cambia el estimando e introduce selección posterior a la aleatorización.

    12

    Resultados faltantes

    El conjunto de datos no tiene resultados faltantes. En producción, informar faltantes por grupo, explicar su mecanismo y realizar sensibilidad acotada. La eliminación diferencial puede romper la ventaja de la aleatorización.

    13

    Diagnósticos del protocolo

    Comprobar la proporción muestral esperada, los duplicados de unidad, el equilibrio previo al tratamiento, la estabilidad del tracking, la contaminación, la interferencia y el cumplimiento de la ventana. Son diagnósticos del protocolo, no sustituyen la estimación.

    14

    Errores frecuentes

    Errores típicos: tratar expuestos como aleatorizados, excluir no convertidos, llamar lift a una diferencia absoluta, multiplicar ITT por población errónea, detenerse pronto o ignorar multiplicidad.

    15

    Interpretación

    Bajo el protocolo declarado, el rango es compatible con un efecto positivo de la política para esta población y ventana. No describe solo expuestos, persistencia más allá de 14 días ni transporte.

    16

    Decisión posible

    Comparar el límite inferior del ITT con un umbral fijado antes del análisis y elegir despliegue, otro piloto o parada incluyendo coste, riesgo y capacidad. La decisión sigue siendo humana.

    17

    Decisión imposible

    No atribuir el efecto solo a expuestos, a un canal de una campaña multicanal, a creación de demanda frente a desplazamiento temporal ni a rendimiento futuro fuera de población y ventana.

    18

    Implementación y entregable

    El entregable mínimo contiene protocolo congelado, diagrama de flujo, recuentos por brazo, ITT absoluto, IC95, lift secundario, volumen incremental, diagnósticos, umbral de valor, límites y decisión admisible/inadmisible. CSV y script Python reproducen las cifras.

    19

    Fuentes científicas

    Hernán y Robins fundamentan razonamiento contrafactual, aleatorización e ITT. Fagerland, Lydersen y Laake documentan intervalos para diferencias de proporciones y límites de Wald. Ninguna fuente demuestra rendimiento comercial.

    Datos · Herramienta

    Datos · MSC-P-013-CAMPAIGN-ITTHoldout aleatorizado sintético de campaña→

    Conexiones metodológicas

    Territorio principalMedición y causalidad: ¿cómo establecer un efecto de marketing?

    Leer después

    MSC-P-011¿Cómo diseñar una prueba A/B que estime realmente un efecto?→MSC-P-012¿Cuántas observaciones necesita un experimento?→MSC-P-017¿Cómo detectar selección, contaminación y pérdida en un experimento?→MSC-P-015¿Cómo estimar un efecto con diferencias en diferencias?→