Research & Evidence

Buscar un método

Busca entre títulos, preguntas, territorios e identificadores MSC.

    ← Todos los métodos
    FICHA DE MÉTODOMSC-P-042Ciencia de la mediciónDosier científico verificado

    ¿Se puede comparar una escala entre países o entre lenguas?

    Una misma escala de confianza, contestada en Francia y en Alemania, no mide necesariamente lo mismo: un ítem traducido puede volverse más fácil de aprobar. Forzar la igualdad de los niveles de partida añade entonces 0,15 desviaciones típicas a la diferencia de confianza estimada — medido sobre 100 extracciones de datos sintéticos, donde se sabe qué ítem está desplazado.

    Redacción científica: Marketing Science Center

    Respuesta directa

    Establecer, escalón por escalón, si una escala mide lo mismo en dos grupos, localizar el ítem que falla, y comparar medias latentes una vez establecida la invariancia escalar, al menos parcial.

    Una misma escala de confianza, contestada en Francia y en Alemania, no mide necesariamente lo mismo: un ítem traducido puede volverse más fácil de aprobar. Forzar la igualdad de los niveles de partida añade entonces 0,15 desviaciones típicas a la diferencia de confianza estimada — medido sobre 100 extracciones de datos sintéticos, donde se sabe qué ítem está desplazado.

    Putnick & Bornstein, 2016Van de Schoot et al., 2013

    01

    En resumen

    Una misma escala de «confianza en la marca», contestada en Francia y en Alemania, no mide necesariamente lo mismo en los dos países: una traducción puede volver un ítem más fácil de aprobar. Comparar las puntuaciones medias equivale entonces a comparar también ese sesgo. La prueba de invariancia de medida verifica, paso a paso, que la estructura, luego las ponderaciones, luego los niveles de partida de los ítems sean los mismos.

    Sobre datos sintéticos, donde se sabe que el ítem 3 está desplazado en Alemania, forzar la igualdad de los niveles de partida añade de media 0,15 desviaciones típicas a la diferencia de confianza estimada entre los dos países — es el resultado estable, medido sobre 100 extracciones. Un modelo que libera el ítem defectuoso recupera la diferencia verdadera, con 0,006 de margen de media — un resto no distinguible de cero a este tamaño de simulación. En la extracción detallada en esta página, los dos modelos dan respectivamente 0,30 y 0,18, para una diferencia verdadera de 0,20.

    02

    La situación

    Una marca mide la confianza de sus clientes con cuatro ítems, en Francia y en Alemania (600 encuestados por país). Los resultados brutos muestran una confianza más alta en Alemania. Pero el ítem 3, traducido al alemán, está formulado de un modo más fácil de aprobar. Los datos de la página son sintéticos: se sabe que la diferencia verdadera de confianza vale 0,2 y que el ítem 3 está desplazado 0,4 en Alemania.

    03

    La pregunta científica

    ¿Mide la escala lo mismo en los dos países, hasta el punto de poder comparar las medias de confianza? Si no, ¿qué parte de la diferencia observada viene de la confianza y qué parte viene del instrumento?

    04

    Por qué falla el método sencillo

    La media de los cuatro ítems es más alta en 0,194 puntos de escala en Alemania. Pero la diferencia ítem por ítem revela el problema: 0,17, 0,09, 0,46 y 0,06. El ítem 3 soporta por sí solo una gran parte de la diferencia. Sumar los ítems mezcla una verdadera diferencia de confianza con un artefacto de traducción. Solo se comparan medias una vez superados tres pasos — misma estructura (llamada configural), mismas ponderaciones (métrica), mismos niveles de partida (escalar) —, detallados justo después [C09].

    05

    La intuición

    Se plantea un modelo en el que cada ítem refleja una confianza latente, con una ponderación (el peso del ítem) y un nivel de partida (su intercepto). Después se aprietan las restricciones entre países, paso a paso:

    1. configural: la misma estructura en los dos países, es el primer escalón [C01];
    2. métrica: las mismas ponderaciones, cada ítem contribuye por igual a la confianza en los dos países [C02];
    3. escalar: los mismos interceptos, la condición para comparar medias [C03];
    4. escalar parcial: si un ítem falla, se libera su intercepto y se conservan los demás. Se ha vuelto una práctica corriente [C08]. Steenkamp y Baumgartner sostuvieron que, dejando restringidas al menos dos ponderaciones y dos interceptos, la diferencia de medias latentes sigue siendo utilizable [C12]; la fuente que recoge esa regla añade de inmediato que ha sido «muy debatida» (en el original «much debated»), en particular sobre la elección del ítem de referencia [C16]. Los estándares de la invariancia parcial varían [C17] y no se apoyan en ningún estudio empírico citado [C18].

    En cada paso, si el ajuste se degrada netamente, la igualdad impuesta se rechaza.

    06

    Los datos necesarios

    Las respuestas individuales a los ítems, con el país de cada encuestado; al menos tres o cuatro ítems por constructo; muestras suficientes por grupo (aquí 600). Las respuestas de la página son continuas para simplificar; verdaderas escalas Likert de 5 o 7 puntos exigen métodos para datos ordinales.

    07

    El modelo formal

    Esta sección se dirige al profesional. Quien decide puede saltarla y retomar en «El cálculo declarado»: la frase de traducción que la cierra basta.

    Para el encuestado r del país g y el ítem j:

    xᵣⱼ = νⱼ⁽ᵍ⁾ + λⱼ⁽ᵍ⁾ ηᵣ + εᵣⱼ

    • xᵣⱼ: la respuesta del encuestado r al ítem j. El exponente (g) designa el país — fr o de — y señala un parámetro autorizado a diferir de un país a otro; sin exponente, el parámetro es común a los dos países.
    • ηᵣ: confianza latente, de media κ⁽ᵍ⁾ y varianza φ⁽ᵍ⁾.
    • λⱼ: ponderación del ítem, que los profesionales llaman también su saturación; νⱼ: intercepto, el nivel de respuesta cuando la confianza vale 0; εᵣⱼ: error, de varianza θⱼ.
    • Modelo métrico: λⱼ⁽ᶠʳ⁾ = λⱼ⁽ᵈᵉ⁾. Modelo escalar: además, νⱼ⁽ᶠʳ⁾ = νⱼ⁽ᵈᵉ⁾. Modelo parcial: la igualdad se levanta para el único intercepto del ítem seleccionado por la regla descrita más abajo.
    • Bajo invariancia escalar, la media latente de Alemania κ⁽ᵈᵉ⁾ mide directamente la diferencia de confianza entre países [C04].

    La escala de la variable latente debe fijarse, y no se fija del mismo modo en cada escalón:

    Modeloφ⁽ᶠʳ⁾κ⁽ᶠʳ⁾φ⁽ᵈᵉ⁾κ⁽ᵈᵉ⁾
    Configuralfijado en 1fijado en 0fijado en 1fijado en 0
    Métricofijado en 1fijado en 0estimadofijado en 0
    Escalar y parcialfijado en 1fijado en 0estimadoestimado

    Por eso la diferencia de confianza entre países solo aparece a partir del escalón escalar: antes, no es identificable.

    En pocas palabras: si los ítems pesan por igual y parten del mismo nivel en los dos países, una diferencia de respuestas solo puede venir de una diferencia de confianza.

    08

    El cálculo declarado

    1. Encuesta sintética generada por una recurrencia congruencial declarada (semilla 20260916; x ← 1103515245 · x + 12345 mod 2³¹), idéntica en Python y en R.
    2. Estimación por máxima verosimilitud con estructura de medias, sobre las medias y covarianzas de cada país.
    3. Optimizador BFGS con gradientes numéricos; descomposición de Cholesky; cola del χ² mediante la función gamma incompleta. Todo está escrito a mano, sin biblioteca, para que Python y R impriman exactamente las mismas líneas.
    4. Índices de ajuste. El χ² (chi cuadrado) mide la diferencia entre el modelo y los datos. El CFI (comparative fit index) es la parte de esa diferencia que el modelo recupera frente a un modelo sin ningún factor común: cuanto más se acerca a 1, mejor. El RMSEA (root mean square error of approximation) es la diferencia media por grado de libertad, considerada buena por debajo de 0,05. En el caso multigrupo, la fórmula del RMSEA se multiplica por √G, donde G es el número de grupos — aquí √2.
    5. Comparaciones de modelos anidados: diferencia de χ² y variación de CFI.
    6. Error típico de la media latente mediante la matriz hessiana numérica.
    7. Modelo parcial: el programa calcula las diferencias de intercepto entre países bajo el modelo métrico, y luego libera el intercepto cuya diferencia absoluta es la mayor [C13]. La regla la aplica el código, no se decide a mano: en la extracción detallada aquí, las diferencias valen 0,17, 0,09, 0,46 y 0,06, y se selecciona el ítem 3.
    8. El mismo procedimiento completo — generación, modelo métrico, selección del ítem, modelo escalar, modelo parcial — se repite después sobre 100 extracciones independientes, para distinguir lo que es sistemático de lo que depende del azar de una sola muestra.

    09

    El ejemplo numérico completo

    Las tres primeras tablas describen una sola extracción: muestran el mecanismo. La cuarta, sobre 100 extracciones, muestra lo que es sistemático.

    Modeloχ² (gl)pCFIRMSEA
    Configural7,90 (4)0,0950,99750,040
    Métrico11,11 (7)0,1340,99740,031
    Escalar70,67 (10)< 0,0010,96160,101
    Escalar parcial (ítem 3 libre)13,31 (9)0,1490,99730,028
    ComparaciónΔχ² (Δgl)pΔCFI
    Métrico contra configural3,21 (3)0,36−0,0001
    Escalar contra métrico59,56 (3)< 0,001−0,036
    Parcial contra métrico2,20 (2)0,33−0,0001
    Diferencia de confianza latente Alemania − Francia, en desviaciones típicas de la distribución francesaEstimación (error típico)
    Modelo escalar, que fuerza la igualdad de los interceptos0,30 (0,07)
    Modelo escalar parcial0,18 (0,07)
    Valor verdadero (sintético)0,20

    Atención a las unidades: la diferencia de 0,194 vista arriba está en puntos de escala, las de esta tabla en desviaciones típicas de confianza latente. No se leen una contra otra. Llevada a puntos de escala, la diferencia corregida vale 0,12: la puntuación bruta sobrestima la diferencia de confianza en torno al 60 %. La diferencia de intercepto estimada del ítem 3 vale 0,33, para un valor verdadero de 0,40.

    Sobre 100 extracciones independientesMediaDesviación típicaError de simulaciónSesgo
    Modelo escalar0,3560,0660,007+0,156
    Modelo escalar parcial0,2060,0620,006+0,006
    Lo que el modelo escalar añade0,1500,0200,002—

    La regla de selección eligió el ítem 3 en 100 extracciones de 100.

    El error de simulación es la desviación típica de las 100 extracciones dividida por √100. El sesgo del modelo escalar, +0,156, lo supera con mucho; el del modelo escalar parcial, +0,006, es del orden del suyo: no es distinguible de cero.

    10

    Las hipótesis de validez

    • Un solo constructo medido por los cuatro ítems. ¿No miden los ítems también otra cosa, como la satisfacción?
    • Normalidad aproximada de las respuestas para la máxima verosimilitud. ¿Están sus respuestas en 5 puntos, con efectos suelo o techo? Si es así, hacen falta métodos ordinales.
    • Al menos una parte de los ítems invariantes: la invariancia parcial supone saber qué ítems son fiables. Hipótesis no comprobable por entero: la elección del ítem que se libera la guían los datos, lo que siempre conlleva un riesgo de razonamiento ad hoc [C14], y debe replicarse. Aquí el modelo parcial deja restringidas las cuatro ponderaciones y tres de los cuatro interceptos: la regla citada arriba [C12] queda pues satisfecha, lo que no la vuelve establecida — su propia fuente la recoge como muy debatida [C16].
    • Modelo parcial elegido a posteriori: el error típico, el intervalo y el p del modelo parcial suponen un modelo fijado por adelantado. No tienen en cuenta que el ítem liberado se eligió tras examinar los datos, y son por tanto demasiado optimistas.
    • Muestras independientes entre países. ¿Vienen sus dos muestras de paneles distintos, o pudo un mismo encuestado responder por los dos países o en dos olas?
    • Dos grupos solamente aquí. Más allá, se aplican los mismos pasos, pero los umbrales habituales y el factor √G cambian, y la elección de los ítems que se liberan se vuelve más delicada.

    11

    Diagnósticos e incertidumbre

    • La prueba del χ² es muy sensible a pequeñas diferencias sin importancia en las muestras grandes [C06]; por eso se mira también la variación del CFI. Una bajada de más de 0,01 entre modelos anidados es el umbral comúnmente usado [C05]. Aquí, el modelo escalar pierde 0,036 de CFI, una señal neta de no invariancia; el modelo parcial no pierde nada.
    • El RMSEA cuenta la misma historia: 0,040 y 0,031 para los modelos configural y métrico, 0,101 para el escalar — el doble del umbral habitual de 0,05 — y 0,028 para el parcial.
    • La diferencia de intercepto del ítem 3 localiza el origen del problema.
    • Error típico de la diferencia latente: 0,07. El intervalo aproximado al 95 %, calculado sobre los valores sin redondear a unos dos errores típicos, va de 0,04 a 0,31. El sentido de la diferencia está establecido; su magnitud no, puesto que ese intervalo es compatible tanto con un efecto muy débil como con un efecto siete veces mayor — y no tiene en cuenta la selección del ítem.

    12

    Interpretación

    La estructura y las ponderaciones son las mismas en los dos países; los interceptos, no. El análisis localiza la diferencia en el ítem 3: en Alemania ese ítem recoge respuestas más altas a igual nivel de confianza. No dice por qué. Aquí sabemos que la traducción es la causa porque construimos los datos así; sobre datos reales, un intercepto no invariante señala el ítem, nunca su causa — queda releer la traducción, verificar el orden de los ítems o examinar un uso local del término. Forzar la igualdad de los interceptos atribuye esa diferencia a la confianza: sobre 100 extracciones, eso añade 0,15 desviaciones típicas a la estimación. Interceptos desiguales falsean gravemente la comparación de medias [C07].

    13

    Conclusiones permitidas y prohibidas

    • Permitido: «Una vez liberado el ítem 3, la confianza latente es más alta en Alemania en unas 0,18 desviaciones típicas de la distribución francesa, con una incertidumbre notable (error típico 0,07) y un modelo elegido tras examinar los datos.»
    • Permitido: «Forzar la igualdad de los interceptos, pese a un ítem no invariante, infla sistemáticamente la diferencia estimada: en 0,15 desviaciones típicas de media en nuestra simulación.»
    • Prohibido: comparar las puntuaciones medias brutas de los dos países sin haber establecido la invariancia escalar, al menos parcial. Solo bajo invariancia escalar las diferencias de media latente dan cuenta de las diferencias de media de los ítems [C09, C10, C11].
    • Prohibido: concluir del análisis que la traducción es defectuosa; señala un ítem, no una causa.
    • Prohibido: presentar estas cifras como un resultado de mercado; los datos son sintéticos.

    14

    Decisión de marketing posible

    Establecer primero la causa de la diferencia en el ítem 3 — traducción, formulación, uso local —, y luego corregir o sustituir el ítem en la versión alemana antes de la próxima ola. Mientras tanto, publicar las comparaciones entre países a partir del modelo parcial, nunca a partir de las puntuaciones brutas. La decisión de revisar la traducción sigue siendo humana.

    15

    Cuándo usarlo, cuándo no usarlo

    • Usar: en cuanto se comparan puntuaciones de escala entre países, lenguas, segmentos u olas de encuesta. La demostración de esta página trata dos grupos, cuatro ítems y respuestas continuas.
    • No usar solo: con dos ítems por constructo, donde el modelo solo es identificable al precio de restricciones adicionales — las mismas que la prueba debería poner a prueba —, o con muestras muy pequeñas.
    • Alternativas: los métodos para datos ordinales. La invariancia parcial, convertida en práctica corriente [C08], pero de estándares variables [C17]. La invariancia aproximada, de inspiración bayesiana, que restringe los parámetros más estrechamente que la invariancia parcial en lugar de liberar por completo un ítem [C15].

    16

    Implementaciones reproducibles

    • Python 3.14.5, solo biblioteca estándar: python msc-p042-reference.py
    • R 4.6.1, solo base: Rscript msc-p042-reference.R
    • Los dos programas imprimen exactamente las mismas líneas. Huella sha256 de la salida, tras normalizar los finales de línea: a0b6fce517d9c53684494d9aa6ccaffc9f0614d1299c464054f04dda98393972. Semilla declarada 20260916. Ninguna biblioteca de terceros: el software no valida el método, lo reproduce.
    • Control externo con el paquete R lavaan: previsto, no realizado aún a día de hoy.

    17

    Entregable

    La tabla de los cuatro modelos y de las comparaciones, el ítem defectuoso y su diferencia de intercepto, la diferencia latente entre países con su error típico bajo el modelo retenido, y el sesgo medio que el modelo escalar introduce sobre extracciones repetidas.

    18

    Referencias y nivel de prueba

    Conexiones metodológicas

    Territorio principalCiencia de la medición: construir indicadores válidosRequiere¿Cómo validar una escala de medición de marketing?RequiereACP, AFE o AFC: ¿qué método elegir?

    Leer después

    MSC-H-005Ciencia de la medición: construir indicadores válidos→MSC-P-008¿Cómo validar una escala de medición de marketing?→MSC-P-009ACP, AFE o AFC: ¿qué método elegir?→