Darf man eine Skala über Länder oder Sprachen hinweg vergleichen?

Eine und dieselbe Skala „Vertrauen in die Marke“, in Frankreich und in Deutschland beantwortet, misst in den beiden Ländern nicht zwangsläufig dasselbe: eine Übersetzung kann ein Item leichter zustimmungsfähig machen. Mittelwerte zu vergleichen heißt dann, diese Verzerrung mitzuvergleichen. Der Test der Messinvarianz prüft Schritt für Schritt, dass die Struktur, dann die Gewichte, dann die Ausgangsniveaus der Items dieselben sind.

Auf synthetischen Daten, auf denen bekannt ist, dass Item 3 in Deutschland verschoben ist, fügt das Erzwingen gleicher Ausgangsniveaus dem geschätzten Vertrauensabstand zwischen den beiden Ländern im Mittel 0,15 Standardabweichungen hinzu — das ist das stabile Ergebnis, gemessen über 100 Ziehungen. Ein Modell, das das fehlerhafte Item freigibt, findet den wahren Abstand wieder, im Mittel auf 0,006 genau — ein Rest, der bei dieser Simulationsgröße nicht von null zu unterscheiden ist. Auf der hier ausführlich beschriebenen Ziehung liefern die beiden Modelle 0,30 und 0,18, bei einem wahren Abstand von 0,20.

Eine Marke misst das Vertrauen ihrer Kunden mit vier Items, in Frankreich und in Deutschland (600 Befragte je Land). Die Rohergebnisse zeigen höheres Vertrauen in Deutschland. Item 3 ist auf Deutsch jedoch so formuliert, dass ihm leichter zuzustimmen ist. Die Daten der Seite sind synthetisch: es ist bekannt, dass der wahre Vertrauensabstand 0,2 beträgt und dass Item 3 in Deutschland um 0,4 verschoben ist.

Misst die Skala in den beiden Ländern dasselbe, so weit, dass die Vertrauensmittelwerte verglichen werden können? Und wenn nicht: welcher Teil des beobachteten Abstands kommt vom Vertrauen und welcher vom Instrument?

Der Mittelwert der vier Items ist in Deutschland um 0,194 Skalenpunkte höher. Der Abstand Item für Item zeigt aber das Problem: 0,17, 0,09, 0,46 und 0,06. Item 3 allein trägt einen großen Teil des Abstands. Die Items zu addieren mischt einen echten Vertrauensunterschied mit einem Übersetzungsartefakt. Mittelwerte vergleicht man erst, wenn drei Stufen genommen sind — dieselbe Struktur (genannt konfigural), dieselben Gewichte (metrisch), dieselben Ausgangsniveaus (skalar) —, gleich im Anschluss beschrieben ^[C09].

Man setzt ein Modell an, in dem jedes Item ein latentes Vertrauen widerspiegelt, mit einem Gewicht (der Ladung des Items) und einem Ausgangsniveau (seinem Intercept). Dann zieht man die Restriktionen zwischen den Ländern Schritt für Schritt an:

1. konfigural: dieselbe Struktur in den beiden Ländern, das ist die erste Stufe ^[C01];
2. metrisch: dieselben Gewichte, jedes Item trägt in den beiden Ländern gleich viel zum Vertrauen bei ^[C02];
3. skalar: dieselben Intercepts, die Bedingung für den Vergleich von Mittelwerten ^[C03];
4. partiell skalar: versagt ein Item, so gibt man sein Intercept frei und behält die übrigen. Das ist gängige Praxis geworden ^[C08]. Steenkamp und Baumgartner haben vorgebracht, dass der Abstand latenter Mittelwerte brauchbar bleibt, wenn mindestens zwei Ladungen und zwei Intercepts restringiert bleiben ^[C12]; die Quelle, die diese Regel berichtet, fügt sogleich hinzu, sie sei „viel diskutiert“ (im Original „much debated“) worden, besonders bei der Wahl des Referenzitems ^[C16]. Die Standards der partiellen Invarianz schwanken ^[C17] und stützen sich auf keine zitierte empirische Studie ^[C18].

Verschlechtert sich die Anpassung auf einer Stufe deutlich, so wird die auferlegte Gleichheit verworfen.

Die individuellen Antworten auf die Items, mit dem Land jedes Befragten; mindestens drei oder vier Items je Konstrukt; je Gruppe ausreichende Stichproben (hier 600). Die Antworten der Seite sind zur Vereinfachung stetig; echte Likert-Skalen mit 5 oder 7 Punkten verlangen Methoden für ordinale Daten.

Dieser Abschnitt richtet sich an Praktiker. Wer entscheidet, kann ihn überspringen und bei „Die deklarierte Berechnung“ wieder einsteigen: der Übersetzungssatz am Ende genügt.

Für Befragten r des Landes g und Item j:

xᵣⱼ = νⱼ⁽ᵍ⁾ + λⱼ⁽ᵍ⁾ ηᵣ + εᵣⱼ

• xᵣⱼ: die Antwort des Befragten r auf Item j. Der Exponent (g) bezeichnet das Land — fr oder de — und markiert einen Parameter, der von Land zu Land abweichen darf; ohne Exponent ist der Parameter beiden Ländern gemeinsam.
• ηᵣ: latentes Vertrauen, mit Mittelwert κ⁽ᵍ⁾ und Varianz φ⁽ᵍ⁾.
• λⱼ: Gewicht des Items, das Praktiker auch seine Ladung nennen; νⱼ: Intercept, das Antwortniveau, wenn das Vertrauen 0 beträgt; εᵣⱼ: Fehler, mit Varianz θⱼ.
• Metrisches Modell: λⱼ⁽ᶠʳ⁾ = λⱼ⁽ᵈᵉ⁾. Skalares Modell: zusätzlich νⱼ⁽ᶠʳ⁾ = νⱼ⁽ᵈᵉ⁾. Partielles Modell: die Gleichheit wird für das Intercept des einen Items aufgehoben, das die unten beschriebene Regel auswählt.
• Unter skalarer Invarianz misst Deutschlands latenter Mittelwert κ⁽ᵈᵉ⁾ den Vertrauensabstand zwischen den Ländern unmittelbar ^[C04].

Die Skala der latenten Variablen muss festgelegt werden, und sie wird nicht auf jeder Stufe gleich festgelegt:

Deshalb erscheint der Vertrauensabstand zwischen den Ländern erst von der skalaren Stufe an: vorher ist er nicht identifizierbar.

Im Klartext: wenn die Items in den beiden Ländern gleich viel wiegen und vom gleichen Niveau ausgehen, kann ein Abstand der Antworten nur von einem Abstand des Vertrauens kommen.

1. Synthetische Befragung, erzeugt von einer deklarierten Kongruenzrekursion (Startwert 20260916; x ← 1103515245 · x + 12345 mod 2³¹), identisch in Python und in R.
2. Maximum-Likelihood-Schätzung mit Mittelwertstruktur, auf den Mittelwerten und Kovarianzen jedes Landes.
3. BFGS-Optimierer mit numerischen Gradienten; Cholesky-Zerlegung; χ²-Rand über die unvollständige Gammafunktion. Alles ist von Hand geschrieben, ohne Bibliothek, damit Python und R genau dieselben Zeilen drucken.
4. Anpassungsmaße. Das χ² (Chi-Quadrat) misst den Abstand zwischen Modell und Daten. Der CFI (comparative fit index) ist der Teil dieses Abstands, den das Modell gegenüber einem Modell ohne jeden gemeinsamen Faktor aufholt: je näher an 1, desto besser. Der RMSEA (root mean square error of approximation) ist der mittlere Fehler je Freiheitsgrad, unter 0,05 als gut gewertet. Im Mehrgruppenfall wird die RMSEA-Formel mit √G multipliziert, wobei G die Zahl der Gruppen ist — hier √2.
5. Vergleiche geschachtelter Modelle: Differenz des χ² und Änderung des CFI.
6. Standardfehler des latenten Mittelwerts über die numerische Hesse-Matrix.
7. Partielles Modell: das Programm berechnet die Intercept-Abstände zwischen den Ländern unter dem metrischen Modell und gibt dann das Intercept mit dem größten absoluten Abstand frei ^[C13]. Die Regel wird vom Code angewandt, nicht von Hand entschieden: auf der hier beschriebenen Ziehung betragen die Abstände 0,17, 0,09, 0,46 und 0,06, und Item 3 wird ausgewählt.
8. Dasselbe vollständige Verfahren — Erzeugung, metrisches Modell, Itemauswahl, skalares Modell, partielles Modell — wird anschließend auf 100 unabhängigen Ziehungen wiederholt, um das Systematische von dem zu trennen, was am Zufall einer einzigen Stichprobe hängt.

Die ersten drei Tabellen beschreiben eine einzige Ziehung: sie zeigen den Mechanismus. Die vierte, über 100 Ziehungen, zeigt das Systematische.

Achtung auf die Einheiten: der oben gesehene Abstand von 0,194 steht in Skalenpunkten, die dieser Tabelle in Standardabweichungen latenten Vertrauens. Sie sind nicht gegeneinander zu lesen. In Skalenpunkte zurückgerechnet beträgt der korrigierte Abstand 0,12: der Rohwert überschätzt den Vertrauensabstand um etwa 60 %. Der geschätzte Intercept-Abstand von Item 3 beträgt 0,33, bei einem wahren Wert von 0,40.

Die Auswahlregel hat Item 3 in 100 von 100 Ziehungen gewählt.

Der Simulationsfehler ist die Standardabweichung der 100 Ziehungen geteilt durch √100. Die Verzerrung des skalaren Modells, +0,156, übersteigt ihn weit; die des partiell skalaren Modells, +0,006, liegt in der Größenordnung des eigenen: sie ist nicht von null zu unterscheiden.

• Ein einziges Konstrukt, von den vier Items gemessen. Messen die Items nicht auch etwas anderes, etwa die Zufriedenheit?
• Annähernde Normalität der Antworten, für die Maximum-Likelihood-Schätzung. Liegen Ihre Antworten auf 5 Punkten, mit Boden- oder Deckeneffekten? Wenn ja, sind ordinale Methoden nötig.
• Mindestens ein Teil der Items invariant: die partielle Invarianz setzt voraus, dass man weiß, welche Items verlässlich sind. Eine nicht vollständig prüfbare Annahme: die Wahl des freizugebenden Items wird von den Daten geleitet, was immer das Risiko einer Ad-hoc-Begründung trägt ^[C14], und muss repliziert werden. Hier bleiben im partiellen Modell die vier Gewichte und drei der vier Intercepts restringiert: die oben zitierte Regel ^[C12] ist also erfüllt — was sie nicht zu gesicherter Erkenntnis macht, denn ihre eigene Quelle berichtet sie als viel diskutiert ^[C16].
• Partielles Modell nachträglich gewählt: Standardfehler, Intervall und p des partiellen Modells setzen ein im Voraus festgelegtes Modell voraus. Sie berücksichtigen nicht, dass das freigegebene Item nach Einsicht in die Daten gewählt wurde, und sind daher zu optimistisch.
• Unabhängige Stichproben zwischen den Ländern. Kommen Ihre beiden Stichproben aus getrennten Panels, oder konnte ein Befragter für beide Länder oder in zwei Wellen antworten?
• Nur zwei Gruppen hier. Darüber hinaus gelten die gleichen Schritte, aber die üblichen Schwellen und der Faktor √G ändern sich, und die Wahl der freizugebenden Items wird heikler.

• Der χ²-Test reagiert in großen Stichproben sehr empfindlich auf kleine, unwichtige Abstände ^[C06]; daher wird auch die Änderung des CFI gelesen. Ein Rückgang von mehr als 0,01 zwischen geschachtelten Modellen ist die gängig verwendete Schwelle ^[C05]. Hier verliert das skalare Modell 0,036 CFI, ein klares Zeichen von Nicht-Invarianz; das partielle Modell verliert nichts.
• Der RMSEA erzählt dieselbe Geschichte: 0,040 und 0,031 für das konfigurale und das metrische Modell, 0,101 für das skalare — das Doppelte der üblichen Schwelle von 0,05 — und 0,028 für das partielle.
• Der Intercept-Abstand von Item 3 verortet den Ursprung des Problems.
• Standardfehler des latenten Abstands: 0,07. Das annähernde 95-%-Intervall, berechnet auf den ungerundeten Werten bei etwa zwei Standardfehlern, reicht von 0,04 bis 0,31. Die Richtung des Abstands steht fest, sein Ausmaß nicht, denn dieses Intervall verträgt sich sowohl mit einem sehr schwachen Effekt als auch mit einem siebenmal größeren — und es berücksichtigt die Itemauswahl nicht.

Struktur und Gewichte sind in den beiden Ländern dieselben, die Intercepts nicht. Die Analyse verortet den Abstand bei Item 3: in Deutschland erhält dieses Item bei gleichem Vertrauensniveau höhere Antworten. Sie sagt nicht, warum. Hier wissen wir, dass die Übersetzung die Ursache ist, weil wir die Daten so gebaut haben; auf echten Daten benennt ein nicht invariantes Intercept das Item, nie seine Ursache — die Übersetzung ist noch zu prüfen, die Reihenfolge der Items zu kontrollieren oder ein örtlicher Wortgebrauch zu untersuchen. Die Intercepts gleichzusetzen schreibt diesen Abstand dem Vertrauen zu: über 100 Ziehungen fügt das der Schätzung 0,15 Standardabweichungen hinzu. Ungleiche Intercepts verfälschen den Mittelwertvergleich schwer ^[C07].

• Erlaubt: „Nach Freigabe von Item 3 ist das latente Vertrauen in Deutschland um etwa 0,18 Standardabweichungen der französischen Verteilung höher, bei beachtlicher Unsicherheit (Standardfehler 0,07) und einem nach Einsicht in die Daten gewählten Modell.“
• Erlaubt: „Die Intercepts trotz eines nicht invarianten Items gleichzusetzen bläht den geschätzten Abstand systematisch auf: in unserer Simulation um 0,15 Standardabweichungen im Mittel.“
• Verboten: die rohen Mittelwerte der beiden Länder zu vergleichen, ohne die skalare Invarianz, mindestens partiell, festgestellt zu haben. Erst unter skalarer Invarianz geben Abstände latenter Mittelwerte die Abstände der Itemmittelwerte wieder ^{[C09, C10, C11]}.
• Verboten: aus der Analyse zu schließen, die Übersetzung sei fehlerhaft; sie benennt ein Item, keine Ursache.
• Verboten: diese Zahlen als Marktergebnis auszugeben; die Daten sind synthetisch.

Zuerst die Ursache des Abstands bei Item 3 feststellen — Übersetzung, Formulierung, örtlicher Gebrauch —, dann das Item in der deutschen Fassung vor der nächsten Welle korrigieren oder ersetzen. In der Zwischenzeit die Ländervergleiche aus dem partiellen Modell veröffentlichen, nie aus den Rohwerten. Die Entscheidung, die Übersetzung zu überarbeiten, bleibt menschlich.

• Anwenden: sobald Skalenwerte über Länder, Sprachen, Segmente oder Befragungswellen hinweg verglichen werden. Der Nachweis dieser Seite betrifft zwei Gruppen, vier Items und stetige Antworten.
• Nicht allein anwenden: bei zwei Items je Konstrukt, wo das Modell nur um den Preis zusätzlicher Restriktionen identifizierbar ist — genau jener, die der Test prüfen soll —, oder bei sehr kleinen Stichproben.
• Alternativen: die Methoden für ordinale Daten. Die partielle Invarianz, gängige Praxis geworden ^[C08], aber mit schwankenden Standards ^[C17]. Die approximative Invarianz bayesscher Prägung, die die Parameter enger restringiert als die partielle Invarianz, statt ein Item vollständig freizugeben ^[C15].

• Python 3.14.5, nur Standardbibliothek: python msc-p042-reference.py
• R 4.6.1, nur Basis: Rscript msc-p042-reference.R
• Die beiden Programme drucken genau dieselben Zeilen. sha256-Abdruck der Ausgabe, nach Normalisierung der Zeilenenden: a0b6fce517d9c53684494d9aa6ccaffc9f0614d1299c464054f04dda98393972. Deklarierter Startwert 20260916. Keine Fremdbibliothek: die Software validiert die Methode nicht, sie reproduziert sie.
• Externe Kontrolle mit dem R-Paket lavaan: vorgesehen, bis heute nicht durchgeführt.

Die Tabelle der vier Modelle und der Vergleiche, das fehlerhafte Item und sein Intercept-Abstand, der latente Abstand zwischen den Ländern mit seinem Standardfehler unter dem gewählten Modell, und die mittlere Verzerrung, die das skalare Modell über wiederholte Ziehungen einbringt.

• Putnick, D. L. & Bornstein, M. H. (2016). Measurement Invariance Conventions and Reporting. Developmental Review 41, 71–90. ↗ — frei zugängliches NIH-Autorenmanuskript, Volltext geprüft ^{[C01–C10, C17, C18]}.
• Van de Schoot, R., Schmidt, P., De Beuckelaer, A., Lek, K. & Zondervan-Zwijnenburg, M. (2013). Facing off with Scylla and Charybdis: a comparison of scalar, partial, and the novel possibility of approximate measurement invariance. Frontiers in Psychology 4, 770. ↗ — frei zugänglich unter CC-BY-Lizenz, der Hinweis im Artikel selbst gelesen, Volltext geprüft ^[C11–C16].
• Evidenzniveau: Nachweis auf synthetischen Daten, eine ausführlich beschriebene Ziehung und 100 wiederholte Ziehungen, reproduzierbar in Python und in R. Das ist kein Marktergebnis.