Reliabilitäts-Validitäts-Dilemma oder Verdünnungsparadox ist ein vor allem in der psychologischen Testtheorie verwendeter Begriff, der einen umgekehrt-U-förmigen Zusammenhang zwischen der Reliabilität und Validität eines Tests beschreibt. Obwohl Reliabilität eine Voraussetzung für Validität ist, geht dem Dilemma zufolge perfekte Reliabilität auf Kosten der Validität. Das Dilemma ist auf Basis der Klassischen Testtheorie nicht aufzulösen.
Herleitung
Möchte man die Veränderung eines Merkmals zwischen zwei Messzeitpunkten erheben, so ist die Reliabilität der Differenzwerte beider Messungen umso geringer, je höher die beiden Messungen miteinander korrelieren, während umgekehrt die Validität der beiden Messungen umso niedriger ist, je kleiner die Korrelation der beiden Messungen ist. Dies führt wiederum zu einer Erhöhung der Reliabilität der Messwertdifferenzen (Reliabilitäts-Validitäts-Dilemma der Prozessdiagnostik/Veränderungsmessung).
Der Grund des Dilemmas ist jedoch kein mathematischer: So ist ein Fieberthermometer sehr reliabel und sehr valide für die Messung der Körpertemperatur. Der Grund des Reliabilitäts-Validitäts-Dilemmas ist vielmehr ein genuin psychologischer: Sehr homogene Tests liefern meist sehr reliable Ergebnisse. Cronbachs Alpha ist die untere Grenze der Reliabilität. Sehr homogene Tests können aber nur sehr enge Konstrukte abbilden. Da viele psychologische Konstrukte aber sehr komplex sind, sind sehr homogene (und damit auch sehr reliable) Tests wenig geeignet, um komplexe Konstrukte abzubilden bzw. komplexe Kriterien vorherzusagen.
Lösung
Indem man eine Testbatterie vieler homogener Untertests (=hohe Reliabilität) nutzt, bildet jeder einzelne Test eine sehr reliable, aber sehr schmale Facette des Konstrukts ab. Die Gesamtheit der Untertests bilden das komplexe Konstrukt ab, mit Hilfe dessen man gute Prognosen (=hohe Validität) treffen kann.
Siehe auch
Literatur
- G. A. Lienert, U. Raatz: Testaufbau und Testanalyse, 6. Aufl., Beltz PVU, Weinheim, 1998, ISBN 978-3-621-27424-1
- Lord, F. M., & Novick, M. R.(1968): Statistical theories of mental test scores. Reading, Mass. [u. a.]: Addison-Wesley (Addison-Wesley series in behavioral science : quantitative methods).
- Tischler, L. (2018). Zwischen bezugsgruppen- und kriterienorientierter Messung (S. 12–16).