Validität als Gütekriterium für psychologische Tests

Vor allem für psychologische Tests finden diese Gütekriterien als Bewertungskriterien der Qualität Anwendung. Ein Test muss so konstruiert sein, dass Durchführung, Auswertung und Interpretation unabhängig vom Testleiter oder den Untersuchungsbedingungen sind (Objektivität) sowie das Testergebnis sich auch mit dem gleichen oder einem vergleichbaren Test bestätigt (Reliabilität). Die Validität oder Gültigkeit ist darauf bezogen, dass z. B. durch einen Intelligenztest wirklich Aspekte der Intelligenz gemessen werden und diese Messung eine Vorhersage der Leistungsfähigkeit im realen Leben (z. B. Ausbildungserfolg oder Berufserfolg) erlaubt. Solche Vorhersagen sind messungsbedingt mit einem Fehler versehen und nur Wahrscheinlichkeitsaussagen – zugleich wird an einigen Inhalten auch Kritik geübt, vgl. z. B. Kritik am Intelligenzbegriff.

Inhaltsvalidität

Inhaltsvalidität (engl. content validity) wird angenommen, wenn ein Verfahren zur Messung eines bestimmten Konstrukts oder Merkmals die bestmögliche Operationalisierung dieses Konstrukts ist. Das ist zum Beispiel bei Interessen- und Kenntnistests der Fall: Eine Klassenarbeit oder Führerscheinprüfung repräsentieren direkt die zu messenden Fähigkeiten. Daher spricht man auch von logischer oder trivialer Validität. Ob Inhaltsvalidität gegeben ist oder nicht, entscheiden Experten per Rating.

Konstruktvalidität

Unter dem Begriff Konstrukt werden theoretische Eigenschaftsdimensionen (latente Variablen) verstanden. Konstruktvalidität bezieht sich auf die Zulässigkeit von Aussagen aufgrund der Operationalisierung über das gesamte dahinter liegende Konstrukt. Dies ist in der Regel dann der Fall, wenn der Bedeutungsumfang des Konstruktes vollständig, präzise und nachvollziehbar abgebildet ist. Als empirische Indikatoren der Konstruktvalidität gelten die konvergente sowie diskriminante (oder auch: divergente) Validität:

Konvergenzvalidität

Die Messdaten von Testverfahren, die dasselbe Konstrukt abbilden, müssten hoch miteinander korrelieren.

Diskriminanzvalidität

Die Messdaten von Testverfahren, die verschiedene Konstrukte abbilden, sollten nur gering miteinander korrelieren (sofern die Konstrukte auch tatsächlich voneinander unabhängig sind).

Sowohl konvergente als auch diskriminante Validität müssen gegeben sein, um einen vollständigen Nachweis der Konstruktvalidität zu gewährleisten. Das empirische Vorgehen bei der konvergenten und diskriminanten Validität sind Spezialfälle der Kriteriumsvalidität.

Bei der Multitrait-Multimethod-Analyse werden die konvergente Validität und die diskriminante Validität anhand einer einzigen Stichprobe miteinander verglichen. Dabei wird verkürzt gesagt erwartet, dass die konvergente Validität größer ist als die diskriminante Validität.

Faktoren für eine verminderte Konstruktvalidität können sein:

• vage Definition des Konstruktes
• mono-operation bias: nur ein Aspekt des Konstruktes wird untersucht
• mono-method bias: nur eine Methode wird zur Operationalisierung des Konstruktes verwendet
• Hypothesenraten (Hawthorne-Effekt)
• soziale Erwünschtheit
• Erwartungen des Versuchsleiters (Rosenthal-Effekt)
• Auslassen relevanter Faktorstufen
• mehr als eine unabhängige Variable ist wirksam (siehe Konfundierungseffekt)
• Wechselwirkung zwischen Messung und Behandlung
• eingeschränkte Generalisierbarkeit auf ähnliche Variablen

Kriteriumsvalidität

Kriteriumsvalidität bezieht sich auf den Zusammenhang zwischen den Ergebnissen des Messinstruments und einem empirischen Kriterium (Schnell, Hill & Esser, 2005, S. 155). Zum Beispiel: Ein Forscher untersucht den Zusammenhang seines neuen Intelligenztests mit den Schulnoten der Probanden, um die Gültigkeit seines Tests zu prüfen. Von „innerer (Kriteriums)validität“ wird dabei dann gesprochen, wenn als Kriterium ein anderer, als valide anerkannter Test herangezogen wird. Sofern als Kriterium ein objektives Maß (zum Beispiel psychophysiologische Maße oder ökonomische Größen) oder ein Expertenrating herangezogen wird, wird von äußerer (Kriteriums)validität gesprochen. Auch lässt sich unterscheiden nach dem Zeitpunkt, zu dem Übereinstimmung mit dem Kriterium vorliegen soll:

Diagnostische Validität / Übereinstimmungsvalidität (concurrent validity)

Das Außenkriterium, das bereits valide sein muss (z. B. ein anderer Test), wird zeitgleich mit dem zu validierenden Messinstrument den gleichen Versuchspersonen dargeboten. Die Ergebnisse der beiden Messinstrumente werden korreliert. Die Höhe der Korrelation ist das Maß für die Übereinstimmungsvalidität. Das Vorgehen zur Ermittlung der konvergenten und der diskriminanten Testvalidität sind Spezialfälle dieser Kategorie.

Prognostische Validität / Vorhersagevalidität (predictive validity)

Die Messdaten werden zu einem Zeitpunkt erhoben, der vor der Erhebung des Außenkriteriums liegt. Im Unterschied zur Übereinstimmungsvalidität liegt bei der Bestimmung der Vorhersagevalidität das Prognoseintervall zwischen den beiden Messungen. So kann der Grad bestimmt werden, in dem die Messdaten das Kriterium vorhersagen. Zum Beispiel kann im Rahmen eines Assessment-Centers eine Prognose für beruflichen Erfolg gestellt werden, oder aus der Leistung in einem Intelligenztest wird der spätere Schulerfolg vorhergesagt. Ein Test erfüllt die Vorhersagevalidität, wenn seine Vorhersagen hoch mit dem tatsächlich später eingetretenen Ergebnis korrelieren.

Augenscheinvalidität

Augenscheinvalidität, auch als face validity bezeichnet, hängt davon ab, ob ein Messinstrument auch Laien plausibel erscheint. Augenscheinvalidität sagt nichts über die tatsächliche Validität, also die Inhalts-, Kriteriums- und Konstruktvalidität aus, sondern bestimmt über die Akzeptanz für ein Messverfahren. Auch sehr wenig valide Messinstrumente (wie z. B. unstrukturierte Einstellungsinterviews) erfreuen sich hoher Augenscheinvalidität und werden in der Praxis deshalb häufig eingesetzt.

Statistische Validität

Für Aussagen oder in empirischen Studien gezogene Schlussfolgerungen (in der Regel über Ursache-Wirkungs-Verhältnisse) wird ein hoher Grad an statistischer Validität angenommen, wenn die Reliabilität und Teststärke der Messinstrumente und gewählten statistischen Verfahren hoch ist und allgemein die Fehlervarianz begrenzt wurde, die mathematischen Annahmen der statistischen Methoden nicht verletzt wurden und nicht einzelne Signifikanzen (zum Beispiel aus einer Korrelationsmatrix) „herausgefischt“ wurden (Fishing).

Interne Validität

Für Aussagen oder in empirischen Studien gezogene Schlussfolgerungen wird ein hoher Grad an interner Validität angenommen, wenn Alternativerklärungen für das Vorliegen oder die Höhe der gefundenen Effekte weitestgehend ausgeschlossen werden können. Interne Validität (oder Ceteris-paribus-Validität) liegt vor, wenn die Veränderung der abhängigen Variable eindeutig auf die Variation der unabhängigen Variable zurückgeführt werden kann (keine Alternativerklärung). Um dies zu gewährleisten, müssen Störvariablen kontrolliert bzw. durch verschiedene Methoden wie Elimination, Konstanthaltung und Parallelisierung ausgeschaltet werden. Damit die Effekte nicht auf Merkmale der Probanden zurückgeführt werden können, müssen diese zufällig den Versuchsbedingungen zugeteilt werden.

Die interne Validität wird gefährdet durch:

• Geschichte. Jedes ungeplante Ereignis zwischen zwei Messungen kann einen ungewollten Einfluss auf die Probanden haben. Beispiel: Bei der ersten Messung, vor der Behandlung mit einem neuen Antidepressivum, ist das Wetter kalt und regnerisch, bei der zweiten Messung, die eine Wirkung des Medikaments prüfen soll, ist das Wetter warm und sonnig.
• Reifung. Probanden ändern sich allein durchs Älterwerden zwischen zwei Messungen.
• Reaktivität. Probanden reagieren eventuell auf die Messungen selbst, zum Beispiel mit Habituation oder Sensitivierung, insbesondere wenn der Messvorgang unangenehm ist.
• Veränderung beim Messinstrument. Während einer Studie können sich die Eigenschaften der Messinstrumente, einschließlich der messenden Personen, ändern. Diese können zum Beispiel durch Erfahrung genauer oder durch wachsende Langeweile ungenauer messen. Auch kann die abhängige Variable durch die Behandlung in einen Wertebereich gelangen, in dem das Messinstrument weniger genau ist. Dadurch kann es zu Boden- oder Deckeneffekten kommen. Beispiel: Um die Wirkung eines kognitiven Trainings für Kinder zu messen, wird ein Intelligenztest verwendet. Das Training ist so erfolgreich, dass die Kinder bei der zweiten Messung alle die volle Punktzahl erreichen.
• Regression zur Mitte. Dieses statistische Artefakt kann Behandlungseffekte überlagern, wenn man, zum Beispiel um Boden- oder Deckeneffekte zu verhindern, Probanden mit besonders hohen (oder niedrigen) Anfangswerten im betreffenden Merkmal von vornherein ausschließt.
• Selektion durch mangelhafte Randomisierung. Ist die Zuordnung der Probanden zu den Versuchsbedingungen nicht zufällig, können sich Experimental- und Kontrollgruppe schon vor der Behandlung unterscheiden, sodass die Messung des Behandlungseffektes verfälscht wird. Zudem können sich Geschichts-, Reifungs- und Instrumenteneffekte auf die Gruppen in unterschiedlicher Weise auswirken.
• Ausfall. Wenn Probanden während der Studie wegfallen, kann dies an der Behandlung liegen. Die bei der zweiten Messung kleineren Gruppen sind Ergebnis einer ungewollten Selektion.
• Richtung des Kausalschlusses. Ein Kausalzusammenhang zwischen unabhängiger und abhängiger Variable wird zweifelhaft, wenn (in einer anderen Studie) ebenfalls ein Effekt von der abhängigen auf die unabhängige Variable gefunden wird und diese Korrelation nicht durch eine dritte Variable erklärt werden kann.
• Informationsaustausch. Wenn Probanden zwischen den Messungen interagieren (zum Beispiel „Ich glaube, ich gehöre zur Placebogruppe“), kann dies Auswirkungen auf den nächsten Messvorgang haben. Effekte der Konformität können die Effekte der Behandlung überlagern; oder eine Gruppe reagiert darauf, dass ihre Versuchsbedingungen viel unangenehmer sind als die der anderen Gruppe, zum Beispiel mit Kompensation oder Demotivation.
• Rosenthal-Effekte. Der Versuchsleiter verrät unbewusst durch Gestik, Mimik und Wortwahl mehr über das Experiment, als die Versuchsperson wissen darf. Dabei lassen sich Autosuggestion und Suggestion unterscheiden. Bei ersterer erhebt der Versuchsleiter bei allem bewusstem Bemühen um Neutralität tendenziell Daten, die seine Vorerwartungen und Hypothesen stützen. Bei der Suggestion teilen sich diese Erwartungen der Versuchsperson mit, die gemäß den Vorerwartungen des Versuchsleiters handelt und passende Daten liefert (good subject effect).

Im Englischen existiert hierzu die Eselsbrücke THIS MESS. Dieses Akronym bezieht sich auf acht Faktoren, die Gefährdungen der internen Validität darstellen, nämlich Testing (vgl. Reaktivität), History (Geschichte), Instrument change (Veränderung beim Messinstrument), Statistical Regression toward the mean (Regression zur Mitte), Maturation (Reifung), Experimental mortality (Ausfall), Selection (Selektion durch mangelhafte Randomisierung) und Selection Interaction (Wechselwirkung zwischen Selektion und einem anderen Faktor, z. B. Reifung nur in der Experimentalgruppe).

Externe Validität

Die externe Validität – auch Allgemeingültigkeit, Verallgemeinerungsfähigkeit oder ökologische Validität (vgl. Ökologischer Fehlschluss) – bezeichnet die Übereinstimmung von tatsächlichem und intendiertem Untersuchungsgegenstand. Grundidee ist hier die Frage nach der Generalisierbarkeit (Induktion). Nach der klassischen Sicht haben Aussagen oder in empirischen Studien gezogene Schlussfolgerungen einen hohen Grad an externer Validität, wenn sich (a) die Resultate auf die Grundgesamtheit verallgemeinern lassen, für die die Studie konzipiert wurde, und (b) über das konkrete Setting der Studie hinaus auf andere Designs, Instrumente, Orte, Zeiten und Situationen übertragen lassen, also allgemeingültig, verallgemeinerungsfähig sind. Die häufigste Gefährdung der personenbezogenen externen Qualität (a) liegt in praktischen Problemen bei der Rekrutierung der Informationsträger, also der Personen, die befragt werden, oder der für ein Experiment benötigten Versuchspersonen. Ist ihre Teilnahme erzwungen oder freiwillig? Wie haben sie von der Teilnahmemöglichkeit erfahren (durch Zeitungsanzeige, Aushang usw.)? Was motiviert sie zur Teilnahme (interessiert sie das Thema, brauchen sie das Geld usw.)? Dies sind Filter, die die Qualität der Stichprobe einschränken können. Die häufigste Gefährdung der situationsbezogenen externen Qualität (b) liegt in der Künstlichkeit von Laborexperimenten.

Die externe Validität erhöht sich mit jeder erfolgreichen Replikation der Befunde, denn durch die Wiederholung mit anderen Probanden (Altersgruppe, Geschlecht, Kultur usw.) oder Variationen der Versuchsbedingungen werden die Einschränkungen für die Gültigkeit der Befunde geringer. Beispiel: Solange Pawlow nur gezeigt hatte, dass Hunden beim Erklingen einer Glocke das Wasser im Munde zusammenläuft, wenn die Glocke zuvor oft genug gleichzeitig mit der Gabe von Futter erklang, hat er eben nur das gezeigt. Vom Phänomen der klassischen Konditionierung kann man erst sprechen, wenn viele Arten von Subjekten viele Arten von bedingten Reaktionen auf viele Arten von bedingten Reizen zeigen. Für die statistische Auswertung von Replikationsstudien steht die Methode der Metaanalyse zur Verfügung.

Aus dieser klassischen Sicht stehen interne und externe Validität im Widerstreit: Ein hohes Maß an interner Validität erreicht man am besten durch hochkontrollierte und deshalb recht künstliche (Labor-)Bedingungen. Besonders realitätsnahe Forschungsdesigns, wie sie für eine möglichst hohe externe Validität ratsam scheinen, bergen hingegen die Gefahr unkontrollierbarer oder übersehener Störeinflüsse. Aus einer deduktivistischen Perspektive ist dies jedoch nur ein scheinbarer Widerspruch. Da beide Kriterien aus einer induktivistischen Forschungslogik heraus entwickelt wurden, steht die Generalisierung empirischer Befunde (bspw. aus einem Experiment) im Vordergrund. Hier ist die Frage nach der Replizierbarkeit der Ergebnisse unter verschiedenen Bedingungen mit verschiedenen Stichproben eine sinnvolle Frage. Eine deduktivistische Forschungslogik verfolgt jedoch ein anderes Ziel. Hier wird versucht, eine (allgemeingültige) Theorie anhand einer speziellen Vorhersage zu falsifizieren, nicht, wie in einer empiristischen Forschungslogik, eine Theorie durch genügend Beobachtungen zu verifizieren. Widerspricht nach dieser Logik die Beobachtung der Theorie, gilt diese als falsifiziert. Hierbei ist es irrelevant, ob die Ergebnisse in irgendeiner Weise „repräsentativ“ sind. Bestätigt sich die Vorhersage einer Theorie in einem Experiment, gilt die Theorie als bewährt, muss aber weiteren Prüfungen unterzogen werden. Einwände, die die Gültigkeit der Ergebnisse des Experiments in Frage stellen, sind Einwände gegen die interne Validität des Experiments.

Das Forschungsdesign hat einen großen Einfluss auf die Zulässigkeit und Gültigkeit der Kausalschlüsse, darum werden die Validitäten bei experimentellen und quasi-experimentellen Forschungsdesigns immer kritisch hinterfragt.