Curriculare Validität der Testaufgaben

Über die curriculare Validität, also die Übereinstimmung der Testaufgaben mit dem jeweiligen Lehrplan, bestehen unterschiedliche Anschauungen. Während der Leiter der PISA 2000, Baumert, diese noch kategorisch ablehnte, wird die curriculare Validität von seinem Nachfolger Prenzel kategorisch postuliert.

Qualität der Testaufgaben

Im Anschluss an die Testungen 2000 und 2003 wurde jeweils nur ein kleiner Teil der eingesetzten Aufgaben (der Instrumente in der Sprache der Psychologie) veröffentlicht. Eine Vielzahl von Autoren hat diese Aufgabenbeispiele als teilweise fehlerhaft oder irreführend kritisiert.

Der Mathematikdidaktiker Wolfram Meyerhöfer (2005) argumentiert, dass PISA dem Anspruch, mathematische Leistungsfähigkeit bzw. speziell „Mathematische Literalität“ zu testen, nicht gerecht werde. Mittels Interpretation (Methode: Didaktische Analyse und Objektive Hermeneutik) zeigt er verschiedene Problemkreise auf:

• Oftmals gibt es so viele Möglichkeiten, zur gewünschten Lösung (die nicht in jedem Fall die richtige Lösung ist) zu gelangen, dass man nicht benennen kann, welche Fähigkeit die Aufgabe eigentlich misst. Das Konstrukt „mathematische Leistungsfähigkeit“ wird damit zu einem zufälligen.
• Es werden Komponenten von Testfähigkeit mitgemessen. Als Kernkompetenz von Testfähigkeit stellt sich heraus, weder das gestellte mathematische Problem noch die angeblichen realen Probleme ernst zu nehmen, sondern sich stattdessen auf das zu konzentrieren, was die Tester angekreuzt oder hingeschrieben sehen wollen. Prinzipiell erweist es sich als günstig, mittelmäßig zu arbeiten, auf intellektuelle Tiefe in der Auseinandersetzung mit den Aufgaben also zu verzichten.
• Man kann bei Multiple-Choice-Tests raten. Die PISA-Gruppe behauptet zwar, dieses Problem technisch überwinden zu können, dies erweist sich aber als Fehleinschätzung.
• Die vorgeblich verwendeten didaktischen und psychologischen Theorien sind lediglich theoretische Mäntel für eine theoriearme Testerstellung.
• Die Tests werden nicht durch Operationalisierungen von Messkonstrukten erstellt, sondern durch systematisches Zusammenstückeln von Aufgaben.
• Bei PISA sollte „Mathematical Literacy“ getestet werden. Verkürzt sollte das die Fähigkeit sein, „die Rolle, die Mathematik in der Welt spielt, zu erkennen und zu verstehen, begründete mathematische Urteile abzugeben und sich auf eine Weise mit der Mathematik zu befassen, die den Anforderungen des gegenwärtigen und künftigen Lebens einer Person als eines konstruktiven, engagierten und reflektierten Bürgers entspricht“ (PISA-Eigendarstellung). Von all dem kann angesichts der Aufgaben keine Rede sein.
• Es zeigt sich ein mathematikdidaktischer Habitus, der unter dem Stichwort der „Abkehr von der Sache“ zusammengefasst wird. Er umfasst folgende Elemente: Manifeste Orientierung auf Fachsprachlichkeit bei latenter Zerstörung des Mathematischen, Illusion der Schülernähe als Verblendung, Kalkülorientierung statt mathematischer Bildung, Misslingen der „Vermittlung“ von Realem und Mathematischem bei realitätsnahen Aufgaben. Letzteres gründet in der Nichtbeachtung der Authentizität sowohl des Realen als auch des Mathematischen.

Zweifel an der Vergleichbarkeit

Seit den allerersten vergleichenden Schulstudien wird durch die Übersetzung auf verschiedenen Wegen eine Verzerrung der internationalen Vergleiche bewirkt. Die Aufgaben stammten überwiegend aus dem angelsächsischen Bereich und den Niederlanden. Die reine Textlänge variiert schon um 10 % oder mehr. Einige Texte werden beim Übersetzen länger. Wenn Übersetzer die Aufgabe verstehen, neigen sie dazu, Hilfen zu geben (Freudenthal 1975). Dagegen wurde kritisiert, dass Übersetzer nicht alle Probleme erkennen. Zudem kommen auch Übersetzungsfehler vor.

Weitere Kritik

Der Leiter der wissenschaftlichen Begleitkommission der Laborschule Bielefeld, Prof. Dr. Tillmann, ist zugleich Mitglied des nationalen PISA-Konsortiums. Dies wurde vom Deutschen Lehrerverband kritisiert. Die Laborschule Bielefeld wurde auf eigenen Wunsch ein Jahr nach dem PISA-Hauptdurchlauf nachgetestet. Zu diesem Zeitpunkt war ein Teil der PISA-Aufgaben bereits bekannt.

Die Auswertungen für einzelne Schulen sind in Deutschland nur als Rückmeldung an den Schulleiter gedacht. Deshalb wurden die Schulleiter zu Vertraulichkeit verpflichtet. Nichtsdestoweniger gelangten Ergebnisse einzelner Schulen, zum Teil aus durchsichtigen politischen Gründen, an die Öffentlichkeit.

Sind die PISA-Assessments eine Schulleistungsuntersuchung?

In der Öffentlichkeit wird PISA ganz überwiegend als eine Untersuchung der Leistungsfähigkeit des Schulwesens wahrgenommen. Das ist konsistent mit der Wahrnehmung von PISA als Länderwettkampf, da die Grundstruktur des Schulwesens von Land zu Land unterschiedlich ist. Dieser Deutung von PISA als Schulleistungsuntersuchung liegen folgende Annahmen zugrunde:

(1) PISA testet eine Alters-, nicht eine Klassenstufe. Das lasse sich rechtfertigen, wenn man Leistung als Ergebnis bis zu einem bestimmten Lebensalter auffasst. PISA benachteiligt Schulsysteme, in denen ein nennenswerter Teil der Schüler späte Einschulung, Sitzenbleiben oder freiwillige Wiederholungen aufweist. Deshalb sei der PISA-Ansatz ungeeignet, die Leistungsfähigkeit von Schülern „nahe am Ende der Pflichtschulzeit“ (near the end of compulsory education) zu vergleichen. Man kann allerdings auch fragen, ob Rückstellungen etc. pädagogisch sinnvolle Maßnahmen darstellen. Allerdings hat eine wissenschaftliche Studie die Aufgabe, ihre eigenen Maßstäbe klar und transparent zu definieren und sich einer Wertung, die sich bereits in der Wahl der Stichprobendefinition implizit findet, zu enthalten.

(2) PISA misst den Ist-Zustand in einer bestimmten Altersgruppe. Aus den Leistungsdaten von PISA ist nicht zu erschließen, inwieweit die Leistungsfähigkeit der schulischen Ausbildung zu verdanken ist und inwieweit sie auf unterschiedliche Anlagen und Umwelteinflüsse zurückgeht. Dieses Argument unterschlägt, dass es zahlreiche weitere Untersuchungen gibt, auch als Längsschnitt wie z. B. die LAU-Untersuchungen in Hamburg. Die Frage nach Anlage oder Umwelt stellt sich für die Schule nicht. Entscheidend ist, ob etwas verändert werden kann und ob man dazu genügend Zeit hat, was durch die frühe Selektion nach der Klasse 4 fraglich ist. Jedoch – so die Kritik weiter – erlaube PISA, Leistungsdaten mit sozialen Kenndaten zu korrelieren. Die Ergebnisse zeigen, dass sich soziale Bedingungen in verschiedenen Ländern verschieden stark auf die kognitive Leistungsfähigkeit auswirken. Das in Deutschland meistzitierte Beispiel sind Migrantenkinder, die in Deutschland stärker zurückblieben als in anderen Ländern. In Ostdeutschland ist eine höhere Quote von Migrantenkindern auf Gymnasien zu finden als in Westdeutschland. So besuchen etwa in Thüringen Kinder vietnamesischer Abstammung zu 63 % ein Gymnasium. Dies wird sowohl "progressiv" mit dem wesentlich besseren Krippen- und KiTa-System in Ostdeutschland, "konservativ" mit einer sehr hohen Wertschätzung der Bildung in der vietnamesischen Kultur erklärt, "ethnisch" mit dem durchschnittlich höheren IQ von Asiaten (gegenüber Türken, Arabern oder auch Europäern) und "soziologisch-historisch" mit der Tatsache, dass aus Vietnam v. a. die Eliten vor dem Kommunismus nach Deutschland geflüchtet sind.

(3) Die Ergebnisse werden für jede Schule zusammengefasst. Es ist jedoch nicht immer nachzuvollziehen, wie die Auswahl der Teilnehmer erfolgt ist. So können auf verschiedenen Ebenen (national, regional usw.) Entscheidungen darüber getroffen werden, wer an der Studie teilnimmt. Zudem erfolgen die Schulabschlüsse in unterschiedlichen Altersstufen. PISA-Studien berücksichtigen bei der Interpretation der Ergebnisse nicht den Einsatz einer unterschiedlichen Zahl von Unterrichtsstunden, außerunterrichtliches institutionalisiertes Lernen sowie den Anteil der Fachstunden etwa in Mathematik an der Gesamtzahl der Unterrichtsstunden. So hat etwa Korea sehr hohe Werte bei der Unterrichtsstundenzahl in Mathematik sowie bei den Werten der außerunterrichtlichen Beschäftigung mit dem Unterrichtsstoff.

Messen die PISA-Studien die Intelligenz?

Heiner Rindermann und Siegfried Lehrl behaupten, PISA sei ein Unternehmen zur Messung der Allgemeinen Intelligenz, und zwar das aufwendigste und beste international je unternommene. Die Länder-Ergebnisse von PISA stimmten, so die Autoren, auf plus oder minus drei IQ-Punkte mit den IQ-Daten (und -Schätzungen) im Buch en:IQ and the Wealth of Nations (Lynn und Vanhanen, 2002) überein. Die gefundenen Korrelationen, die auf Grund der meist „vorzüglichen Repräsentativität“ der Stichproben höher seien als zwischen den bisher üblichen IQ-Tests, bewiesen für die Befürworter von IQ-Tests die grundlegende Übereinstimmung von PISA-Ergebnissen mit den Ergebnissen von einem Jahrhundert klassischer Intelligenzforschung und die Brauchbarkeit bewährter, standardisierter IQ-Tests, ebenso wie die sehr hohen Korrelationen zwischen PISA-Werten und IQ mit den Ergebnissen der TIMSS-Studie und der IGLU-Studie. Allerdings korrelieren die Ergebnisse der PISA-Studien mit denen der IGLU-Studie nicht, da beide Studien unterschiedliche Stichprobendefinitionen aufweisen. Während die PISA-Studie sich am Lebensalter der Probanden orientiert (15 Jahre), testet die IGLU-Grundschulstudie Schülerinnen und Schüler einer bestimmten Klassenstufe (zumeist 4. Klasse). Deshalb können die Ergebnisse beider Studien auch nicht korrelieren und insofern auch nicht die „Ergebnisse von einem Jahrhundert klassischer Intelligenzforschung“ bestätigen, sofern man davon ausgeht, dass Intelligenz bei Viertklässlern schulunabhängig und unveränderlich ist, was allerdings eine fragliche Annahme ist.