Der Konstituentenansatz (von konstituieren (lat.-fr. gründen, für etwas grundlegend sein)) ist ein von Michael Berg 1993 beschriebener Weg zur Konstruktion und Validierung psychologischer Testverfahren auf der Basis vorhandenen Wissens um den Testgegenstand. Der Ansatz sieht sich in der Tradition einer Schule der kognitiven Psychologie und beruht auf der Anwendung experimenteller Methodik. Im Zentrum stehen jene Aufgabenvariablen, die Einfluss auf die Item-Schwierigkeit haben, die so genannten Schwierigkeits-Konstituenten. Der Ansatz ist keine Neuerfindung. Er ordnet sich ein in eine Reihe von Entwicklungen, in denen Aufgabenvariablen einen Zugang zur Validität bilden.

Verwandte Ansätze

1969 beschreibt Schmidt als "Testing the Limits – TtL", ein Prinzip zur Erschließung von Leistungs-Reserven und -Steigerung (auch im therapeutischen Bereich) im Sinne einer inkrementellen Validität der verwendeten Testmethoden u. a. durch systematische Veränderung der Testbedingungen. Baltes und Kindermann (1985) nennen als eine von drei Strategien des TtL Testwiederholung mit systematischer Variation der Testbedingungen u. a. Veränderungen der Testinstruktion oder der Testzeiten. Weiterführend wurde dieses Vorgehen unter dem Begriff "dynamisches Testen" als "andere Varianten einer 'experimentellen Psychodiagnostik' (Guthke, Beckmann & Wiedl, 2003, S. 226)) zur Erfassung der 'intraindividuellen Variabilität' "dargestellt. Insbesondere werden bei den u. a. von Guthke entwickelten Lerntests standardisierte Hilfen in den Testablauf einbezogen, die die Item-Schwierigkeit systematisch senken, um gezielt einen Lernfortschritt zu erreichen.

1987 begründet Klauer im Rahmen kriteriumsorientierter Diagnostik einen Zugang zur Kontentvalidität eines Itempools als das Zielkriterium, an dem erworbene Lern- oder Therapiefortschritte gemessen werden können, wie z. B. bei Schulleistungstests (es wird also nicht an zentralen Momenten einer statistischen Verteilung, sondern an der oberen Grenze des Erreichbaren gemessen). Zur Erzeugung dieses Itempools kommen mengenstiftende Transformationsregeln zur Anwendung, die auf Aufgabenvariablen zugreifen. So entsteht ein nach Klauer kontentvalider (vollständiger oder repräsentativer) Itempool als Ziel-Kriterium.

Unter dem Begriff "rationale Itemkonstruktion" (Hornke, 1991) beschreiben Hornke, Küppers & Etzel folgendes Vorgehen: "Zunächst wird … die latente Fähigkeit inhaltlich bestimmt, um dann entsprechend Faktoren festzulegen, die bei den Items entsprechend schwierigkeitserzeugend wirken könnten. Aus der Kombination dieser Faktoren wird schließlich ein Konstruktionsrational gebildet, anhand dessen Items mit 'bestimmbarer' Schwierigkeit erzeugt werden können" (S. 183), unter anderem zur Erstellung von Test-Itembanken, wie sie z. B. auch innerhalb adaptiver antwortabhängiger Testmethoden Verwendung finden können. Die Vorgehensweise wird anhand der Konstruktion eines adaptiven Matrizen-Tests demonstriert.

1998 entwickelt Embretson im Rahmen ihres "cognitive design systems approach" ein Konstruktionsrational, bei dem sich die Validität eines theoriegeleitet konstruierten Itempools direkt aus einem dem Mess-Gegenstand zugrundeliegenden kognitiven Modell der Informationsverarbeitung ergibt: "… construct validity is given on the item level" (S. 264). So wird z. B. für Matrizen-Tests angenommen, dass Objekt-Merkmale wie etwa die Anzahl der Regeln und der erforderliche Abstraktionsgrad die kognitive Komplexität bestimmen. Die variierende Komplexität ermöglicht die Prädiktion psychometrischer Eigenschaften durch ein psychometrisches Item Response Theorie (IRT)-Modell. Embretson (2005) konnte ein 2PL-(zwei Parameter logistisches) Modell für die Item-Variablen Schwierigkeit und Diskrimination verifizieren.

Allgemein können die IRT-(oder Rasch-)Modelle in dem Sinne als verwandt zu den genannten Ansätzen gelten, als darin die Aufgaben-Schwierigkeit auf derselben Skala liegt wie die angezielte Fähigkeit. Insbesondere schließt Fischer (1974) in seinem LLTM-(lineares logistisches Test-Modell), explizit ein, dass die Item-Schwierigkeit durch kognitive Operationen determiniert wird.

Borsboom, Mellenbergh & van Heerden (2004) verweisen auf den Kausalitätsaspekt der Validität: "A test is valid for measuring an attribute if variation in the attribute causes variation in the test scores. … That is, there should be at least a hypothesis concerning the causal processes that lie between the attribute variations and the differences in test scores" (S. 1067). Danach ist Validität keine quantitative, methodologisch bestimmte Größe, sondern eine qualitative, substantiell bestimmte Eigenschaft von Testmethoden. Damit wird nicht Anspruch auf optimale, sondern auf valide Messung erhoben. "In conclusion, the present conception of validity is more powerful, simple, and effective than the consensus position in the validity literature" (Borsboom, Mellenbergh, & van Heerden, 2004, S. 1070).

Ganz allgemein kann der Konstituentenansatz auch als Variante einer "Diagnostik als Erklärung" gelten, denn es geht um das Aufstellen und Prüfen von Hypothesen, in diesem Spezialfall über Komponenten kognitiver Leistungen, die beim Lösen von Testaufgaben zur Wirkung kommen und deren Schwierigkeit erklären.

Der Konstituentenansatz

In diesem Kontext stellt der Konstituentenansatz eine weitere Möglichkeit der Konstruktion und Validierung psychologischer Testverfahren auf der Basis vorhandenen Wissens um den Testgegenstand dar, mit dem Ziel, besonders ökonomische, erweiterbare Testsysteme zu konstruieren und zu validieren.

Ganz im Sinne von Borsboom, Mellenbergh & van Heerden (2004) ist der Ansatz ein simpler und inhaltlich-substantiell bestimmter Zugang zur Validität, in dessen Zentrum auch, wie bei Hornke u. a. (2000), Embretson (2005) die Item-Schwierigkeit steht: Wenn auf der Grundlage kognitionspsychologischen Wissens um die Wirkungsweise des Testgegenstands erkannt ist, was die Schwierigkeit einer Testaufgabe ausmacht, dann ist bekannt, welche Art von Leistung die Aufgabe erfasst.

Den kognitionspsychologischen Ausgangspunkt der Testkonstruktion bilden typische Effekte, die aus dem jeweiligen Wissensgebiet bekannt sind, (Stroop-Effekt für selektive Aufmerksamkeit, MR-(Mentale Rotation) Effekte für räumliches Vorstellen usw.). Diesbezüglich werden Validitäts-Hypothesen formuliert, die die Wirkung der entsprechenden Item-Variablen betreffen und empirisch prüfbar sind. Mit dem Konstituenten-Ansatz wird Validität auch im Sinne von Borsboom, Mellenbergh & van Heerden (2004) qualitativ definiert: Qualitativ wird gesagt, was gemessen wird und nicht (quantitativ) in welchen Maße das gemessen wurde, was gemessen werden sollte.

Im Unterschied zu den Zugängen, die ein IRT-Modell einschließen, das die Validität über die Item-Homogenität "absichert", geschieht das beim Konstituentenansatz im Sinne experimentellen Denkens durch ein Zueinander von konstituierenden und modifizierenden Anforderungs-Bedingungen: Kontrolle der modifizierenden, Variation der konstituierenden Test- und Aufgaben-Variablen unter Heranziehen der typischen bekannten Effekte als "Validitäts-Marker".

Dabei wird schon bei der Testkonstruktion berücksichtigt, dass unerwünschte, die Validität verfälschende Einflüsse in beiden Bereichen liegen können. Bei den konstituierenden Bedingungen kann durchaus ein anderer Test-Gegenstand wirksam sein (z. B. Wahrnehmbarkeit statt Vigilanz). Insofern ist diskriminante Validität als Bestandteil des Ansatzes anzusehen. Ferner können innerhalb desselben Gegenstandsbereichs Strategien wirksam sein, die interindividuell unterschiedliche Funktionen der Aufgabenvariablen bewirken. Wir sprechen dann von differentieller Validität.

Modifizierende Variablen, die nicht grundlegend den Testgegenstand bedingen, werden durch die Anwendung der in der experimentellen Methodik angewandten Techniken (Eliminierung, oder Konstant-Halten, Randomisierung oder Balancierung) kontrolliert: Einflüsse etwa der Beschaffenheit des Antwort-Geräts durch Konstant-Halten oder Einflüsse der Item Abfolge durch Randomisierung oder Balancierung.

Das Zueinander von systematischer Variation und Konstant-Halten konstituierender Bedingungen wird durch Versuchspläne umgesetzt. So entstehen Anforderungs-Systeme, die dem Begriff "Testsystem" eher entsprechen als traditionelle Test-Kollektionen. Die Validierung eines solchen Testsystems beginnt damit, es so zu konstruieren, dass das, was gemessen werden soll, gemessen werden kann. Testsysteme, die nach dem Konstituentenansatz konstruiert wurden, erhalten eine neue Validitäts-Komponente, die "Systemvalidität" (Validität eines Tests oder Subsystems in Relation zu anderen). Validiert werden hier Versuchspläne, die Tests und Subtests in Bezug setzen und so die angezielte Leistung zu präzisieren bzw. zu untersetzen gestatten. So ist z. B. eine unzureichende Leistung in einem Gedächtnistest keineswegs von vornherein als Gedächtnisdefizit zu interpretieren. Die Testleistung kann z. B. durch ein Aufmerksamkeitsdefizit verursacht sein.

Berg (1996) konnte ein Testsystem zur Erfassung kognitiver Leistungen entwickeln, dessen Konstruktion und Validierungsprozess auf den Annahmen des Konstituenten-Ansatzes beruht. Dieses Testsystem findet u. a. in der Fahreignungsdiagnostik praktische Anwendung.

Literatur

  • P. B. Baltes: Entwicklungspsychologie der Lebensspanne: Theoretische Leitsätze. In: Psychologische Rundschau. 41, 1990, S. 1–24.
  • M. Berg: Der Konstituentenansatz – ein neues Prinzip psychologischen Testens. In: H. Schuler, U. Funke (Hrsg.): Eignungsdiagnostik in Forschung und Praxis. Beiträge zur Organisationspsychologie. 10, 209–214. Stuttgart: Verlag für Angewandte Psychologie 1991.
  • M. Berg: Der Konstituentenansatz: Ein Weg zur Einzelfallvalidierung differentiell-psychologischer Methoden. In: K. Pawlik (Hrsg.): Bericht über den 39. Kongress der Deutschen Gesellschaft für Psychologie in Hamburg. 1994.
  • S. E. Embretson: Generating Items during testing: Psychometric issues and models. In: Psychometrica. 64, 1999, S. 407–433.
  • L. R. Schmidt: Testing the Limits im Leistungsverhalten: Möglichkeiten und Grenzen. In: E. Duhm (Hrsg.): Praxis der klinischen Psychologie. Band 2, Hogrefe, Göttingen 1971, S. 9–29.

Einzelnachweise

  1. ↑ M. Berg: Der Konstituentenansatz - Ein Weg zu höherer Ergiebigkeit leistungsdignostischer Methoden. In: G. Trost, K. H. Ingenkamp, R. S. Jäger (Hrsg.): Tests und Trends 10, Jahrbuch der pädagogischen Diagnostik. Beltz, Weinheim/ Basel 1993.
  2. ↑ L. R. Schmidt: Testing the Limits im Leistungsverhalten: Empirische Untersuchungen mit Volks und Sonderschülern. In: M. Irle (Hrsg.): Bericht zum 26. Kongress der Gesellschaft für Psychologie. Hogrefe, Göttingen 1969, S. 468, 478.
  3. ↑ M. M. Baltes, T. Kindermann: Die Bedeutung der Plastizität für die klinische Beurteilung des Leistungsverhaltens im Alter. In: D. Bent, H. Coper, S. Kanowski (Hrsg.): Hirnorganische Psychosyndrome im Alter. Vol. 2: Methoden zur Objektivierung pharmakotherapeutischer Wirkung. Springer Verlag, Berlin 1985, S. 171–184.
  4. ↑ J. Guthke, K. H. Wiedl: Dynamisches Testen. Hogrefe, Göttingen 1996.
  5. ↑ M. Berg: Experimentelle Diagnostik – ein Weg zu neuen Verfahren. In: U. Schaarschmidt (Hrsg.): Neue Trends in der Psychodiagnostik. Psychodiagnostisches Zentrum, Berlin 1987, S. 117–125.
  6. ↑ J. Guthke, J. F. Beckmann, K. H. Wiedl: Dynamik im dynamischen Testen. In: Psychologische Rundschau. 54 (4), Hogrefe, Göttingen 2003, S. 225–232.
  7. ↑ J. Guthke: The learning test concept - an alternative to the traditional static intelligence test. In: The German Journal of Psychology. 6, 1982, S. 306–324.
  8. ↑ K. H. Wiedl: Lerntests: Nur Forschungsmittel und Forschungsgegenstand? In: Zeitschrift für Entwicklungspsychologie und Pädagogische Psychologie. 16, 1984, S. 245–281.
  9. ↑ K. J. Klauer: Kriteriumsorientierte Tests. Hogrefe, Göttingen 1987.
  10. ↑ R. Glaser: Instructional technology and the measurement of learning outcomes: Some questions. In: American Psychologist. 18, 1963, S. 519–521.
  11. ↑ R. K. Hambleton: Criterion-referenced testing principles, technical advances, and evaluation guidelines. In: C. Reynolds, T. Gutkin (Hrsg.): Handbook of school psychology. Wiley, New York 1998, S. 409–434.
  12. ↑ L. F. Hornke: Neue Itemformen für computergestütztes Testen. In: H. Schuler, U. Funke (Hrsg.): Eignungsdiagnostik in Forschung und Praxis. Beiträge zur Organisationspsychologie. 10, Verlag für Angewandte Psychologie, Stuttgart 1991, S. 67–70.
  13. ↑ L. F. Hornke, A. Küppers, S. Etzel: Konstruktion und Evaluation eines adaptiven Matrizentests. In: Diagnostica. Vol. 46, No. 4, Hogrefe, Göttingen 2000, S. 182–188.
  14. ↑ S. E. Embretson: A cognitive design system approach to generating valid tests: Application to abstract reasoning. In: Psychological methods. 3, 1998, S. 380–396.
  15. ↑ S. E. Embretson: Measuring Intelligence with Artifical Intelligence: Adaptive Itemgeneration. In: R. J. Sternberg, J. E. Pretz: Cognition & Intelligence: Identifying the Mechanisms of the Mind. Cambridge University Press, New York 2005.
  16. ↑ G. H. Fischer: Einführung in die Theorie psychologischer Tests. Huber, Bern 1974.
  17. ↑ D. Borsboom, G. J. Mellenbergh, J. van Heerden: The Concept of Validity In: Psychological Review. Vol. 111, No 4, 2004, S. 1061–1071.
  18. ↑ H. Westmeyer: Logik der Diagnostik. Kohlhammer, Stuttgart 1972.
  19. ↑ H. Westmeyer: Grundlagen und Rahmenbedingungen der Psychologischen Diagnostik: Wissenschaftstheoretische und erkenntnistheoretische Grundlagen. In: F. Petermann, M. Eid (Hrsg.): Handbuch der Psychologischen Diagnostik. Hogrefe, Göttingen 2006, S. 35–45.
  20. ↑ M. Berg: "Corporal": ein thematisches Testsystem zur Erfassung von Funktionen der Aufmerksamkeit. In: Verhaltensmodifikation und Verhaltensmedizin. 17. Jg., Heft 4, 1996, S. 295–310.
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.