Formen

In elektronischen Formularen und GUIs ist es üblich, Einfachauswahlen mit runden, und Mehrfachauswahlen mit eckigen Boxen darzustellen. Statt eines Kreuzes kann auch ein Haken oder ähnliches gesetzt werden. Alternativ können gerade auf Touchscreens oder im Fernsehen (vgl. Quizsendungen wie Wer wird Millionär?) die gewählten und bei der Auswertung die korrekten und falschen Antworten durch Text- und Hintergrundfarben oder Umrahmungen und andere Stile dargestellt werden.

Um bei der Auswertung zwischen nicht ausgewählten und nicht bearbeiteten Antwortvorgaben unterscheiden zu können, werden mitunter zwei Kästchen pro Frage für „trifft zu“/„ja“ und „trifft nicht zu“/„nein“ verwendet. Damit handelt es sich um eine Gruppe von Entscheidungsfragen mit derselben Fragestellung.

Auf Papierformularen kann ein komplett ausgefülltes Kästchen als Korrektur und damit wie ein nicht angekreuztes gewertet werden. Manche automatische Auswerteverfahren erwarten hingegen ausgefüllte Kästchen statt Kreuze zur Antwortmarkierung.

Die vorgegebenen Antworten können alle überhaupt möglichen Antworten vollständig abdecken oder nur eine Auswahl anbieten. Mitunter wird eine komplette Abdeckung indirekt dadurch erreicht, dass eine Antwort lautet: „keine der anderen Antworten trifft zu“.

Skalen und Matrizen

Wenn die Antwortvarianten verschiedene Grade einer Bewertung darstellen (z. B. „sehr zufrieden“ bis „sehr unzufrieden“), von denen genau eine ausgewählt werden muss, spricht man in der Sozialforschung nicht von Multiple Choice, sondern von einem skalierten Frage-Verfahren.

Da bei MC-Fragen in der Sozialwissenschaft Meinung erforscht und nicht Wissen geprüft wird, gibt es auch häufig als letzte Antwortmöglichkeit „weiß nicht“ oder „keine Angabe“, da Probanden sich oft verpflichtet fühlen, irgendein Kreuz zu setzen.

In speziellen Anwendungen müssen Kreuze in einer Matrix gesetzt werden. So kann man mehr Kombinationsmöglichkeiten realisieren.

Zweistufige Testaufgaben

Im Medizinstudium war bis vor einigen Jahren ein Multiple-Choice-Format gebräuchlich, in dem zunächst verschiedene Aussagen vorgeschlagen werden, von denen eine beliebige Anzahl zutreffen kann. Anschließend folgt die eigentliche Frage, bei der nur eine Antwort die richtige ist.

Mit fünf Antwortmöglichkeiten im Beispiel liegt die Komplexität unwesentlich höher als im Fall einer einzigen richtigen unter den vier Aussagen, aber deutlich niedriger als bei freier Kombinierbarkeit inklusive der Randfälle, dass keine oder alle der Aussagen zutrifft, denn damit gäbe es 16 mögliche Antwortmuster. Selbst bei der Beschränkung darauf, dass genau eine oder zwei Aussagen zutreffen können, gäbe es bereits 10 Muster. Die Reduktion der Komplexität erleichtert also insbesondere die Korrektur und Bewertung. Im Beispiel sind die Antwortmöglichkeiten aufsteigend nach der Anzahl zutreffender Aussagen sortiert, aber dies muss nicht der Fall sein.

SC-Bewertung

Ist genau eine der angebotenen Alternativen richtig, alle anderen falsch, ist der einfachste Weg zu einer gerechten Bewertung, für falsche Kreuze Punktabzug (Malus) anzurechnen: Bei zwei angebotenen Antwortalternativen pro Frage je einen Punkt, bei drei Alternativen einen halben Punkt, bei vier Alternativen einen Drittelpunkt usw. Unbeantwortete Fragen und solche, bei denen mehr als ein Kreuz gesetzt wurde, bleiben ohne Wertung, es wird kein Punkt gegeben und keiner abgezogen. Um dem Probanden stets die Möglichkeit zu geben, Punktabzug für nicht beantwortete Fragen zu vermeiden, sollen immer mindestens zwei Alternativen („trifft zu“ und „trifft nicht zu“) angeboten werden. Aufträge wie „Kreuzen Sie die richtigen Aussagen an“ sind generell zu vermeiden.

Die Berücksichtigung des statistischen Effektes durch dieses Abzugsverfahren ist juristisch angreifbar. Alternativ kann eine rechtssichere Bewertung erzielt werden, indem statt Punktabzug für falsche Antworten ein angepasster Punkteschlüssel mit höherer Bestehensgrenze zur Anwendung kommt. Für den (häufigsten) Fall, dass der Proband für ein Bestehen eine Kenntnis von 50 % des Stoffes nachzuweisen hat, ergibt sich dann folgender korrigierter Punkteschlüssel:

In Folge eines Gerichtsurteils wird jedoch bspw. an nordrhein-westfälischen Hochschulen inzwischen ein fester Notenschlüssel verwendet, der weder die Anzahl der Alternativen noch der richtigen Antworten pro Frage berücksichtigt und davon ausgeht, dass jede Aufgabe bzw. richtige Antwort unabhängig von Schwierigkeit und Komplexität mit gleich vielen Punkten (nämlich einem) bewertet wird. Die Bestehensgrenze liegt üblicherweise bei 60 % der Gesamtpunktzahl, wird aber zwangsweise angehoben werden, wenn sonst die Durchfallquote der Erstteilnehmer an einer Prüfung zu hoch wäre, weil dies als Indikator für eine unangemessen schwierige Prüfung gewertet wird. Um beide Fälle abzudecken, wird der Notenschlüssel fix über den Anteil korrekter Antworten oberhalb der flexiblen Bestehensgrenze definiert. Feiner gestufte Noten wie 1,3 und 2,7 sind nicht festgelegt, werden aber in der Regel linear in das Raster eingefügt, wobei dann die Frage ist, ob die Grenze für x für eine x,0 oder eine x,3 gilt.

MC-Bewertung

Sind bei einer Aufgabe mehrere Antworten richtig, ist wie bei mehreren Einzelfragen mit je zwei Alternativen („trifft [nicht] zu“) zu verfahren und für falsche Kreuze ein Malus von einem Punkt zu geben. Nicht oder doppelt gekreuzte Antworten bleiben ohne Folge.

Es sind daher bei jeder Antwortalternative stets zwei Kästchen vorzusehen. Anschließend werden die Einzelpunkte addiert, negative Summen werden dabei als 0 gewertet.

Um das Gewicht der Aufgabe innerhalb der Gesamtprüfung festzulegen, kann ggf. die erzielte Punktzahl auf die gewünschte Punktzahl der Aufgabe umgerechnet werden. Wenn bspw. wie im gezeigten Beispiel fünf Antwortmöglichkeiten bewertet werden müssen, könnte die Gesamtaufgabe 2 Punkte ab 4 Teilpunkten (also max. ein falsches Kreuz), 1 Punkt für 2–3 Teilpunkte und sonst keinen Punkt bringen.

Multiple Choice in internationalen Vergleichen

Multiple-Choice-Aufgaben werden auch in internationalen Schulleistungsvergleichen wie TIMSS, PIRLS oder PISA eingesetzt. Dabei wird das US-amerikanische Standardformat verwendet, in dem in aller Regel vier bis fünf Antworten vorgegeben werden, von denen genau eine als richtig gewertet wird. Im deutschen Sprachraum aber, wo dieses Aufgabenformat wenig gebräuchlich ist, haben in den ersten PISA-Runden über 10 % der Schüler bei einzelnen Aufgaben mehr als eine Antwort angekreuzt.

Eine kanadische Studie zeigt, dass sich der Vorteil nordamerikanischer Studenten, die aus ihrer Schulzeit her MC-Tests gewohnt sind, auch in studienbegleitenden Prüfungen noch nachweisen lässt.

Weitere Probleme

Multiple-Choice-Tests fördern (partielles) Faktenwissen statt Fachwissen. Die Personen lernen das Verifizieren von Antworten statt des Lösens von Aufgaben. Eine Person, die zuverlässig die richtige Antwort aus fünf möglichen findet, kann trotzdem nicht in der Lage sein, die gestellte Aufgabe zu lösen.
Beispiel: Die Testperson löst die Aufgabe so lange, bis ihre Lösung mit einer der vorgegebenen Lösungen übereinstimmt. Macht die Testperson dabei nicht die Fehler, die die Ersteller der MC-Lösungen absichtlich gemacht haben, um die falschen Antworten zu generieren, kann die Testperson die richtige Lösung herausfinden, ohne die Aufgabe selbst eigenständig lösen zu können.

Ein drittes Problem ist das richtige Verstehen von Aufgabenstellungen, sowohl durch Mehrdeutigkeiten als auch durch fehlende linguistische Fähigkeiten der Testperson. Man testet immer eine Mischung aus Fachwissen und der Beherrschung der Sprache, in der die Aufgabe gestellt wurde, selbst wenn letzteres in der Praxis keine Rolle spielen würde, weil die Aufgabe normalerweise aus dem Kontext und nicht aus einer Aufgabenstellung heraus in der Praxis gestellt wird.

Bei SC-Auswahlantworten können sich die Distraktoren sehr in ihrer Nähe zur richtigen Antwort unterscheiden, manche sind sogar absichtlich offensichtlich falsch, andere nur in einem leicht zu übersehenden Detail falsch. Sie werden aber alle gleich bewertet, während in einer Freitextkorrektur für einige möglicherweise Teilpunkte gegeben würden.

Maßnahmen gegen das Raten

An deutschen und österreichischen Universitäten sind Multiple-Choice-Klausuren sehr verbreitet. Um die Studierenden vom Raten abzuhalten, wird die Bestehensgrenze oberhalb der Zufallswahrscheinlichkeit angesetzt oder ein negatives Punktesystem verwendet oder beides.

Die hier vorgestellten Varianten setzen entweder eine binäre Entscheidung („wahr“ oder „falsch“) oder Einfachauswahl voraus.

absolutes und relatives Verhältnis von Bonus und Malus

Bonus	Malus	Neutral	absolutes Verhältnis	relatives Verhältnis
+1	−1	—	${\displaystyle |B|=|M|}$	${\displaystyle |B|=|M|}$
+1	−1	±0	${\displaystyle |B|=|M|}$	${\displaystyle |B-N|=|M-N|}$
+1	−1	−½	${\displaystyle |B|=|M|}$	${\displaystyle |B-N|>|M-N|}$
+1	−1	−1	${\displaystyle |B|=|M|}$	${\displaystyle |B-N|>|M-N|}$
+1	−1	+½	${\displaystyle |B|=|M|}$	${\displaystyle |B-N|<|M-N|}$
+1	−2	—	${\displaystyle |B|<|M|}$	${\displaystyle |B|<|M|}$
+1	−2	±0	${\displaystyle |B|<|M|}$	${\displaystyle |B-N|<|M-N|}$
+1	−2	−1	${\displaystyle |B|<|M|}$	${\displaystyle |B-N|>|M-N|}$
+1	−½	±0	${\displaystyle |B|>|M|}$	${\displaystyle |B-N|>|M-N|}$
+1	±0	+½	${\displaystyle |B|>|M|}$	${\displaystyle |B-N|=|M-N|}$
+1	±0	±0	${\displaystyle |B|>|M|}$	${\displaystyle |B-N|>|M-N|}$

Im einfachsten und verbreitetsten Verfahren erhält jede Antwort betragsmäßig dieselbe Wertung, allerdings richtige positiv und falsche negativ. Dieses System ist allerdings juristisch umstritten, denn bei dieser Art der Wertung können „Punkte abgezogen werden, die durch eine richtige Antwort erreicht worden sind“. Die Aufgabe einer Prüfung ist es „Aussagen darüber zu gewinnen, welche berufsbezogenen Kenntnisse der Prüfling hat. Einem Bewertungsverfahren, bei dem fehlerfrei erbrachte Prüfungsleistungen als nicht oder schlecht erbracht gewertet werden, weil andere Prüfungsfragen nicht richtig beantwortet worden sind, fehlt diese Eignung.“ (Zitat aus der Urteilsbegründung NRW, 14 A 2154/08).

Alternativen, die die Einfluss testwiseness weiter reduzieren sollen, vergeben eine betraglich höhere negative Wertung für falsche Antworten als positive für richtige Antworten.

Häufig gehen Aufgaben mit Malus schlechtestenfalls mit null Punkten in die Gesamtwertung ein, selbst wenn die Punktesumme eigentlich negativ wäre. So kann der Notenspiegel positiv gehalten werden. Allerdings setzt das eine Aufgabenstellung voraus, in der eine Aufgabe aus mehreren Multiple-Choice-Fragen besteht. Solche Aufgaben werden oft in Prüfungen verwendet, die vorwiegend andere Aufgabentypen enthalten.