Nullhypothese und Alternative

Gegeben ist ein (nicht notwendigerweise parametrisches) statistisches Modell ${\displaystyle (X,{\mathcal {A}},(P_{\vartheta })_{\vartheta \in \Theta })}$. Dabei formalisiert ${\displaystyle X}$ die Werte, welche die Daten annehmen können, ${\displaystyle {\mathcal {A}}}$ ist eine σ-Algebra, die beschreibt, welchen Teilmengen von ${\displaystyle X}$ eine Wahrscheinlichkeit zugeordnet wird. ${\displaystyle (P_{\vartheta })_{\vartheta \in \Theta }}$ ist eine Familie von Wahrscheinlichkeitsmaßen. Die Indexmenge ${\displaystyle \Theta }$ wird dann disjunkt in zwei Mengen ${\displaystyle \Theta _{0}}$ und ${\displaystyle \Theta _{1}}$ zerlegt. Dabei bedeutet

• ${\displaystyle \Theta _{0}}$ die Nullhypothese und steht für die Menge aller günstigen Testfälle
• ${\displaystyle \Theta _{1}}$ die Alternativhypothese oder kurz Alternative und vereint alle ungünstigen Testfälle.

Die zentrale Frage der Testtheorie lautet nun: Angenommen, es liegt irgendeine unbekannte Wahrscheinlichkeitsverteilung ${\displaystyle P_{\vartheta }}$ mit ${\displaystyle \vartheta \in \Theta }$ vor und Daten ${\displaystyle x\in X}$ sind gegeben. Wie kann man eine möglichst gute Aussage darüber treffen, ob ${\displaystyle \vartheta \in \Theta _{0}}$ ist oder ${\displaystyle \vartheta \in \Theta _{1}}$ ist?

Zu beachten ist, dass sich die Rolle der Nullhypothese und die der Alternative auch umkehren kann, wenn sich die Fragestellung ändert.

Statistischer Test

Der statistische Test formalisiert die zu treffende Entscheidung. Dabei wird 0="Annahme der Nullhypothese" und 1="Annahme der Alternative" gesetzt. Werte zwischen 0 und 1 entsprechen dann der Wahrscheinlichkeit, sich für die Alternative zu entscheiden. Mathematisch ist ein Test eine messbare Funktion

${\displaystyle \Phi$ :(X,{\mathcal {A}})\to ([0,1],{\mathcal {B}}|_{[0,1]})}

die bei Vorliegen der Daten ${\displaystyle x}$ eine Entscheidung ${\displaystyle \Phi (x)}$ liefert. Man spricht dann auch von einem Test von ${\displaystyle \Theta _{0}}$ gegen ${\displaystyle \Theta _{1}}$. Die Menge

${\displaystyle \{x\in X\,\mid \,\Phi (x)=1\}}$

heißt der Ablehnungsbereich des Tests und enthält alle Daten, bei deren Vorliegen man sich für die Alternative entscheidet.

Ein Test heißt ein nichtrandomisierter Test, wenn ${\displaystyle \Phi (x)\in \{0,1\}\quad \mathrm {f{\ddot {u}}r\;\;alle\;\;} x\in X}$. Ansonsten heißt der Test ein randomisierter Test. Nichtrandomisierte Tests liefern also immer eine eindeutige Entscheidung.

Fehler 1. und 2. Art

Ist ein ${\displaystyle \vartheta \in \Theta }$ gegeben, so kann man auf zwei verschiedene Arten einen Fehler begehen. Als Fehler 1. Art bezeichnet man die Entscheidung für ${\displaystyle \Theta _{1}}$, obwohl ${\displaystyle \vartheta \in \Theta _{0}}$ ist. Mit Rückgriff auf die Notation der bedingten Wahrscheinlichkeit ist dann

${\displaystyle \alpha =P(\mathrm {Entscheidung\;\;f{\ddot {u}}r\;\;} \Theta _{1}\mid \vartheta \in \Theta _{0})}$

die Wahrscheinlichkeit für einen Fehler 1. Art. Analog spricht man von einem Fehler 2. Art, wenn man sich für ${\displaystyle \Theta _{0}}$ entscheidet, aber ${\displaystyle \vartheta \in \Theta _{1}}$ ist. Die Wahrscheinlichkeit für einen Fehler 2. Art ist somit

${\displaystyle \beta =P(\mathrm {Entscheidung\;\;f{\ddot {u}}r\;\;} \Theta _{0}\mid \vartheta \in \Theta _{1})}$

Gütefunktion, Niveau und Trennschärfe

Für einen vorliegenden Test heißt die Funktion

${\displaystyle G_{\Phi }(\vartheta )=\operatorname {E} _{\vartheta }(\Phi )}$

die Gütefunktion des Tests. Dabei bezeichnet ${\displaystyle \operatorname {E} _{\vartheta }}$ den Erwartungswert bezüglich des Wahrscheinlichkeitsmaßes ${\displaystyle P_{\vartheta }}$.

Ist ein ${\displaystyle \alpha \in [0,1]}$ gegeben, so dass

${\displaystyle G_{\Phi }(\vartheta )\leq \alpha \quad \mathrm {f{\ddot {u}}r\;alle\;} \vartheta \in \Theta _{0}}$,

so nennt man ${\displaystyle \alpha }$ das Niveau des Tests. Gilt sogar

${\displaystyle \sup _{\vartheta \in \Theta _{0}}G_{\Phi }(\vartheta )=\alpha }$,

so heißt ${\displaystyle \alpha }$ das effektive Niveau des Tests. Das effektive Niveau des Tests ist somit eine obere Schranke für einen Fehler 1. Art.

Für ein ${\displaystyle \vartheta \in \Theta _{1}}$ heißt ${\displaystyle G_{\Phi }(\vartheta )}$ die Trennschärfe des Tests an der Stelle ${\displaystyle \vartheta }$. Sie entspricht der Wahrscheinlichkeit, einen Fehler 2. Art nicht zu machen, wenn der Parameter ${\displaystyle \vartheta }$ vorliegt.

Gleichmäßig beste Tests

Ein gleichmäßig bester Test ist ein Test, dessen Trennschärfe immer größer als die aller anderen Tests zu einem vorgegebenen Niveau. Somit ist die Wahrscheinlichkeit für einen Fehler 2. Art bei gleichmäßig besten Tests immer kleiner als für einen beliebigen weiteren Test.

Zentrale Existenzaussage für gleichmäßig beste Tests ist das Neyman-Pearson-Lemma. Es besagt, dass der Neyman-Pearson-Test ein gleichmäßig bester Test ist. Dieses Resultat kann unter geeigneten Voraussetzungen (z. B. bei monotonen Dichtequotienten) auf allgemeinere Testprobleme ausgeweitet werden.

Maximin-Tests

Maximin-Tests sind Tests, bei denen die Worst-Case-Wahrscheinlichkeit für einen Fehler 2. Art kleiner ist als bei allen anderen Tests zu einem vorgegebenen Niveau. Großer Vorteil von Maximin-Tests ist, dass sie unter weitaus allgemeineren Voraussetzungen existieren als gleichmäßig beste Tests.

Strenge Tests

Strenge Tests sind Tests, bei denen die maximale Abweichung der Trennschärfe von der Trennschärfe des lokal besten Tests (bzw. der envelope power function) kleiner ist als bei allen anderen Tests zum vorgegebenen Niveau. Wie auch Maximin-Tests existieren strenge Tests bereits unter schwachen Voraussetzungen.