Multipler Fehler 1. Art

Bei der Durchführung eines multiplen Tests sind mehrere Testergebnisse möglich: es wird keine Nullhypothese abgelehnt oder es wird mindestens eine der Nullhypothesen abgelehnt. Im Extremfall werden alle Nullhypothesen abgelehnt. Die übliche Verallgemeinerung des Konzeptes der Fehlerwahrscheinlichkeit 1. Art für einen einzelnen Test auf multiple Tests ist der multiple Fehler 1. Art, der begangen wird, wenn bei mindestens einem Einzeltest eine Nullhypothese fälschlich abgelehnt wird.

Definition: Für einen simultanen Test mehrerer Nullhypothesen heißt das Testergebnis „Mindestens eine Nullhypothese wird fälschlich abgelehnt“ multipler Fehler 1. Art.

Multiple Fehlerwahrscheinlichkeit 1. Art

Definition: Für einen simultanen Test mehrerer Nullhypothesen heißt die Wahrscheinlichkeit, dass ein multipler Fehler 1. Art begangen wird, multiple Fehlerwahrscheinlichkeit 1. Art (engl.: family-wise error rate, FWER) oder versuchsbezogene Irrtumswahrscheinlichkeit (engl.: experimentwise error rate).

Multipler Test zum lokalen Signifikanzniveau

Das einfachste Vorgehen beim multiplen Testen ist, jeden Einzeltest mit demselben vorgegebenen Signifikanzniveau durchzuführen, so dass bei jedem Einzeltest die Fehlerwahrscheinlichkeit 1. Art nach oben beschränkt ist.

Definition: Ein multipler Test, bei dem jeder Einzeltest das Signifikanzniveau ${\displaystyle \alpha \in (0,1)}$ einhält, für den also

${\displaystyle P_{\theta }(\{H_{j}{\text{ wird abgelehnt}}\})\leq \alpha \quad {\text{für alle }}\theta \in \Theta _{j}{\text{ und jedes }}j=1,\dots ,k}$

gilt, heißt multipler Test zum lokalen Signifikanzniveau ${\displaystyle \alpha \in (0,1)}$.

Ein multipler Test zum lokalen Signifikanzniveau ${\displaystyle \alpha }$ kontrolliert zwar die Fehlerwahrscheinlichkeiten 1. Art für jeden Einzeltests, da diese durch ${\displaystyle \alpha }$ nach oben beschränkt werden. Die Wahrscheinlichkeit für die fälschliche Ablehnung einer oder mehrerer der Nullhypothese beim simultanen Testen wird aber nur teilweise kontrolliert. Für einen multiplen Test zum lokalen Signifikanzniveau ${\displaystyle \alpha }$ sind die Wahrscheinlichkeiten ${\displaystyle \mathrm {FWER} _{\theta }}$ nicht durch ${\displaystyle \alpha }$ nach oben beschränkt. Es gilt lediglich die Ungleichung

${\displaystyle \mathrm {FWER} _{\theta }\leq \min\{k\cdot \alpha ,1\}\quad {\text{ für }}\theta \in \Theta \;,}$

die aber für größere ${\displaystyle k}$ nicht zu einer praktikablen Beschränkung führt. Z. B. für ${\displaystyle \alpha =0{,}05}$ wird für ${\displaystyle k\geq 20}$ für die obere Schranke der Wert Eins erreicht. Diese Problematik wird auch mit dem Begriff Alphafehler-Kumulierung bezeichnet und motiviert Verfahren zur Kontrolle des multiplen Fehlers 1. Art.

Test einer Durchschnittshypothese

Zu einer Familie von ${\displaystyle k}$ Nullhypothesen ${\displaystyle H_{1}:\theta \in \Theta _{1},\ldots ,H_{k}\in \Theta _{k}}$ mit ${\displaystyle \Theta _{j}\subset \Theta }$ für ${\displaystyle j=1,\ldots ,k}$ sei

${\displaystyle \Theta _{0}:=\bigcap _{j=1}^{k}\Theta _{j}}$

eine nicht-leere Teilmenge von ${\displaystyle \Theta }$. Dann heißt die Durchschnittshypothese

${\displaystyle H_{0}:\theta \in \Theta _{0}}$

Globalhypothese und die einzelnen Nullhypothesen heißen in diesem Zusammenhang Elementarhypothesen. Die Globalhypothese ${\displaystyle H_{0}}$ ist falsch, wenn mindestens eine der Hypothesen ${\displaystyle H_{1},\ldots ,H_{k}}$ falsch ist. Ein Test der Globalhypothese kann daher durch ${\displaystyle k}$ simultane Tests der Elementarhypothesen erfolgen, wobei ${\displaystyle H_{0}}$ abgelehnt wird, falls mindestens eine der Hypothesen ${\displaystyle H_{1},\ldots ,H_{k}}$ abgelehnt wird.

Definition: Ein simultaner Test der ${\displaystyle k}$ Nullhypothesen ${\displaystyle H_{1}:\theta \in \Theta _{1},\ldots ,H_{k}:\theta \in \Theta _{k}}$ mit ${\displaystyle \Theta _{0}=\Theta _{1}\cap \dots \cap \Theta _{k}\neq \emptyset }$, der zu einem vorgegebenen Signifikanzniveau ${\displaystyle \alpha \in (0,1)}$ die Eigenschaft

${\displaystyle \mathrm {FWER} _{\theta }\leq \alpha \quad {\text{ für alle }}\theta \in \Theta _{0}}$

hat, heißt multipler Test zum globalen Signifikanzniveau α.

Konstruktionsverfahren

Einen multiplen Test zum globalen Signifikanzniveau ${\displaystyle \alpha }$ erhält man regelmäßig nicht dadurch, dass man die einzelnen Tests jeweils zum Niveau ${\displaystyle \alpha }$ durchführt, das es dann zur Alphafehler-Kumulierung kommt, die im Extremfall dazu führt, dass das globale Niveau den Wert ${\displaystyle \min\{1,k\cdot \alpha \}}$ hat.

Das Problem der Alphafehler-Kumulierung hat eine allgemeine Lösung in Form der Bonferroni-Korrektur, die für die Durchführung des einzelnen Tests das Niveau ${\displaystyle \alpha _{\mathrm {lokal} }=\alpha /k}$ vorschreibt, wodurch das globale Niveau ${\displaystyle \alpha }$ garantiert ist.

Unter bestimmten Voraussetzungen Situationen kann die Šidák-Korrektur angewendet werden, die zu einer Verbesserung gegenüber der Bonferroni-Korrektur führt, da das lokale Signifikanzniveau der Einzeltests weniger stark abgesenkt werden muss. Eine Voraussetzung ist die stochastische Unabhängigkeit der Tests, womit gemeint ist, dass die Teststatistiken der einzelnen Tests stochastisch unabhängig sind. Eine alternative Voraussetzung ist, dass die Teststatistiken eine gemeinsame multivariate Normalverteilung besitzen und die Abnahmebereiche Intervalle sind, die symmetrisch zum jeweiligen Erwartungswert sind.

Für einen multiplen Test zum globalen Niveau α ist die multiplen Fehlerwahrscheinlichkeit 1. Art für die Familie von Elementarhypothesen identisch mit der Fehlerwahrscheinlichkeit 1. Art des Tests der Globalhypothese, es gilt also

${\displaystyle P_{\theta }(\{H_{0}{\text{ wird abgelehnt}}\})=\mathrm {FWER} _{\theta }\quad {\text{für alle }}\theta \in \Theta _{0}\,.}$

In Spezialfällen ist das Testen der Durchschnittshypothese auch ohne Verwendung der Einzeltests möglich. Beispiele sind Tests über einen Parametervektor, z. B. das Testen der allgemeinen linearen Hypothese im multiplen linearen Regressionsmodell, die mit einer Teststatistik durchgeführt werden. Diesen Fall bezeichnet man im engeren Sinn nicht als multiples Testen, da es sich um einen Test für die Hypothese eines Parametervektors handelt, er wird allerdings dem Bereich der simultanen Inferenzverfahren zugeordnet.

Schwache und starke Kontrolle der multiplen Fehlerwahrscheinlichkeit 1. Art

Die Reduktion des Test einer Familie von Hypothesen ${\displaystyle H_{1},\dots ,H_{k}}$ auf den Test der Globalhypothese ${\displaystyle H_{0}}$ mit Hilfe einzelner Tests ist eine mögliche Fragestellung, aber nicht die einzige und typische Behandlungsmöglichkeit multipler Tests. Durch die Vorgabe eines globalen Signifikanzniveaus wird die multiple Fehlerwahrscheinlichkeit 1. Art nur eingeschränkt kontrolliert, da die Ungleichung ${\displaystyle \mathrm {FWER} _{\theta }\leq \alpha }$ nur für alle ${\displaystyle \theta \in \Theta _{0}}$ gilt, man spricht daher auch von einer schwachen Kontrolle der multiplen Fehlerwahrscheinlichkeit 1. Art. Im Unterschied dazu liegt eine starke Kontrolle der multiplen Fehlerwahrscheinlichkeit 1. Art vor, falls

${\displaystyle \mathrm {FWER} _{\theta }\leq \alpha \quad {\text{ für alle }}\theta \in \Theta }$

gilt. Für multiple Test bei denen die Globalhypothese nicht von eigenständigem Interesse ist, ist die schwache Kontrolle der multiplen Fehlerwahrscheinlichkeit 1. Art wenig sinnvoll. „Weak control is typically not very meaningful, and so when we refer to control of the FWER, we mean strong control.“

Verfahren zur starken Kontrolle der multiplen Fehlerwahrscheinlichkeit 1. Art

Eine allgemeine Methode, um einen multiplen Test zum multiplen Signifikanzniveau ${\displaystyle \alpha }$ zu erhalten, ist das Bonferroni-Verfahren, das darin besteht, für die Einzeltests die adjustierten Signifikanzniveaus ${\displaystyle \alpha /k}$ vorzugeben. Mit diesem Vorgehen ist eine starke Kontrolle der multiplen Fehlerwahrscheinlichkeit 1. Art gewährleistet. Es gibt zahlreiche Modifikationen und Verfeinerungen für bestimmte Anwendungsfälle oder für den Fall, dass bestimmte zusätzliche Voraussetzungen erfüllt sind.

Für stochastisch unabhängige Tests verlangt die Šidák-Korrektur die adjustierten Signifikanzniveaus ${\displaystyle 1-(1-\alpha )^{1/k}}$, um die starke Kontrolle der multiplen Fehlerwahrscheinlichkeit 1. Art zu gewährleisten.

Das Holm-Verfahren oder Bonferroni-Holm-Verfahren ist eine schrittweise Prozedur, die bei den einzelnen Schritten unterschiedliche Signifikanzniveaus verwendet. Unter der stark einschränkenden Voraussetzung der stochastischen Unabhängigkeit der Teststatistiken ergibt sich mit dem Simes-Hochberg-Verfahren. eine Verbesserung des Bonferroni-Holm-Verfahrens.

Fehlerquote der Ablehnungen

Zu einem bestimmten ${\displaystyle \theta }$ bezeichnet die Zufallsvariable

${\displaystyle \mathrm {FDP} _{\theta }={\begin{cases}{\frac {V(\theta )}{R(\theta )}},&{\text{falls }}R(\theta )>0\\0,&{\text{falls }}R(\theta )=0\end{cases}}}$

die zufällige Fehlerquote der Ablehnungen (englisch: false discovery proportion, FDP). Die Fehlerquote der Ablehnungen ist der Anteil der fälschlich abgelehnten Nullhypothesen an allen abgelehnten Nullhypothesen. Die Zufallsvariable ${\displaystyle \mathrm {FDP} _{\theta }}$ hat eine diskrete Wahrscheinlichkeitsverteilung mit Werten in einer Teilmenge der Menge ${\displaystyle \{0,1/k,\dots ,(k-1)/k,1\}}$.

Erwartete Fehlerquote der Ablehnungen

Der Erwartungswert der Zufallsvariablen ${\displaystyle \mathrm {FDP} _{\theta }}$,

${\displaystyle \mathrm {FDR} _{\theta }=E_{\theta }(\mathrm {FDP} _{\theta }),}$

ist die erwartete Fehlerquote der Ablehnungen (englisch: false discovery rate, FDR).

Die erwartete Fehlerquote der Ablehnungen ist im Fall ${\displaystyle k=1}$ die Wahrscheinlichkeit, die einzige Nullhypothese fälschlich abzulehnen, und damit die Fehlerwahrscheinlichkeit 1. Art. Somit ist die erwartete Fehlerquote der Ablehnungen eine Verallgemeinerung des Konzeptes der Fehlerwahrscheinlichkeit 1. Art für multiple Test.

Die erwartete Fehlerquote der Ablehnungen ist durch die multiple Fehlerwahrscheinlichkeit 1. Art nach oben beschränkt, es gilt also

${\displaystyle \mathrm {FDR} _{\theta }\leq \mathrm {FWER} _{\theta }\quad {\text{für alle }}\theta \in \Theta \;,}$

wobei im Allgemeinen das strikte Ungleichheitszeichen gilt. Die Anforderungen für eine Kontrolle von ${\displaystyle \mathrm {FDR} _{\theta }}$ durch eine Oberschranke sind also im Allgemeinen schwächer als die für die Kontrolle der multiplen Fehlerwahrscheinlichkeit 1. Art. Die Kontrolle der multiplen Fehlerwahrscheinlichkeit erster Art durch ein vorgegebenes Niveau ${\displaystyle \alpha }$ impliziert also die Kontrolle der erwarteten Fehlerquote der Ablehnungen.

Verfahren zur Kontrolle der erwarteten Fehlerquote der Ablehnungen

Eine Methode zur Kontrolle der erwarteten Fehlerquote der Ablehnungen ist das Benjamini-Hochberg-Verfahren, das allerdings die stochastische Unabhängigkeit der p-Werte voraussetzt. Das Benjamini-Yekutieli-Verfahren ist eine Verallgemeinerung für eine bestimmte Art der positiven Abhängigkeit, die den Fall der stochastischen Unabhängigkeit als Grenzfall enthält.

Kohärenz

Die Kohärenz eines multiplen Tests verlangt, dass im Fall ${\displaystyle \Theta _{1}\subset \Theta _{2}}$ aus der Ablehnung von ${\displaystyle H_{2}:\theta \in \Theta _{2}}$ auch die Ablehnung von ${\displaystyle H_{1}:\theta \in \Theta _{1}}$ folgt. „Diese Eigenschaft ist aus logischen Gründen für einen multiplen Test unverzichtbar“. Beispielsweise darf bei einem simultanen Vergleich von drei Mittelwerten ${\displaystyle \mu _{1},\mu _{2},\mu _{3}}$ nicht die Nullhypothese ${\displaystyle H_{12}:\mu _{1}=\mu _{2}}$ abgelehnt werden, aber gleichzeitig die Nullhypothese ${\displaystyle H_{123}:\mu _{1}=\mu _{2}=\mu _{3}}$ nicht abgelehnt werden.

Konsonanz

Die Konsonanz eines multiplen Test bedeutet im Fall einer Familie von drei Hypothesen mit ${\displaystyle \Theta _{1}\subset \Theta _{3}}$ und ${\displaystyle \Theta _{2}\subset \Theta _{3}}$, dass dann, wenn ${\displaystyle H_{3}:\theta \in \Theta _{3}}$ abgelehnt wird, auch mindestens eine der stärkeren Hypothesen ${\displaystyle H_{1}:\theta \in \Theta _{1}}$ und ${\displaystyle H_{2}:\theta \in \Theta _{2}}$ abgelehnt wird. „Diese Eigenschaft ist für einen multiplen Test nur wünschenswert, aber nicht unbedingt erforderlich.“

Beispielsweise sollte bei einem simultanen Vergleich von drei Mittelwerten ${\displaystyle \mu _{1},\mu _{2},\mu _{3}}$ nicht die Konstellation eintreten, dass die Nullhypothese ${\displaystyle H_{123}:\mu _{1}=\mu _{2}=\mu _{3}}$ abgelehnt wird, ${\displaystyle H_{12}:\mu _{1}=\mu _{2}}$ abgelehnt werden, aber gleichzeitig die drei Nullhypothesen ${\displaystyle \mu _{1}=\mu _{2}}$, ${\displaystyle \mu _{1}=\mu _{3}}$ und ${\displaystyle \mu _{2}=\mu _{3}}$ nicht abgelehnt werden.

Abgeschlossenheit

Für bestimmte mehrstufige Testverfahren ist es wichtig, dass die Familie der Hypothesen eine gewisse Abgeschlossenheit hat, diese bedeutet z. B., dass dann, wenn für zwei Hypothesen ${\displaystyle H_{1}:\theta \in \Theta _{1}}$ und ${\displaystyle H_{2}:\theta \in \Theta _{2}}$ die Menge ${\displaystyle \Theta _{1}\cap \Theta _{2}}$ nicht-leer ist, auch die Hypothese ${\displaystyle H:\theta \in \Theta _{1}\cap \Theta _{2}}$ in der Hypothesenfamilie enthalten ist.

Trennschärfe

Es gibt Verallgemeinerungen des Konzeptes der Fehlerwahrscheinlichkeit 2. Art und damit der Konzepte der Trennschärfe oder Macht eines Tests für multiple Tests.