Motivation

Der Satz von Bayes verbindet die bedingte Wahrscheinlichkeit (oder bedingte Wahrscheinlichkeitsdichte) eines bestimmten Parameterwerts ${\displaystyle \theta }$ gegeben beobachtete Daten ${\displaystyle D}$ mit der Wahrscheinlichkeit von ${\displaystyle D}$ gegeben ${\displaystyle \theta }$ über die Regel

${\displaystyle p(\theta |D)={\frac {p(D|\theta )p(\theta )}{p(D)}}}$,

wo ${\displaystyle p(\theta |D)}$ die A-posteriori-Wahrscheinlichkeit (auch bekannt als Posterior), ${\displaystyle p(D|\theta )}$ die Likelihood, ${\displaystyle p(\theta )}$ die A-priori-Verteilung von ${\displaystyle \theta }$ (auch bekannt als Prior), und ${\displaystyle p(D)}$ die Evidenz (auch bekannt als Marginal-Likelihood oder Prior-Predictive-Wahrscheinlichkeit) bezeichnen.

Der Prior spiegelt Überzeugungen über ${\displaystyle \theta }$ wider, bevor ${\displaystyle D}$ verfügbar ist, und wird oft spezifiziert, indem eine bestimmte Verteilung aus einer Menge bekannter und handlicher Familien von Verteilungen ausgewählt wird, so dass sowohl die Auswertung des Posterior als auch die Erzeugung von zufälligen ${\displaystyle \theta }$ relativ einfach sind. Für bestimmte Arten von Modellen ist es pragmatischer, den Prior ${\displaystyle p(\theta )}$ anzugeben, indem eine Faktorisierung der gemeinsamen Verteilung aller Elemente von ${\displaystyle \theta }$ verwendet wird über eine Folge ihrer bedingten Verteilungen. Wenn man sich nur für die relativen Posterior-Plausibilitäten verschiedener Werte von ${\displaystyle \theta }$ interessiert, kann die Evidenz ${\displaystyle p(D)}$ ignoriert werden, da er eine Normalisierungskonstant darstellt, welche sich herauskürzt. Dies verwenden zum Beispiel MCMC-Verfahren. Es bleibt jedoch notwendig, die Likelihood ${\displaystyle p(D|\theta )}$ und den Prior ${\displaystyle p(\theta )}$ auszuwerten. Für zahlreiche Anwendungen ist es allerdings rechenintensiv oder sogar unmöglich, die Likelihood auszuwerten, was die Verwendung von ABC zur Umgehung dieses Problems motiviert.

ABC-Rejection-Algorithmus

Alle ABC-basierten Methoden approximieren die Likelihood-Funktion durch Simulationen, deren Ergebnisse mit den beobachteten Daten verglichen werden. Genauer gesagt wird mit dem ABC-Rejection-Algorithmus (dt. ABC-Zurückweisungsalgorithmus) – der grundlegendsten Form von ABC – zuerst eine Menge von Parametern gemäß A-priori-Verteilung gezogen. Gegeben einen zufällig gezogenen Parameter ${\displaystyle {\hat {\theta }}}$, wird dann ein Datensatz ${\displaystyle {\hat {D}}}$ simuliert, unter dem statistischen Modell ${\displaystyle M}$ spezifiziert durch ${\displaystyle {\hat {\theta }}}$. Wenn das erzeugte ${\displaystyle {\hat {D}}}$ zu verschieden von den beobachteten Daten ${\displaystyle D}$ ist, wird der Parameter verworfen. Konkreter wird ${\displaystyle {\hat {D}}}$ mit Toleranz ${\displaystyle \epsilon \geq 0}$ akzeptiert, wenn

${\displaystyle \rho ({\hat {D}},D)\leq \epsilon }$,

wo das Distanzmaß ${\displaystyle \rho ({\hat {D}},D)}$ die Diskrepanz zwischen ${\displaystyle {\hat {D}}}$ und ${\displaystyle D}$ basierend auf einer gegebenen Metrik (z. B. Euklidischer Abstand) quantifiziert. Eine streng positive Toleranz ist (außer in diskreten Räumen) normalerweise notwendig, da die Wahrscheinlichkeit, dass das Simulationsergebnis genau mit den Daten übereinstimmt (Ereignis ${\displaystyle {\hat {D}}=D}$) vernachlässigbar ist für alle außer trivialen Anwendungen von ABC, was in der Praxis zur Zurückweisung fast aller abgetasteten Parameterpunkte führen würde. Das Ergebnis des ABC-Rejection-Algorithmus ist eine Stichprobe von Parameterwerten, die approximativ entsprechend der gewünschten A-posteriori-Verteilung verteilt sind, und, im Wesentlichen, erhalten ohne die explizite Auswertung der Likelihood-Funktion.

Zusammenfassende Statistiken

Die Wahrscheinlichkeit, einen Datensatz ${\displaystyle {\hat {D}}}$ mit einem kleinen Abstand zu ${\displaystyle D}$ zu erzeugen, nimmt typischerweise exponentiell ab, wenn die Dimensionalität der Daten zunimmt. Dies führt zu einer wesentlichen Verringerung der Recheneffizienz des obigen grundlegenden ABC-Rejection-Algorithmus. Ein üblicher Ansatz, um dieses Problem zu verringern, besteht darin, ${\displaystyle D}$ durch einen Satz von geringer-dimensionalen zusammenfassenden Statistiken (engl. Summary Statistics) ${\displaystyle S(D)}$ zu ersetzen, welche ausgewählt werden, die relevanten Informationen in ${\displaystyle D}$ zu erfassen. Das Akzeptanzkriterium im ABC-Zurückweisungsalgorithmus wird ersetzt durch

${\displaystyle \rho (S({\hat {D}}),S(D))\leq \epsilon }$.

Wenn die zusammenfassenden Statistiken in Bezug auf die Modellparameter ${\displaystyle \theta }$ suffizient sind, führt die so erzielte Effizienzsteigerung zu keinem Fehler. Definitionsgemäß bedeutet Suffizienz, dass alle Informationen in ${\displaystyle D}$ über ${\displaystyle \theta }$ von ${\displaystyle S(D)}$ erfasst werden.

Typischerweise ist es außerhalb der Exponentialfamilie von Verteilungen unmöglich, einen endlichen dimensionalen Satz von ausreichenden Statistiken zu identifizieren. Dennoch werden informative, aber möglicherweise unzureichende Zusammenfassungsstatistiken häufig in Anwendungen verwendet, in denen Inferenz mit ABC-Methoden durchgeführt wird. Somit gibt es zwei Quellen für Approximationefehler bei der Verwendung von ABC zum Sampling von der A-posteriori-Verteilung: Durch den Akzeptanz-Toleranz-Parameter ${\displaystyle \epsilon }$ und durch die zusammenfassenden Statistiken ${\displaystyle S(D)}$.

ABC-MCMC- und ABC-SMC-Algorithmus

Ein Nachteil des ABC-Rejection-Algorithmus ist, dass Parameterwerte direkt aus der A-priori-Verteilung gezogen werden. Sind zum Beispiel die Daten informativ, wird die A-posteriori-Verteilung deutlich konzentrierter sein, so dass viele simulierte Daten nicht gut mit den beobachteten Daten übereinstimmen, mithin wird die Akzeptanzrate gering sein. Daher ist es sinnvoll, die Parameter von einer Verteilung zu ziehen, welche (adaptiv) näher an der A-posteriori-Verteilung ist. Hierzu gibt es im Wesentlichen zwei Wege: Über einen Markov-Chain-Monte-Carlo-Algorithmus (MCMC) oder einen Sequential-Monte-Carlo-Algorithmus (SMC). Beide haben ihre jeweiligen Stärken, im ABC-Kontext hat sich SMC stärker etabliert, da dieses Schema gut zu parallelisieren ist und eine adaptive Verringerung des Akzeptanz-Toleranz-Parameters ${\displaystyle \epsilon }$ ermöglicht. Eine Übersicht der Algorithmen findet sich in Beaumont (2010).