Gruppierter Brier-Score

Der Gruppierte Brier-Score ist wie folgt definiert

Formel 1: ${\displaystyle \mathrm {Brier} _{\mathrm {gruppiert} }={\frac {1}{g}}\sum _{i=1}^{g}(PD_{i,\mathrm {prog} }-PD_{i,\mathrm {tat} })^{2}}$

mit ${\displaystyle PD_{i,\mathrm {prog/tat} }}$ für Ratingklasse i prognostizierte / realisierte Ausfallrate,

g: Anzahl der Ratingklassen

Anmerkung: Eine naheliegende Alternative zur Gleichgewichtung der ratingklassenspezifischen quadrierten Differenzen der prognostizierten und realisierten Ausfallquoten bei der Ermittlung des Scores besteht in der Berücksichtigung der relativen Belegungsstärken der einzelnen Ratingklassen:

Formel 1b: ${\displaystyle \mathrm {Brier} _{\mathrm {gruppiert} }'=\sum _{i=1}^{g}a_{i}(PD_{i,\mathrm {prog} }-PD_{i,\mathrm {tat} })^{2}}$

mit a_i: Anteil der Unternehmen in Ratingklasse i an allen Unternehmen

Trotz des ähnlichen Aufbaus unterscheiden sich der gruppierte Brier-Score und der Brier-Score, der im Folgenden vorgestellt wird, grundlegend. Im Gegensatz zum Brier-Score (siehe unten) wird der gruppierte Brier-Score nur von der Güte der Kalibrierung eines Ratingverfahrens beeinflusst – nicht jedoch von allen anderen Kriterien kardinaler Schätzgütemaße.

Rommelfanger-Index

Der Rommelfanger-Index ist wie folgt definiert:

Formel 2: ${\displaystyle F=\sum _{i=1}^{g}\Delta _{i}{\frac {a_{i}+{\hat {a}}_{i}}{2}}f_{i}}$

mit ${\displaystyle \Delta _{i}=\max(0;PD_{i,\mathrm {tat} }-PD_{i,\mathrm {prog} })}$ für i=1 … g-1, bzw. ${\displaystyle \Delta _{i}=\max(0;PD_{i,\mathrm {prog} }-PD_{i,\mathrm {tat} })}$ für i=g,

${\displaystyle a_{i},{\hat {a}}_{i}}$: relatives Volumen aller Kredite in der Validierungs-/ Lernstichprobe,

${\displaystyle f_{i}}$: „geeignetes Gewicht“

Anmerkung: Es wird keine Aussage darüber getroffen, wie die „geeigneten Gewichte“ beschaffen sein müssen. Weitere Kritikpunkte an dieser Kenngröße, neben der ausschließlichen Fokussierung auf den Aspekt der Kalibrierung, sind die Abhängigkeit von irrelevanten Größen (Struktur der Lernstichprobe) und die Setzung von Anreizen zu systematischen Fehlprognose: da in den Klassen 1 … g-1 nur zu hohe und in der Klasse g nur zu niedrige Ausfallwahrscheinlichkeiten „bestraft“ werden, besteht ein Anreiz, alle Prognosen systematisch zu hoch (Ratingklasse 1 … g-1) bzw. zu niedrig (Ratingklasse g) anzusetzen.

Weitere Kennzahlen zur Messung der Kalibrierung von Insolvenzprognosen

Weitere Kenngrößen, die ausschließlich die Korrektheit der Kalibrierung einzelner oder aller Ratingklassen überprüfen, sind Teststatistiken des Binomialtests, des χ²-Tests oder des Normalverteilungstests.

Grundlegender Aufbau universeller Schätzgütemaße für kardinale Insolvenzprognosen

Die beiden im Folgenden vorgestellten Präzisionsmaße kardinaler Insolvenzprognosen basieren auf einem einheitlichen Grundprinzip: sie vergleichen die individuellen prognostizierten Ausfallwahrscheinlichkeiten ${\displaystyle PD_{i,\mathrm {prog} }}$ mit den realisierten Ausfallergebnissen ${\displaystyle \Theta _{i}}$ (mit ${\displaystyle \Theta _{i}=1/\Theta _{i}=0}$ falls Schuldner i ausgefallen/ nicht ausgefallen ist) und belegen die dabei auftretenden Differenzen mit unterschiedlichen „Strafen“. Auf diese Weise werden sie von allen der oben aufgeführten fundamentalen Kriterien für die Bewertung von Ausfallprognosen beeinflusst – und nicht nur von einzelnen dieser Maße.

Im Gegensatz zu kategorialen Insolvenzprognosenverfahren, die nur die Extremprognosen „Ausfall“ vs. „Nichtausfall“ erlauben, ist bei stochastischen Ausfallprognosen (kardinalen Ausfallprognosen) zunächst fraglich, warum Abweichungen der individuellen Prognosen (Ausfallwahrscheinlichkeiten) und Ausfallrealisierung als Fehler „bestraft“ werden sollten. Schließlich können die Prognosen beliebige Werte zwischen 0 % und 100 % annehmen, während die Ausfallrealisierungen nur die Extremenwerte 1 („Ausfall“) oder 0 („Nichtausfall“) annehmen können. Selbst wenn die prognostizierten Ausfallwahrscheinlichkeiten „richtig“ sind, d. h. korrekt kalibriert sind, wenn also beispielsweise 5 % aller Unternehmen ausfallen, bei denen das Verfahren eine Ausfallwahrscheinlichkeit von 5 % vorhergesagt hat und 10 % aller Unternehmen ausfallen, bei denen das Verfahren eine Ausfallwahrscheinlichkeit von 10 % vorhergesagt hat usw., werden die Verfahren „bestraft“, d. h. erhalten nicht die bestmögliche Ausprägung. „Bestraft“ wird in diesen Fällen jedoch die nicht perfekte Trennschärfe der Verfahren: ein Verfahren, das bei allen deutschen Unternehmen im Jahr 2003 eine Insolvenzwahrscheinlichkeit von 1,35 % vorausgesagt hätte, wäre zwar perfekt kalibriert gewesen, hätte aber eine hohe „Strafe“ für seine nicht-trennscharfen Prognosen erhalten. Ein Verfahren hingegen, das bei 1,35 % dieser Unternehmen eine Insolvenzwahrscheinlichkeit von 100 % und bei den restlichen 98,65 % eine Ausfallwahrscheinlichkeit von 0 % vorhergesagt und mit diesen Prognosen auch immer recht gehabt hätte, hätte die bestmögliche Bewertung erhalten.

Zwei übliche Präzisionsmaße für die Bewertung kardinaler Insolvenzprognosen, die sich nur hinsichtlich der konkreten Ausprägung ihrer „Straffunktionen“ unterscheiden, sind die bedingte Informationsentropie und der Brier-Score.

Bedingte Informationsentropie

Die bedingte Informationsentropie (CIE, conditional information entropy) basiert auf einer logarithmischen „Straffunktion“. Die Entropie stellt ein aus der Thermodynamik entlehntes Konzept dar, welches das Ausmaß an Unordnung eines Systems messen soll. Im Kontext von Insolvenzprognosen soll die bedingte Informationsentropie das Ausmaß an Unsicherheit quantifizieren, das mit der mit einem Ratingmodell ermittelten Ausfallwahrscheinlichkeitenverteilung eines Portfolios von Unternehmen verbunden ist.

Formel 3: ${\displaystyle CIE=-{\frac {1}{n}}\sum _{i=1}^{n}\ln(|PD_{i,\mathrm {prog} }+\Theta _{i}-1|)}$

mit n: Anzahl der Schuldner

Anmerkung: nicht definiert ist CIE nur für die Fälle, in denen ein Ausfall eintritt, obwohl er mit Sicherheit ausgeschlossen wurde (${\displaystyle \Theta _{i}=1}$ und ${\displaystyle PD_{i,\mathrm {prog} }=0}$) oder in denen kein Ausfall eintritt, obwohl er mit Sicherheit prognostiziert wurde (${\displaystyle \Theta _{i}=0}$ und ${\displaystyle PD_{i,\mathrm {prog} }=1}$).

Formel 4: ${\displaystyle E(CIE)=-{\frac {1}{n}}\sum _{i=1}^{n}PD_{i,\mathrm {tat} }\cdot \ln PD_{i,\mathrm {prog} }+(1-PD_{i,\mathrm {tat} })\cdot \ln(1-PD_{i,\mathrm {prog} })}$

im Fall von g diskreten Ratingklassen ergibt sich:

Formel 4b: ${\displaystyle E(CIE)=-\sum _{i=1}^{g}a_{i}\cdot {\Big (}PD_{i,\mathrm {tat} }\cdot \ln PD_{i,\mathrm {prog} }+(1-PD_{i,\mathrm {tat} })\cdot \ln(1-PD_{i,\mathrm {prog} }){\Big )}}$

mit ${\displaystyle a_{i}}$ Anteil der Unternehmen in Ratingklasse i an allen Unternehmen

Formel 5: ${\displaystyle \mathrm {Skill} _{CIE}\equiv CIER={\frac {CIE_{PD}-CIE}{CIE_{PD}}}}$

Formel 6: ${\displaystyle CIE_{PD}=-{\Big (}PD\cdot \ln PD+(1-PD)\cdot \ln(1-PD){\Big )}}$

mit CIER: conditional information ratio

und ${\displaystyle CIE_{PD}}$: CIE-Wert einer „naiven“ Referenzprognose, die stets die Wahrscheinlichkeit PD prognostiziert

Anmerkung: Der Term ${\displaystyle CIE_{PD}-CIE}$ wird auch als Kullback-Leibler-Distanz oder Wealth-Growth-Rate-Pickup bezeichnet. Der Term CIER entspricht der für die Messung der Anpassungsgüte von logistischen Regressionsschätzungen üblicherweise verwendeten Kenngröße McFadden’s-r².

Brier-Score

Im Gegensatz zur bedingten Informationsentropie (CIE) basiert der Brier-Score auf einer quadratischen Funktion, mit der Abweichungen der prognostizierten Ausfallwahrscheinlichkeiten von den Ausfallrealisationen „bestraft“ werden. Er ist wie folgt definiert:

Formel 7: ${\displaystyle BS={\frac {1}{n}}\sum _{i=1}^{n}(PD_{i,\mathrm {prog} }-\Theta _{i})^{2}}$

Formel 8: ${\displaystyle E(BS)={\frac {1}{n}}\sum _{i=1}^{n}PD_{i,\mathrm {tat} }\cdot (1-PD_{i,\mathrm {prog} })^{2}+(1-PD_{i,\mathrm {tat} })\cdot PD_{i,\mathrm {prog} }^{2}}$

im Fall von g diskreten Ratingklassen entspricht dies:

Formel 8b: ${\displaystyle E(BS)=\sum _{i=1}^{g}a_{i}\cdot {\Big (}PD_{i,\mathrm {tat} }\cdot (1-PD_{i,prog})^{2}+(1-PD_{i,\mathrm {tat} })\cdot PD_{i,\mathrm {prog} }^{2}{\Big )}}$

Formel 9: ${\displaystyle \mathrm {Skill} _{BS}={\frac {BS_{\mathrm {naiv} }-BS}{BS_{\mathrm {naiv} }}}}$ mit

Formel 10: ${\displaystyle BS_{\mathrm {naiv} }=PD\cdot (1-PD)^{2}+(1-PD)\cdot PD^{2}=PD\cdot (1-PD)}$

Anmerkung: In der im Kontext von Regressionsanalysen verwendeten Notation entspricht BS_naiv der mit n dividierten Summe der absoluten Variation der zu erklärenden Variable bzw. der totalen Quadratsumme (TSS). Somit gilt Skill_BS = (TSS – RSS)/ TSS (mit RSS: Residuenquadratsumme). Somit gilt Skill_BS = r², mit r²: Bestimmtheitsmaß ("Regression-r²") und r² = ESS/TSS und ESS=TSS-RSS.

Die „Straffunktionen“ der bedingten Informationsentropie und des Brier-Scores sind als willkürlich in dem Sinne anzusehen, als dass sie nicht Bezug auf die letztendlich interessierenden (und möglicherweise differierenden) Nutzengrößen der Anwender des Prognoseverfahrens nehmen. Die Kenngrößen zeigen jedoch ein „plausibles“ Verhalten, so dass eine Korrelation mit den Nutzengrößen der potentiellen Anwender der Prognosen zumindest vermutet werden kann: Beide Scores „belohnen“ richtig kalibrierte und trennfähige Prognosen – und durch Umformungen der resultierenden Scorewerte lassen sich auch Bezüge zu den anderen Gütekriterien für kardinale Insolvenzprognosen, wie Auflösung, Feinheit, systematische Verzerrung, herstellen.

Umweltabhängigkeit kardinaler Schätzgütemaße

Aus der in obiger Abbildung dargestellten Dekomposition des Brier-Scores wird jedoch eine problematische Eigenschaft des Brier-Scores (und anderer kardinaler Gütemaße) ersichtlich: die Abhängigkeit von der durchschnittlichen Ausfallrate der Grundgesamtheit. Je größer die Varianz der Umgebung (PD·(1-PD)) ist, desto größer (=schlechter) ist der Brier-Score, den ein Verfahren in der jeweiligen Umgebung erzielt. Um diese unerwünschte Umweltabhängigkeit kardinaler Gütemaße zu vermeiden, wird die Verwendung von Skillmaßen vorgeschlagen, die den ermittelten Gütewert in Relation zur Güte von naiven Prognosen in der gleichen Umgebung betrachten.

Unerwünscht ist diese Abhängigkeit, weil sie den Performancevergleich unterschiedlicher Verfahren beeinträchtigt, wenn die Leistungsfähigkeit der Verfahren auf Grundgesamtheiten mit unterschiedlichen durchschnittlichen Ausfallhäufigkeiten gemessen werden. Empirisch und (modell-)theoretisch lässt sich jedoch zeigen, dass auch Skill-Scores umweltabhängig sind – während der Brier-Score (für PD_i<50 %) mit zunehmenden Ausfallwahrscheinlichkeiten immer „schlechter“ wird, werden die zugehörigen Skillscores aber paradoxerweise immer „besser“. Schätzgütemaße für ordinale Insolvenzprognosen weisen diesen Nachteil nicht auf.

Vereinzelt werden obige Gütemaße auch unter der Fiktion einer richtigen Kalibrierung verwendet, d. h. ex-post wird PD_i,prog = PD_i,tat für alle i gesetzt. Die Formeln 4b und 8b vereinfachen sich dann zu:

Formel 4c: ${\displaystyle CIE_{\mathrm {kalibriert} }=-\sum _{i=1}^{g}a_{i}\cdot {\Big (}PD_{i}\cdot \ln PD_{i}+(1-PD_{i})\cdot \ln(1-PD_{i}){\Big )}}$

Formel 8c: ${\displaystyle BS_{\mathrm {kalibriert} }=\sum _{i=1}^{g}a_{i}\cdot {\Big (}PD_{i}\cdot (1-PD_{i})^{2}+(1-PD_{i})\cdot PD^{2}{\Big )}}$

Formel 8d:${\displaystyle BS_{\mathrm {kalibriert} }=\sum _{i=1}^{g}a_{i}\cdot PD_{i}\cdot (1-PD_{i})}$

Die so erhaltenen Gütemaße sind dann unempfindlich gegenüber möglichen Fehlkalibrierungen (oder gar fehlenden Kalibrierungen, wie im Fall ordinaler Insolvenzprognosen) – der mittlere Term („Kalibrierung“) in obiger Abbildung entfällt – und sie messen somit lediglich die Varianz der Umwelt und die Auflösung der Prognosen. Für portfolioübergreifende Vergleich sind sie aber aufgrund der Abhängigkeit von der durchschnittlichen Ausfallrate ungeeignet. Beim Vergleich verschiedener Prognoseverfahren auf Basis identischer Portfolios sind sie zwar nicht informativer als die üblichen Schätzgütemaße für ordinale Insolvenzprognosen wie Area under the ROC curve und Accuracy Ratio, sie können aber als zusätzliches Kriterium herangezogen werden, speziell im Fall von einander schneidenden ROC-Kurven. Deuten beim direkten Vergleich zweier Prognoseverfahren alle Indikatoren auf die Überlegenheit des gleichen Verfahrens, so wird der Entscheidungsträger – wenn er sich für dieses Verfahren entscheidet, in seiner Sicherheit bestärkt, das richtige Verfahren gewählt zu haben. Geben die verschiedenen Indikatoren widersprüchliche Signale, ist anzunehmen, dass der Entscheidungsträger zumindest keinen „großen Fehler“ macht, wenn er sich für ein beliebiges der beiden Verfahren entscheidet. Alternativ kann er dann auch sekundäre Entscheidungskriterien heranziehen wie die Kosten der Prognoseerstellung oder die Transparenz und Nachvollziehbarkeit der Prognoseverfahren.