Diskreter Fall

Für zwei diskrete Wahrscheinlichkeitsverteilungen ${\displaystyle P}$ und ${\displaystyle Q}$ mit Wahrscheinlichkeitsfunktionen ${\displaystyle p(x)=P(\{x\})}$ und ${\displaystyle q(x)=Q(\{x\})}$ auf einer Menge ${\displaystyle X}$ ist die KL-Divergenz als

${\displaystyle D(P\|Q)=KL(P,Q)=\sum _{x\in X}p(x)\log \left({p(x) \over q(x)}\right)}$

definiert.

Stetiger Fall

Für zwei stetige Wahrscheinlichkeitsverteilungen ${\displaystyle P}$ und ${\displaystyle Q}$ mit Dichten ${\displaystyle p}$ und ${\displaystyle q}$ ist die KL-Divergenz als

${\displaystyle D(P\|Q)=\int _{-\infty }^{\infty }p(x)\log \left({\frac {p(x)}{q(x)}}\right)\;\mathrm {d} x}$

definiert.

Allgemeiner Fall

Geben ist ein messbarer Raum ${\displaystyle (E,{\mathcal {F}})}$ mit zwei Wahrscheinlichkeitsmaßen ${\displaystyle \mu }$ und ${\displaystyle \nu }$, weiter sei ${\displaystyle \mu }$ absolut stetig bezüglich ${\displaystyle \nu }$. Dann ist die Kullback-Leibler-Divergenz

${\displaystyle H(\mu \mid \nu )=\int _{E}\log \left({\frac {d\mu }{d\nu }}\right)d\mu =\int _{E}{\frac {d\mu }{d\nu }}\log \left({\frac {d\mu }{d\nu }}\right)d\nu }$,

wobei ${\displaystyle {\frac {d\mu }{d\nu }}}$ die Radon-Nikodým-Ableitung von ${\displaystyle \mu }$ bezüglich ${\displaystyle \nu }$ ist.

Erläuterungen

Die Kullback-Leibler-Divergenz gibt aus informationstheoretischer Sicht an, wie viel Platz pro Zeichen im Mittel verschwendet wird, wenn eine auf ${\displaystyle Q}$ basierende Kodierung auf eine Informationsquelle angewendet wird, die der tatsächlichen Verteilung ${\displaystyle P}$ folgt. Somit besteht ein Zusammenhang zur Kanalkapazität. Mathematisch ist dies verträglich mit der Aussage, dass die KL-Divergenz ${\displaystyle \geq 0}$ ist und Gleichheit nur dann gilt, wenn P und Q identisch sind.

Die konkrete Wahl der Basis des Logarithmus in der Berechnung hängt dabei davon ab, in welcher Informationseinheit gerechnet werden soll. In der Praxis gibt man die KL-Divergenz häufig in Bit bzw. Shannon an und verwendet dafür die Basis 2, seltener werden auch Nit (Basis ${\displaystyle e}$) und Ban (Basis 10) gebraucht.

Anstatt der Kullback-Leibler-Divergenz wird auch oft die Kreuzentropie verwendet. Diese liefert qualitativ vergleichbare Werte, kann jedoch ohne die genaue Kenntnis von ${\displaystyle P}$ geschätzt werden. In praktischen Anwendungen ist dies vorteilhaft, da die tatsächliche Hintergrundverteilung der Beobachtungsdaten meist unbekannt ist.

Die Minimierung der Kullback-Leibler-Divergenz ist äquivalent zur Maximierung der Evidence lower bound.

Abgrenzung Distanz

Obwohl die Kullback-Leibler-Divergenz teilweise auch als Kullback-Leibler-Distanz bezeichnet wird, erfüllt sie eine fundamentale Anforderung an Distanzmaße nicht: Sie ist nicht symmetrisch, es gilt also im Allgemeinen ${\displaystyle D(P\|Q)\neq D(Q\|P)}$. Um Symmetrie herzustellen, kann alternativ die Summe der beiden Divergenzen verwendet werden, die offensichtlich symmetrisch ist:

${\displaystyle D_{2}(P\|Q)=D_{2}(Q\|P)=D(P\|Q)+D(Q\|P)}$