Kullback-Leibler-Divergenz

Die Begriffe Kullback-Leibler-Divergenz (kurz KL-Divergenz), Kullback-Leibler-Abstand und relative Entropie bezeichnen ein Maß für die Unterschiedlichkeit zweier Wahrscheinlichkeitsverteilungen. Typischerweise repräsentiert dabei eine der Verteilungen empirische Beobachtungen oder eine präzise Wahrscheinlichkeitsverteilung, während die andere ein Modell oder eine Approximation darstellt.

Weitere geläufige Bezeichnungen für die KL-Divergenz sind auch Kullback-Leibler-Entropie oder Kullback-Leibler-Information, nach Solomon Kullback und Richard Leibler; englisch Information Gain.

Ein Spezialfall der KL-Divergenz ist die Transinformation.