Entropie (Informationstheorie)

Entropie (nach dem Kunstwort ἐντροπία) ist in der Informationstheorie:

• einfach gesagt: die durchschnittliche Anzahl von Entscheidungen (bits), die benötigt werden, um ein Zeichen aus einer Zeichenmenge zu identifizieren oder zu isolieren,
• anders gesagt: ein Maß, welches für eine Nachrichtenquelle den mittleren Informationsgehalt ausgegebener Nachrichten angibt.

Der Begriff ist eng verwandt mit der Entropie in der Thermodynamik und statistischen Mechanik.

Das informationstheoretische Verständnis des Begriffes Entropie geht auf Claude E. Shannon zurück und existiert seit etwa 1948. In diesem Jahr veröffentlichte Shannon seine fundamentale Arbeit A Mathematical Theory of Communication und prägte damit die moderne Informationstheorie.

Die Entropie wird üblicherweise mit einem großen Eta (${\displaystyle \mathrm {H} }$) bezeichnet.