Shannon-Entropie-Rechner
Miss die mittlere Information bzw. Unsicherheit einer Quelle. Füge Text, eine Werteliste, absolute Häufigkeiten oder eine Wahrscheinlichkeitsverteilung ein und erhalte die Shannon-Entropie in Bit, Nat oder Hartley – dazu maximale Entropie, Effizienz, Perplexität und eine vollständige Symbol-Häufigkeitstabelle mit ausgerechneter Formel.
Zuletzt aktualisiert:
Jedes Zeichen (oder Wort) ist ein Symbol; seine Wahrscheinlichkeit ergibt sich daraus, wie oft es vorkommt.
Dezimalzahlen, Brüche (1/4) oder Prozentwerte (25%), getrennt durch Kommas, Leerzeichen oder Zeilenumbrüche. Optionale Labels: A: 0.5
Absolute Zählungen wie 10, 5, 5 oder ein 'Label: Anzahl' pro Zeile.
Werte getrennt durch Kommas, Semikolons, Tabulatoren oder Zeilenumbrüche (oder Leerzeichen, wenn es kein anderes Trennzeichen gibt). Gleiche Werte werden zusammengezählt.
Anleitung: Shannon-Entropie-Rechner
- Wähle die Eingabeart: Text, Wahrscheinlichkeiten, Häufigkeiten oder eine Datenliste.
- Gib deine Daten ein: Füge Text ein oder tippe Werte getrennt durch Kommas oder Zeilenumbrüche (Labels wie
A: 0.5sind optional). - Wähle die Einheit: Bit für Informatik und Kompression, Nat für Mathematik und Physik, Hartley für Rechnungen zur Basis 10.
- Klicke auf „Entropie berechnen“ (die Ergebnisse aktualisieren sich auch beim Tippen).
- Lies die Tabelle: Sieh dir Wahrscheinlichkeit, Informationsgehalt und Anteil an der Gesamtentropie jedes Symbols an und kopiere dann die Ergebnisse oder lade die CSV herunter.
Die Formel der Shannon-Entropie
Für eine Quelle mit Ergebnissen der Wahrscheinlichkeiten p1, p2, …, pn (Summe 1) lautet die Shannon-Entropie
H = −Σ pi · logb(pi)
Die Basis b legt die Einheit fest: b = 2 ergibt Bit, b = e ergibt Nat und b = 10 ergibt Hartley. Jeder Term −p · log p ist der Beitrag eines Symbols; die Größe −log p allein ist sein Informationsgehalt oder die „Überraschung“: Ein Symbol, das in der Hälfte der Fälle vorkommt, trägt 1 Bit, eines, das in 1/8 der Fälle vorkommt, trägt 3 Bit. Ergebnisse mit Wahrscheinlichkeit 0 werden übersprungen, weil p · log p gegen 0 geht, wenn p gegen 0 geht.
Wenn du von Anzahlen ausgehst (oder von einem Text bzw. einer Datenliste), ist jede Wahrscheinlichkeit einfach pi = Anzahli ÷ Gesamt. Das ist der „Plug-in“-Schätzer; bei kleinen Stichproben unterschätzt er die Entropie der zugrunde liegenden Quelle tendenziell leicht.
Referenzwerte
| Quelle | Verteilung | Entropie (Bit) | Entropie (Nat) |
|---|---|---|---|
| Sicheres Ergebnis | 1 | 0 | 0 |
| Gezinkte Münze | 0.9 / 0.1 | 0.469 | 0.325 |
| Faire Münze | 0.5 / 0.5 | 1 | 0.693 |
| Vier Ergebnisse | 1/2, 1/4, 1/8, 1/8 | 1.75 | 1.213 |
| DNA-Base, alle gleich | 4 × 1/4 | 2 | 1.386 |
| Fairer sechsseitiger Würfel | 6 × 1/6 | 2.585 | 1.792 |
| Zufälliger Buchstabe A–Z | 26 × 1/26 | 4.700 | 3.258 |
| Zufällige Ziffer 0–9 | 10 × 1/10 | 3.322 | 2.303 |
| Zufälliges Byte | 256 × 1/256 | 8 | 5.545 |
Tipps zum Lesen der Ergebnisse
- Vergleiche mit dem Maximum. Die Entropie allein hängt davon ab, wie viele Symbole es gibt; mit der normierten Entropie (H ÷ log n) kannst du eine Verteilung mit 4 und eine mit 20 Symbolen auf derselben Skala von 0–1 vergleichen.
- Zeichen oder Wörter? Die Zeichenentropie gewöhnlicher englischer Texte liegt bei dieser Zählweise meist bei etwa 4 bis 4.5 Bit pro Zeichen; auf Wortebene ist die Entropie pro Symbol höher, weil der Wortschatz viel größer ist.
- Groß-/Kleinschreibung und Leerzeichen zählen. Wenn du "A" und "a" als verschiedene Symbole behandelst oder Leerzeichen mitzählst, ändert sich die Verteilung. Wähle die Option, die zu dem passt, was du messen willst.
- Ökologie und Diversität. Der Shannon-Diversitätsindex H′ für Artenzählungen ist dieselbe Formel mit natürlichem Logarithmus, wähle also Nat und gib die Anzahlen pro Art ein. Die Äquität (Pielous J) entspricht der normierten Entropie.
- Gesamtinformation. Entropie pro Symbol × Anzahl der Symbole ergibt den Informationsgehalt nullter Ordnung, eine untere Schranke für die unabhängige Codierung jedes Symbols.
Häufige Fragen
Was ist die Shannon-Entropie?
Die Shannon-Entropie, 1948 von Claude Shannon eingeführt, ist die durchschnittliche Informationsmenge, die eine Zufallsquelle erzeugt. Für Ergebnisse mit den Wahrscheinlichkeiten p1 … pn gilt H = −Σ pi log(pi). Sie ist am höchsten, wenn alle Ergebnisse gleich wahrscheinlich sind, und null, wenn ein Ergebnis sicher ist.
Was ist der Unterschied zwischen Bit, Nat und Hartley?
Es ist dieselbe Größe, gemessen mit einer anderen Logarithmusbasis: Basis 2 ergibt Bit, Basis e (natürlicher Logarithmus) ergibt Nat, und Basis 10 ergibt Hartley (auch Dit oder Ban genannt). 1 Nat ≈ 1.4427 Bit und 1 Hartley ≈ 3.3219 Bit.
Wie wird die Entropie eines Strings berechnet?
Jedes unterschiedliche Zeichen (oder Wort) wird als Symbol behandelt. Seine Wahrscheinlichkeit ist seine Anzahl geteilt durch die Gesamtzahl der Symbole, und diese Wahrscheinlichkeiten gehen in H = −Σ p log₂ p ein. Zum Beispiel hat "hello world" 8 unterschiedliche unter 11 Zeichen und eine Entropie von etwa 2.845 Bit pro Zeichen.
Was ist die maximal mögliche Entropie?
Bei n möglichen Ergebnissen ist die Entropie am größten, wenn jedes Ergebnis die Wahrscheinlichkeit 1/n hat; das ergibt Hmax = log(n). Eine faire Münze hat 1 Bit, ein fairer sechsseitiger Würfel log₂ 6 ≈ 2.585 Bit, und 256 gleich wahrscheinliche Bytewerte ergeben 8 Bit.
Was bedeuten normierte Entropie und Perplexität?
Die normierte Entropie (Effizienz) ist H geteilt durch Hmax, ein Wert von 0 bis 1, der angibt, wie gleichmäßig die Verteilung ist; die Redundanz ist 1 minus diesen Wert. Die Perplexität ist 2 hoch die Entropie in Bit – die Anzahl gleich wahrscheinlicher Möglichkeiten mit derselben Unsicherheit.
Sagt mir die Entropie eines Textes, wie gut er sich komprimieren lässt?
Sie liefert die Grenze nullter Ordnung: die wenigsten Bit pro Symbol, die ein idealer Code bräuchte, wenn jedes Symbol unabhängig mit diesen Häufigkeiten codiert würde. Echte Kompressoren wie ZIP nutzen zusätzlich wiederholte Muster und Kontext und können bei langen Texten daher besser abschneiden, während sehr kurze Eingaben Overhead mit sich bringen.
Ist Zeichenentropie dasselbe wie Passwortstärke?
Nein. Die Entropie der Zeichenhäufigkeiten eines einzelnen Strings ist nicht dasselbe wie die Passwortentropie, die davon abhängt, wie das Passwort gewählt wurde (Größe des Zeichenvorrats und Anzahl der Zufallsziehungen). Nutze sie nur als groben Hinweis auf die Vielfalt.
Werden alle Tools auf FreeToolCabin auf Qualität und Genauigkeit getestet?
Ja. Jedes Tool auf der Website durchläuft automatische Tests in echten Browsern, die prüfen, ob das Ergebnis stimmt und keine Fehler auftreten. Wenn du einen Fehler findest oder einen Vorschlag hast, schreib uns an [email protected] – wir sehen es uns an.