Shannon Entropierechner
Berechnen Sie die Shannon-Entropie und den Informationsgehalt einer beliebigen Textzeichenfolge.
So verwenden Sie den Shannon-Entropierechner
- Geben oder fügen Sie einen beliebigen Text in das Eingabefeld ein.
- Klicken Sie auf Berechnen – die Entropie in Bits pro Symbol, die Gesamtinformationen in Bits, die maximale Entropie und die Redundanz werden angezeigt.
- Sehen Sie sich die Zeichenhäufigkeitstabelle an, um die Wahrscheinlichkeit und den individuellen Informationsgehalt jedes Symbols zu sehen.
- Vergleichen Sie die Entropiewerte verschiedener Texte, um deren relative Zufälligkeit und Komprimierbarkeit zu verstehen.
Schnellreferenz
| Von | Nach |
|---|---|
| aaaaaaa (7 identische Zeichen) | 0,000 Bit/Symbol |
| abababab (2 Zeichen) | 1.000 Bit/Symbol |
| abcdefgh (8 eindeutige Zeichen) | 3.000 Bit/Symbol |
| Englischer Text (typisch) | ~4,0–4,5 Bit/Symbol |
| Zufälliges ASCII (95 Zeichen) | ~6,57 Bit/Symbol |
| Zufällige Bytes (256 Werte) | 8.000 Bit/Symbol |
Anwendungsfälle
- •Abschätzen der Komprimierbarkeit eines Textes vor der Anwendung eines verlustfreien Komprimierungsalgorithmus.
- •Analyse der Zufälligkeit von Passwörtern, Schlüsseln oder kryptografischen Daten.
- •Studium informationstheoretischer Konzepte in Informatik- und Kommunikationskursen.
- •Vergleich der Informationsdichte verschiedener Sprachen oder Schreibstile.
Formel
Die Shannon-Entropie H wird wie folgt berechnet: H = −Σ p(x) · log₂(p(x)), wobei p(x) die Wahrscheinlichkeit jedes eindeutigen Symbols x in der Zeichenfolge ist. Das Ergebnis wird in Bits pro Symbol ausgedrückt. Die maximale Entropie für ein Alphabet der Größe n beträgt log₂(n) Bits. Redundanz = 1 − H / H_max. Gesamtinformation = H × Stringlänge (Bits).
Häufig gestellte Fragen
Was ist Shannon-Entropie?
Die Shannon-Entropie, die 1948 von Claude Shannon eingeführt wurde, misst die durchschnittliche Informationsmenge (oder Unsicherheit) in einer Datenquelle. Ein String mit hoher Entropie ist zufälliger und weniger komprimierbar; Eine Zeichenfolge mit geringer Entropie ist vorhersehbarer und enthält mehr Redundanz. Dies ist die theoretische Untergrenze für verlustfreie Komprimierung.
Was bedeutet Entropie in Bits pro Symbol?
Die Entropie in Bits pro Symbol gibt an, wie viele Bits durchschnittlich benötigt werden, um jedes Zeichen darzustellen, wenn die Zeichenfolge optimal codiert wäre. Beispielsweise hat eine vollkommen zufällige Zeichenfolge aus 256 gleichwahrscheinlichen Zeichen eine Entropie von 8 Bits/Symbol. Eine Zeichenfolge aus allen identischen Zeichen hat eine Entropie von 0 Bits/Symbol.
Was ist Redundanz im Kontext der Entropie?
Die Redundanz misst, wie viel mehr Speicherplatz die ursprüngliche Codierung im Vergleich zum theoretischen Minimum benötigt. Es wird berechnet als 1 − H / H_max, wobei H_max = log₂(eindeutige Zeichen). Eine Redundanz von 0 bedeutet, dass der Text vollkommen zufällig ist (keine Komprimierung möglich); Eine Redundanz von 1 bedeutet, dass alle Zeichen gleich sind.