Und eine Datei, die nur aus unterschiedlichen Zeichen besteht (z.B. "abcdefgh") den Entropiewert 0.
Wenn die Größe der Datei die Anzahl Zeichen überschreitet, kann demnach eine Entropie von 0 nicht mehr realisiert werden. Eventuell muss man die Entropie-Definition da noch etwas flexibler formulieren. Alternativ gibt die Zeichenmenge eben die maximale Dateigröße an.
Ist ja hier Brainstorming, also schreibe ich mal einfach drauflos:
- Gegeben sind N verschiedene Zustände und eine Menge von ebenfalls N dieser Zustände, die nicht zwingend unterschiedlich sein müssen.
- Die Entropie der Menge ist 0, wenn alle Zustände unterschiedlich sind und 1 (= 100%), wenn alle Zustände gleich sind.
- Daraus folgt, daß N > 1 sein muss.
- Die Anordnung der Zustände in der Menge ist irrelevant für die Berechnung der Entropie.
- Sei X die Anzahl der unterschiedlichen Elemente in der Menge, dann errechnet sich die Entropie aus
E = (N-X)/(N-1).