Brainstorming: Datei mit definierter Entropie erzeugen

[PeterPanino]

Hallo und schönen Tag!

Das soll keine Frage um Hilfe oder eine Projektvorstellung werden, sondern eine dynamische Brainstorming Ideen-Sammlung, an der sich möglichst viele User beteiligen.

Ich weiß nicht, ob es so was schon gibt: Dateien für Testzwecke mit definierter Entropie erzeugen.

Wenn man den möglichen Umfang der Entropie einer Datei willkürlich mit dem Wert 100 definiert, dann hätte eine Datei, die nur aus identischen Zeichen besteht (z.B. "eeeeeeee") den Entropiewert 100. Und eine Datei, die nur aus unterschiedlichen Zeichen besteht (z.B. "abcdefgh") den Entropiewert 0.

Wie müsste dann aber eine Datei aussehen, die den Entropiewert 50 (oder 67) aufweist? Wie könnte man die Erzeugung einer Zeichenmenge mit definiertem Entropiewert algorithmisieren?

Lasset das Brainstorming beginnen!

[KodeZwerg]

Dann zeige doch mal in Form von Code wie Du Entropy berechnest und nicht mit Worten erklären, so hat man eine Grundlage.

[PeterPanino]

Für die konkrete Entropie-Messung einer Datei habe ich zwar Code, den ich aber aus Copyright-Gründen nicht weitergeben darf.

Aber hier sind einige Ansätze zu finden:

https://codereview.stackexchange.com...py-of-a-string

Aber es geht ja um die ERZEUGUNG und nicht um die Messung.

[stahli]

Ist die Ziel-Größe der Datei vorgegeben?
Welche Zeichen sind möglich?
Ist egal, welches Zeichen wie oft wiederholt wird?
Ist die Zielentropie exakt vorgegeben oder reicht eine Näherung?

Wenn die Ziel-Größe und Ziel-Entropie exakt erreicht werden muss, ist das sicherlich am schwierigsten zu erreichen.

Einfachster Ansatz:
- "a" hinzufügen
- wenn aktuelle Entropie < Ziel dann wieder "a"
- sonst nächstes freies Zeichen
- wenn ZielGröße und/oder ZielEntropie erreicht ist, abbrechen


Noch eine Frage zum Verständnis:
Wofür brauchst Du das?

[PeterPanino]

Danke für deinen Beitrag. Das wäre sozusagen der "Brutalo"-Ansatz. ;-)

Wofür ich das brauche? Rein theoretisches Interesse. Aber im Hinterkopf geistert eine Idee herum, mal einen Generator für Testdateien zu schreiben.

Eine weitere Idee wäre die Möglichkeit Funksprüche aus dem All zu analysieren: Wenn mehrere Funksprüche den gleichen oder einen ähnlichen Entropiewert aufweisen, so könnte das ein Hinweis dafür sein, dass diese Funksprüche von außerirdischen Wesen stammen.

Eine weitere Möglichkeit könnte sich aus der VERMUTUNG ergeben, dass Textdateien verschiedener Sprachen unterschiedliche Entropie-Muster (also der Vergleich der Entropiewerte verschiedener Dateiteile oder Wörter oder Sätze) ergeben und man so auf die jeweilige Sprache schließen könnte.

[Uwe Raabe]

Zitat:

Zitat von PeterPanino (Beitrag 1412026)

Und eine Datei, die nur aus unterschiedlichen Zeichen besteht (z.B. "abcdefgh") den Entropiewert 0.

Wenn die Größe der Datei die Anzahl Zeichen überschreitet, kann demnach eine Entropie von 0 nicht mehr realisiert werden. Eventuell muss man die Entropie-Definition da noch etwas flexibler formulieren. Alternativ gibt die Zeichenmenge eben die maximale Dateigröße an.

Ist ja hier Brainstorming, also schreibe ich mal einfach drauflos:
- Gegeben sind N verschiedene Zustände und eine Menge von ebenfalls N dieser Zustände, die nicht zwingend unterschiedlich sein müssen.
- Die Entropie der Menge ist 0, wenn alle Zustände unterschiedlich sind und 1 (= 100%), wenn alle Zustände gleich sind.
- Daraus folgt, daß N > 1 sein muss.
- Die Anordnung der Zustände in der Menge ist irrelevant für die Berechnung der Entropie.
- Sei X die Anzahl der unterschiedlichen Elemente in der Menge, dann errechnet sich die Entropie aus E = (N-X)/(N-1).

[PeterPanino]

Zitat:

Zitat von Uwe Raabe (Beitrag 1412041)

- Die Anordnung der Zustände in der Menge ist irrelevant für die Berechnung der Entropie.

Also müssten in einem Test verschiedene Anordnungen der selben Zeichen insgesamt den selben Entropiewert ergeben.

[Uwe Raabe]

Zitat:

Zitat von PeterPanino (Beitrag 1412044)

Also müssten in einem Test verschiedene Anordnungen der selben Zeichen insgesamt den selben Entropiewert ergeben.

Nach meiner Definition der Entropie, ja. Ist aber halt nur ein Vorschlag, der noch diskutiert werden kann. Bei einem Zeichensatz von "abcdefgh" hätten z.B. "abbbbbb" und "aaaabbbb" dieselbe Entropie, obwohl im ersten Fall nur ein Zeichen von E = 1 entfernt ist, im zweiten aber vier.

[PeterPanino]

Ich habe jetzt die Entropiewerte von 2 Textdateien verglichen:

Textdatei 1:

Zitat:

Grüne
SPD
FDP
CSU
CDU

Textdatei 2:

Zitat:

CDU
CSU
FDP
SPD
Grüne

Beide ergaben den SELBEN Entropiewert: 3,49366068968819

Damit hat sich die Hypothese von Uwe als richtig erwiesen!

[PeterPanino]

Demgegenüber ergab diese Textdatei:

Zitat:

FDP
CSU
CDU
Violette
Blaue

... diesen Entropiewert: 3,88172767886974

[API]

http://www.shannonentropy.netmark.pl/calculate liefert einen leicht anderen Wert.

H(X) = 3.59448

Code:

CDU
CSU
FDP
SPD
Grüne

[Uwe Raabe]

Wie ermittelst du denn die Entropie?

[PeterPanino]

Wenn ich aber diese Textdatei verwende:

Zitat:

enürG
DPS
PDF
USC
UDC

komme ich wieder auf den ersten Wert: 3,49366068968819

[PeterPanino]

Zitat:

Zitat von Uwe Raabe (Beitrag 1412056)

Wie ermittelst du denn die Entropie?

Es geht um "Shannon's Formula", die MiTeC auf meine Anregung hin in TPEReader integriert hat.

Zur Ermittlung zweckentfremde :oops: ich die Klasse TPEReader von MiTeC:

Delphi-Quellcode:

uses
  MiTeC_PE;

var
  PE: TPEReader;

procedure TForm3.FormCreate(Sender: TObject);
begin
  PE := TPEReader.Create;
  try
    PE.FileName := 'R:\test.txt';
    CodeSite.Send('TForm3.FormCreate: ', PE.Entropy.ToString);
  finally
    PE.Free;
  end;
end;

[Uwe Raabe]

Zitat:

Zitat von PeterPanino (Beitrag 1412060)

Es geht um "Shannon's Formula",

OK, das ist dann allerdings eine andere Definition von Entropie.

[Rollo62]

Die Entropie hängt doch sicher auch vom Zeichensatz ab, ob english, kyrilliusch, chinesisch, ANSI, UTF16, ...

[KodeZwerg]

In Bezug zu PE Dateien vermute ich stellt die Entropy dar, ob Datei gepackt wurde. 8 sollte maximum Darstellen, also stark gepackt und 1 wäre zu 100% ungepackt. Kann ich gerade nicht nachvollziehen da mir diese Unit/Klasse fehlt, zum nachschauen kaufe ich das nicht.

[PeterPanino]

Zitat:

Zitat von KodeZwerg (Beitrag 1412075)

In Bezug zu PE Dateien vermute ich stellt die Entropy dar, ob Datei gepackt wurde. 8 sollte maximum Darstellen, also stark gepackt und 1 wäre zu 100% ungepackt. Kann ich gerade nicht nachvollziehen da mir diese Unit/Klasse fehlt, zum nachschauen kaufe ich das nicht.

Nein, es ist wirklich die Entropie-Berechnung laut Shannon's Formula.

[PeterPanino]

Zitat:

Zitat von Rollo62 (Beitrag 1412073)

Die Entropie hängt doch sicher auch vom Zeichensatz ab, ob english, kyrilliusch, chinesisch, ANSI, UTF16, ...

In diesem Fall wird das byteweise (also nicht als Text) aus der Datei ausgelesen.

[KodeZwerg]

Erstell mal bitte Dateien mit folgenden Inhalt und sage Entropy dazu.

Code:

1234567890

Code:

1111222333

hier ist hinten noch ein leerzeichen!

Code:

1 2 3 4 5

hier ist vorne noch ein leerzeichen!

Code:

 1 2 3 4 5

Danke.

[PeterPanino]

Zitat:

Zitat von KodeZwerg (Beitrag 1412075)

In Bezug zu PE Dateien vermute ich stellt die Entropy dar, ob Datei gepackt wurde. 8 sollte maximum Darstellen, also stark gepackt und 1 wäre zu 100% ungepackt. Kann ich gerade nicht nachvollziehen da mir diese Unit/Klasse fehlt, zum nachschauen kaufe ich das nicht.

Der GRUND für deine Vermutung? Damit wir das nachvollziehen können.

Ich vermute z.B., dass die Mondlandung gefaked war wie vieles andere - und dafür gibt es gute Gründe ...

[KodeZwerg]

Das wäre in Bezug auf PE Sinnvoll, das ist der Grund, ob mit oder ohne Mondlandung. Es gibt mehrere PE Tools die eine Analyse durchführen wo dort eine Entropy als "Packer Verdacht" gewertet wird. Grund genug?

[PeterPanino]

Zitat:

Zitat von KodeZwerg (Beitrag 1412091)

Es gibt mehrere PE Tools die eine Analyse durchführen wo dort eine Entropy als "Packer Verdacht" gewertet wird.

Kannst du diese leicht abwertend klingende Behauptung beweisen?

Ein hoher Entropie-WERT bei einer PE-Analyse weist tatsächlich auf einen Packer hin. Das ist eine bewiesene Tatsache, die von allen Fachleuten geteilt wird. Oder möchtest du das in Abrede stellen?

[KodeZwerg]

Zitat:

Zitat von PeterPanino (Beitrag 1412099)

Zitat:

Zitat von KodeZwerg (Beitrag 1412091)

Es gibt mehrere PE Tools die eine Analyse durchführen wo dort eine Entropy als "Packer Verdacht" gewertet wird.

Kannst du diese leicht abwertend klingende Behauptung beweisen?

Ein hoher Entropie-WERT bei einer PE-Analyse weist tatsächlich auf einen Packer hin. Das ist eine bewiesene Tatsache, die von allen Fachleuten geteilt wird. Oder möchtest du das in Abrede stellen?

Seit wann ist es abwertend wenn ein PE Tool eine Entropy berechnet? Ich empfinde es als Aufwertung. Ich muss nichts beweisen.
Ich wiederhole nochmal, man bemerke das was nun fett geschrieben ist.

Zitat:

Zitat von KodeZwerg (Beitrag 1412075)

In Bezug zu PE Dateien vermute ich stellt die Entropy dar, ob Datei gepackt wurde. 8 sollte maximum Darstellen, also stark gepackt und 1 wäre zu 100% ungepackt. Kann ich gerade nicht nachvollziehen da mir diese Unit/Klasse fehlt, zum nachschauen kaufe ich das nicht.

Von daher kann ich Deinen letzten Satz nirgends einordnen, nur das Du wiederholst was ich Schrieb und ne merkwürdige Frage dazu stellst obwohl Antwort bereits vorliegt?!

Ich halte mich hier mal raus, Du wirst schon Recht haben und mit Deiner auf PE Dateien basierte Entropy Berechnung auch anderswo Sinnvolle Einsatzmöglichkeiten finden.

[PeterPanino]

Hier ist eine sehr gute Erklärung (mit Beispielen) der Berechnung des Entropie-Wertes:

FILE ENTROPY – LET’S TALK ABOUT RANDOMNESS

Ist leicht zu verstehen. Nach dem Lesen sollten keine Fragen mehr offen sein

[PeterPanino]

Zitat:

Zitat von KodeZwerg (Beitrag 1412105)

... mit Deiner auf PE Dateien basierte Entropy Berechnung ...

Nochmals: Das ist keine "PE Dateien basierte Entropy Berechnung", da es gleichgültig ist, ob es eine PE-Datei ist oder nicht. Hast du denn meinen vorherigen Link durchgelesen und verstanden?

Wenn nicht: Lade dir einfach mal die Trial-Version von TPEReader herunter und mach folgenden Test: Erstelle eine Text-Datei mit tausendmal dem gleichen Buchstaben (Entropiewert: 0), dann teste mal eine Textdatei mit dem Bibel-Text, dann zippe mal die Ein-Buchstabendatei (tausend mal ein Buchstabe). Wenn du es dann immer noch nicht verstanden hast, dann kann ich dir auch nicht helfen.

[KodeZwerg]

Zitat:

Zitat von PeterPanino (Beitrag 1412111)

Zitat:

Zitat von KodeZwerg (Beitrag 1412105)

... mit Deiner auf PE Dateien basierte Entropy Berechnung ...

Nochmals: Das ist keine "PE Dateien basierte Entropy Berechnung", da es gleichgültig ist, ob es eine PE-Datei ist oder nicht. Hast du meinen vorherigen Link durchgelesen und verstanden?

Zitat:

Zitat von PeterPanino (Beitrag 1412060)

Zitat:

Zitat von Uwe Raabe (Beitrag 1412056)

Wie ermittelst du denn die Entropie?

Es geht um "Shannon's Formula", die MiTeC auf meine Anregung hin in TPEReader integriert hat.

Zur Ermittlung zweckentfremde :oops: ich die Klasse TPEReader von MiTeC:

Delphi-Quellcode:

uses
  MiTeC_PE;

var
  PE: TPEReader;

procedure TForm3.FormCreate(Sender: TObject);
begin
  PE := TPEReader.Create;
  try
    PE.FileName := 'R:\test.txt';
    CodeSite.Send('TForm3.FormCreate: ', PE.Entropy.ToString);
  finally
    PE.Free;
  end;
end;

Das hat bestimmt nichts mit PE Dateien zu tun wenn man den Link verfolgt aber irgendwie schon. Du hast mit allem Recht, mehr kann ich dazu nicht Sagen, hab noch einen Schönen Tag.

[PeterPanino]

Zitat:

Zitat von KodeZwerg (Beitrag 1412112)

... Das hat bestimmt nichts mit PE Dateien zu tun ...

Wie kann man nur so hartnäckig sein. Mein Beispiel-Code berechnet doch nicht direkt den Entropiewert, sondern verwendet nur eine Klasse, welche eine Funktion enthält, die diesen Entropiewert berechnet (weil ich die Source aus Copyright-Gründen nicht weitergeben kann). Also kannst du aus meinem Code gar nicht schließen, ob die Entropie-Berechnung selbst "PE-basiert" ist oder nicht. Also ist deine Behauptung bez. "PE-basierter" Entropie-Berechnung eine Erfindung von dir. Diesen Unterschied verstehst du schon, oder? Ich wünsche auch einen schönen Tag.

[Delphi.Narium]

Zitat:

Zitat von PeterPanino

Brainstorming: Datei mit definierter Entropie erzeugen

Zitat:

Zitat von O.F. Osborn

Grundsatzregeln für Brainstorming-Prozesse:

Die Teilnehmer können und sollen ihrer Phantasie freien Lauf lassen. Jede Anregung ist willkommen.

Ideenmenge geht vor Ideenqualität. Es sollen möglichst viele Ideen erzeugt werden.

Es gibt keinerlei Urheberrechte. Die Ideen der anderen Teilnehmer können und sollen aufgegriffen und weiterentwickelt werden.

Kritik oder Wertungen sind während des Brainstormings nicht erlaubt.

Also: Brainstorming oder nicht :?:

[PeterPanino]

Aber ich kann dich schon verstehen: Nach deinen Postings zu schließen, halte ich dich für einen fleißigen und ehrlichen Programmierer, der eben eine Aversion gegen "versteckten Code" hat. An und für sich eine gesunde Einstellung. "Aber da kommt so ein undurchsichtiger Typ daher (PeterPanino), der ein Beispiel für die Anwendung von GEKAUFTEM (huch!) Code bringt. Da muss doch was faul sein! Aber die Trial herunterzuladen und selbst zu testen und aus den Testergebnissen meine Schlüsse zu ziehen, dafür ist keine Zeit."

[PeterPanino]

Zitat:

Zitat von Delphi.Narium (Beitrag 1412116)

Kritik oder Wertungen sind während des Brainstormings nicht erlaubt.

Sag das bitte direkt dem anderen Teinehmer.

[Schokohase]

Bevor ihr euch noch die Köpfe einschlagt, nehmt das hier als Diskussionsgrundlage

Delphi-Quellcode:

unit Unit1;

interface

uses
  System.Generics.Defaults, System.Generics.Collections, System.SysUtils,
  System.Math;

type
  TShannonEntropy = class
  public
    class function Calculate<T > ( const Source: array of T ): Double; overload;
    class function Calculate<T > ( const Source: array of T; const Comparer: IEqualityComparer<T> ): Double; overload;
  end;

implementation

{ TShannonEntropy }

class function TShannonEntropy.Calculate<T>( const Source: array of T; const Comparer: IEqualityComparer<T> ): Double;
var
  d: TDictionary<T, Integer>;
  i: Integer;
  p,r: Double;
begin
  d := TDictionary<T, Integer>.Create( Comparer );
  try
    for i := Low( Source ) to High( Source ) do
    begin
      if d.ContainsKey( Source[i] ) then
        d[Source[i]] := d[Source[i]] + 1
      else
        d.Add(Source[i],1);
    end;
    Result := 0;

    for i in d.Values do
    begin
      p := i / Length( Source );
      r := p * Log2( p );
      Result := Result + r;
    end;

    Result := -Result;

  finally
    FreeAndNil( d );
  end;
end;

class function TShannonEntropy.Calculate<T>( const Source: array of T ): Double;
begin
  Result := Calculate<T > ( Source, TEqualityComparer<T>.Default );
end;

end.

Das liefert dann mit

Delphi-Quellcode:

program Project1;

{$APPTYPE CONSOLE}

{$R *.res}

uses
  System.SysUtils,
  Unit1 in 'Unit1.pas';

procedure Test;
var
  str: string;
  e: Double;
begin
  str := 'Grüne'#13#10'SPD'#13#10'FDP'#13#10'CSU'#13#10'CDU';
  e := TShannonEntropy.Calculate<Char > ( str.ToCharArray( ) );
  WriteLn( e );
end;

begin
  try
    Test;
  except
    on E: Exception do
      Writeln( E.ClassName, ': ', E.Message );
  end;
  ReadLn;
end.

auch die

Code:

 3.49366068968819E+0000

Grundlage dafür ist https://medium.com/udacity/shannon-e...s-5810d35d54b4

[PeterPanino]

@Schokohase

Faszinierend!! Vielen Dank!!

[Schokohase]

Nun ja, es ist lesen, verstehen, tippen. Faszinierendes kann ich da nicht erkennen.

Wenn man sich noch fragt, wie denn ein Kollege hier mit gleichen Werten einen anderen Wert bekommen hat, der ändert einfach mal eine Zeile ab

Delphi-Quellcode:

  // e := TShannonEntropy.Calculate<Char> ( str.ToCharArray() );
  e := TShannonEntropy.Calculate<Byte> ( TEncoding.UTF8.GetBytes(str) );

und erhält wie durch ein Wunder

Code:

 3.59448250651942E+0000

[PeterPanino]

Ich war gerade fasziniert von dem genialen Video und wie gut das in dem Video erklärt wird und von den anderen Videos in diesem Channel. (Ein Lehrer mit pädagogischem Eifer ist von sowas halt fasziniert).

[KodeZwerg]

*entfernt um Platz zu sparen*

[PeterPanino]

Zitat:

Zitat von KodeZwerg (Beitrag 1412149)

Ich habe ein für PE Dateien Entropy Berechner auch entschärft so das es jede Datei/Größe limitiert auf DWORD berechnet.

Könntest du bitte auf Deutsch schreiben, so dass man versteht, was du meinst? Danke.

Außerdem: Hast du noch immer nicht verstanden, dass das nichts mit PE-Dateien zu tun hat?

[KodeZwerg]

*entfernt um Platz zu sparen*

[PeterPanino]

Zitat:

Zitat von KodeZwerg (Beitrag 1412157)

Die .exe Datei vor meinem Eingriff war limitiert auf Dateien des Typs PE/PE+, darin wiederum limitiert auf bestimmte Sektionen des PE-Headers.

Von was für einer ".exe Datei" schreibst du? Was für einen "Eingriff" meinst du? Kannst du dich in einer anderen Sprache besser ausdrücken? Du kannst mir gerne eine PN schreiben, wenn du mir dein Problem erklären möchtest. Ich weiß, dass Kommunikationsprobleme verschiedene Ursachen haben können. Ich kann gerne versuchen, dir zu helfen.

[KodeZwerg]

*entfernt um Platz zu sparen*