Problem mit Memory Mapped Files

[bono_82]

Hallo,

ich muss für meine Anwendung mit sehr großen Dateien arbeiten (bis 4GB). Aus diesem Grund lade ich eine große
Datei als Memory Mapped File. Ich hab gelesen, dass das theoretisch bis 4 GB geht, aber man nur 2 GB nutzen kann, da das BS
sich die anderen 2GB reserviert. Mein Problem ist allerdings, dass ich auch schon ab einer 1 GB großen Datei Fehlermeldungen bekomme. Mit kleineren Files (ca. 100 MB) Dateien funktioniert aber prinzipiell alles prima. Hier mal der Code zum Öffnen einer Datei als MMF.
Hat jemand einen Ratschlag?

Delphi-Quellcode:

str:=VisuFilePath+VisuFileName+'.dat';

{Variante mit Memory Mapped Files}
FileHandle := GetHandle(str); //Fkt. um Handle zu erzeugen
if FileHandle = INVALID_HANDLE_VALUE then
   Raise exception.Create('File could not be opened!');
FileSize := GetFileSize(FileHandle,nil);

MapHandle := CreateFileMapping(FileHandle,nil,PAGE_READONLY,0,0,nil);
if MapHandle = 0 then begin
   CloseHandle(FileHandle);
  Raise Exception.Create('Filemapping Error!');
end;

FData := MapViewOfFile(MapHandle,FILE_MAP_READ,0,0,0);

if FData = nil then begin
   CloseHandle(MapHandle);
  Raise Exception.Create('Filemapping Error!');
end;

FData ist der Pointer auf den Beginn des Speicherbereich in dem meine Daten liegen.
Bei meiner 1 GB großen Datei wird für FData allerdings nil zurückgeliefert. Probleme sollten doch aber erst ab ca. 2GB auftreten?

Gruß,
bono

[Bernhard Geyer]

1, Deine gesamte Anwendung kann unter Win32 maximal 2 GB an speicher haben. Unter Win64 mit richtigen Memory Manager und Windows-Einstellung 3 GB

2, Ich vermute mal das die Memory Mapped Files u.U. einen zusammenhängenden Adressbereich in der Anwendung benötigen. Und wenn man so sieht wieviel DLLs gewollt oder ungewollt in einer Exe "gemappt" sind und wo ist selbst 1 GB schon ein sehr guter Wert.

[bono_82]

Danke für Deinen Tipp. Deiner Aussage nach müsste meine Anwendung dann auch schon ohne die verwendete Datei 1GB an
Adressraum "verbraten". Kann ich mir irgendwie nicht vorstellen. Ich kenn mich da allerdings auch nicht so aus.

[Bernhard Geyer]

Zitat:

Zitat von bono_82

Danke für Deinen Tipp. Deiner Aussage nach müsste meine Anwendung dann auch schon ohne die verwendete Datei 1GB an
Adressraum "verbraten". Kann ich mir irgendwie nicht vorstellen. Ich kenn mich da allerdings auch nicht so aus.

Nein.
Jedoch die geladenen DLL's liegen verstreut im Adressraum so daß es keinen zusammenhängenden 1GB-Bereich mehr gibt der vermutlich dafür benötigt wird.

[sirius]

Und warum nimmst du nicht ein TFileStream? MMFs sind ja nicht für große Dateien gedacht sondern für IPC, IMHO.

[OldGrumpy]

Wenn Du nur mit moderneren Windowsversionen arbeitest, bedient Windows Filezugriffe eh bevorzugt durch Mapping in den Filecache, memory mapped files bringen da nicht mehr die riesigen Leistungszuwächse. Dazu kommt noch dass der Gesamtspeicher des Systems ja auch eher begrenzt ist und du durch gnadenlosen Speicherhunger an anderer Stelle Performance in grossem Massstab verbrennst (erzwungenes Swapping anderer Prozesse und massive Swapfilezugriffe -> Bremse). Mit MapViewOfFile kannst Du aber z.B. auch die Größe des gemappten Bereichs angeben, so dass sich da z.B. ein Fenster von sagen wir 256 MB (je nachdem wieviel Du im File herumspringst und wieviel Speicher vorhanden ist) anbieten würde. Zugriffe aufs File bzw. dessen View musst Du dann nur durch eine Filterfunktion laufen lassen, die ggf. den View ändert wenn die angeforderte Adresse ausserhalb des momentan gemappten Bereichs liegt.

[bono_82]

Das klingt interessant. Würde ein solches "Fenster" auch für Bereiche zw. z.B. 3 und 4 GB funktionieren oder
trifft einen da irgendwie die oben erwähnte 2 GB Grenze?

@sirius:
MMF's kann man meiner Ansicht nach auch für den Umgang mit sehr großen Dateien verwenden, da die bearbeitete Datei auf der Festplatte bleibt und ich mir nur bestimmte Abschnitte in den Speicher holen möchte.
Ich hab mir auch eine TFileStream-Variante erstellt, allerdings muss ich da immer mit irgendwelchen Puffern arbeiten, die bei mir schnell sehr groß werden können. Bei MMF's arbeite ich mit Pointern.

Danke für eure Hinweise. Bin für weitere Tips aufgeschlossen!

[Robert Marquardt]

Es koennte helfen die Dokumentation der Funktionen zu lesen. Der Aufruf von MapViewOfFile(MapHandle,FILE_MAP_READ,0,0,0); bedeutet das das gesamte File in den Speicher gemappt werden soll. Es macht mehr Sinn ein kleineres Fenster zu waehlen. Dann wird auch nur Speicher fuer dieses Fenster belegt und nur ein Teil des Files gemappt. Will man auf einen anderen Teil des Files zugreifen muss man das Mapping aendern.
Idealerweise bindet man das in einer Klasse ein (ich wette da gibt es schon welche im Internet).

[alzaimar]

Was willst Du denn mit diesen riesigen Dateien anstellen? Wenn in diesen Dateien irgendwelche Daten sind, dann pack sie in eine ordendliche DB.

[DMW]

Zitat:

Zitat von Bernhard Geyer

1, Deine gesamte Anwendung kann unter Win32 maximal 2 GB an speicher haben. Unter Win64 mit richtigen Memory Manager und Windows-Einstellung 3 GB

Nein, auch unter Win32 ist es möglich, einem Programm 3 GB Speicher zuzuteilen, indem man Windows mit der Kerneloption /3GB startet und entsprechende Linkereinstellungen tätigt. Unter Win64 ist der Speicher bei den gegenwärtigen Versionen AFAIK auf 8192 GB begrenzt.