riesengroße Arrays > 2GB

[hoika]

Hallo,
ich werfe mal Memory Mapped files ins Rennen.

[Mavarik]

New / Dispose...

Btw: Ist Euch aufgefallen, dass der TE nicht mehr geantwortet hat?

Das ist wieder so ein Thread der sich selber am Leben hält...

Mavarik

[himitsu]

Zitat von Mavarik:

Btw: Ist Euch aufgefallen, dass der TE nicht mehr geantwortet hat?

51 Logins in 11 Jahren ... statistisch in spätestens 78 Tagen wird eine Antwort schon noch kommen

[Ghostwalker]

Zitat von HolgerX:

Hmm..

Zitat von Ghostwalker:

Zitat von HolgerX:

Hmm..

oder zunächst mal aus tframes ein TObject statt Record machen

und aus frametab eine ObjectList.

Dadurch beinhaltet frametab nur 131072 Pointer auf tframes, die irgendwo 'verstreut' im Speicher liegen und somit nicht mehr zusammenhängend sein müssen.

Für was ein Objekt, das wesentlich mehr Speicher verbrät ?

Besser:

Delphi-Quellcode:

  Type
    PFrames = ^TFrames

und dann schlicht mit einer TList arbeiten.

Ich glaube kaum, dass

Delphi-Quellcode:

type tframes = class
a: integer;
f: array [1..9999] of tfiguren;
end;

anstelle von

Delphi-Quellcode:

type tframes = record
a: integer;
f: array [1..9999] of tfiguren;
end;

Wirklich wesendlich mehr an Speicher verbraucht. Das gro an Speicher braucht das 'array [1..9999] of tfiguren;' und nicht das TObject.
Ich bin zwar kein Spezialist was Speichermanagment angeht, sollten eigentlich nur ein, zwei Pointer mehr an Speicher sein, wenn überhaupt.


Aber egal..

Ja man kann TList direkt mit Pointer auf Records verwenden, jedoch dann darauf achten, das mit AllocMem/GetMem immer der Speicher des Records geholt wird und zum Schluss schön mit FreeMem wieder freigegeben wird.

Bei Objectlist würde sich durch ownsobject die Liste selber um die (saubere) Freigabe kümmern.

Edit:
Habe mal durch Delphi die Größen ermitteln lassen:

Record 159988 Bytes (mit SizeOf)
Object 159992 Bytes (mit Object.InstanceSize)

Somit macht dass bei 32Bit gerade mal 4 Bytes mehr pro Object! Bei 159988 Bytes ist das wohl nicht Wesendlich mehr.

Hochgerechnet auf 131072 Objecten macht das ein Mehrverbrauch von 524288 Bytes also 512 Kb..
Und das ist bei den eh schon 19 Gb wohl zu vernachlässigen

ok...ich mein ich hab da was gelesen das " = Class" und " = Class(TObject)" unterschiedlich gehandhabt werden. von daher könntest du recht haben.

Was ich aber meinte ist:

Delphi-Quellcode:

TYPE
   pfiguren = ^tfiguren;
   tfiguren = record
              x,y,f,s : integer;
             end;
   pframes = ^tframes;
   tframes = record
               a : integer;
               f : TList;
             end;
var
  frametab : TList;

oder (so würd ich das machen)

Delphi-Quellcode:

TYPE
   pfiguren = ^tfiguren;
   tfiguren = record
              x,y,f,s : integer;
             end;
   pframes = ^tframes;

   tframes = Class
   private
      pa : integer;
      pf : TList;

      procedure ClearAll;

   public
       :
       function Add(x,y,f,s:integer):integer;
       procedure Del(index:integer);

       property f[index:integer]:TFiguren read GetF write SetF;
   published
       property a : integer read pa write pa;
   end;
var
  frametab : TObjectlist;

[HolgerX]

Das

f: array [1..9999] of tfiguren;

ebenfalls zu einer TList zu machen, ist auch OK, nur dann hättest Du gleich je TFiguren * 4 Byte mehr für die Pointer in der TList.
Entspricht dann: 10000 * 4 * 131072 = 4,8 Gb..

Und das währe dann wirklich wesendlich mehr

Es ging mir in meinem Vorschlag darum, die 19 Gb am Stück aufzuteilen und dazu genügt es schon aus tframes eine Klasse zu machen..

Denn für 159992 Bytes am Stück ist es einfacher Speicher zu bekommen, statt für 19 Gb.

Lt meinem Wissen ist
" = Class" und " = Class(TObject)" identisch, zu mindestens bei Delphi 6

Das " = Class" stellt nur eine verkürzte Schreibweise da.

[Ghostwalker]

Nö.

TFiguren ist ein Zeiger auf einen Record. D.h. ich hab pro Element ledigilich 4 Byte die am Stück benötigt werden (+ 16 Byte irgendwo im Speicher). Wie weiter oben schon erwähnt wurde, ist hier das entscheidende, das ein Array den Speicher am Stück brauchen.

d.h. das das Array (mit den 10000 Elementen) im 1. Fall 156 MB am Stück braucht, in meinem Fall 39 MB (Also bei TFiguren als Zeiger). Die 156 MB verteilen sich in kleine Häpchen über den Speicher (je nach dem wo der Speichermanager das grad hinpackt.)

Aber egal wie nu, wir dürften uns einig sein, das hier einfach viel zu viele Daten im Speicher gehalten werden (bzw. versucht wird das zu tun).

[freimatz]

Zitat von himitsu:

Zitat von Mavarik:

Btw: Ist Euch aufgefallen, dass der TE nicht mehr geantwortet hat?

51 Logins in 11 Jahren ... statistisch in spätestens 78 Tagen wird eine Antwort schon noch kommen

Hm, ich überlege was ich fragen könnte ... und mich dann zurücklehnen und die Antworten genießen popcorn