Einzelnen Beitrag anzeigen

Pogoner

Registriert seit: 10. Okt 2013
22 Beiträge
 
Delphi 6 Enterprise
 
#1

Große String-Liste out of Memory - Hilfe?

  Alt 20. Apr 2014, 15:19
Guten Tag
Folgendes Problem: Der Code funktioniert einwandfrei, solange die Stringliste nicht zu groß wird. Das wird sie allerdings unweigerlich, daher meine Frage - wie kann ich das umgehen:

Kann sein, dass hier ein oder 2 'end' komisch sitzen, da ich eine Menge Kommentarcode grade der Übersichtlichkeit wegen gelöscht habe.
Das Programm soll eine Website auf nicht-verlinkte Unter-Seiten absuchen.
Mein Problem ist leider, dass bei 52 Zeichen und über 5 Stellen (ich glaube) der Cluster zu groß wird und ich selbst mit 8GB RAM out of Memory bekomme.
Jetzt will ich die ganzen Möglichkeiten aber eigentlich garnicht speichern, sondern es würde mir ja reichen, sie direkt mit dem Spider abzufragen - wenn ich allerdings npw nicht in Cluster oder Result abspeichere, funktioniert der Code nichtmehr... Wenn mir da jemand helfen könnte, der da mehr versteht als ich, wäre das sehr nett
Ich sitze schon seit Stunden dran und habs mit Freeandnil, Destroy/Create, Savetofile und Writeln versucht, um das zu umgehen, aber ich bekomms nicht hin
Wie kann ich diese ganzen Kombinationen erstellen lassen und direkt abgreifen, ohne dass eine riesige Stringlist entsteht?

Vielen Dank schonmal


Delphi-Quellcode:
function TForm1.bruteforce (astring: string;substr: string; startlen: integer; endlen: integer):LongInt;

var
spider: TSpider;
i,n,x,y, z : integer;
npw, Zeile: string;
Txtdatei: Textfile;

label step1;

begin

Hlplst.Clear;
Cluster.Clear;
Results.Clear;

y:= 0;

spider := TSpider.Create(Self);

urls := 'www.Testwebsite.com/' ;

For x:= 1 to length(substr) do
  begin
    Hlplst.Add(substr[x]);
  end;

step1:

        for i := 0 to hlplst.Count -1 do begin
                for n := 1 to length(astring) do begin

                npw := hlplst.Strings[i]+astring[n];

               Cluster.Add(npw);
              

                if length(npw) >= startlen then
                begin
                Results.Add(npw);
            
        // Hier beginnt nur der Spider
                        urlk := urls + npw ;
                        spider.Initialize(urlk);
                        spider.CrawlNext();

                  
                         Edit1.Text := Spider.LastUrl;
                         Edit2.Text := Spider.LastHtmlTitle;

                                If Edit2.Text = 'Vorhandenthen
                                begin
                                        Memo4.Lines.Add (Edit1.Text);
                                end;
                                                
          // Hier endet er


                end;
        end;
        HlpLst.Clear ;
        hlplst.AddStrings(Cluster);
        Cluster.Clear ;
   

        if length(npw) + 1 <= endlen then goto step1;
        hlplst.Clear;
     end;
        result := 0;
        Label1.Visible := False;
       
         


        end;

  end;
  Mit Zitat antworten Zitat