Große String-Liste out of Memory - Hilfe?

[Sir Rufo]

Zitat von Pogoner:

ich selbst mit 8GB RAM out of Memory bekomme

von denen du rein gar nichts hast bei einer 32bit Anwendung.

Und wenn du den Speicher stark fragmentierst, dann ist sogar schon weit vor der 32bit-Grenze von 2GB Schluss.

[Pogoner]

Zitat von Sir Rufo:

Und wenn du den Speicher stark fragmentierst, dann ist sogar schon weit vor der 32bit-Grenze von 2GB Schluss.

Ja aber das ist ja nicht mein primäres Problem - Selbst wenn ich 100GB nutzen könnte, würde mir das in dem Fall nicht helfen, da der Bedarf mit jeder Stelle Faktor 10 wächst. Deshalb will ich die Cluster-Liste ganz vermeiden und die Einträge direkt in den Spider einspeisen... Nur ich weiß eben nicht, wo/wie ich das tun kann...

[Sir Rufo]

Irgendwie erstellst du ja diese Liste, also du erstellst jeden einzelnen Eintrag und fügst diesen in die Liste.

Nun füg den Wert nicht in die Liste, sondern übergib den Wert an die Routine, die etwas damit macht

[Pogoner]

Ja das will ich ja die ganze Zeit Aber wie schon 2x gesagt - ich weiß nicht, wo ich das tun muss. Für mich mit meinem einfachen Delphi-Gemüt liest sich der Code nicht so einfach

Delphi-Quellcode:

step1:

        for i := 0 to hlplst.Count -1 do begin
                for n := 1 to length(astring) do begin

                npw := hlplst.Strings[i]+astring[n];

               Cluster.Add(npw);                  //wenn ich das hier entferne, gehts nichtmehr
                                                  //dann kommt nur aa bis a0, aber nicht aaa-aa0 etc
                                                  //sonst hätte ich es hier abgegriffen
                                                  //desweiteren loopt es dann die aa-a0 immer wieder
                if length(npw) >= startlen then
                begin
                Results.Add(npw);                  
                end;
        end;
        HlpLst.Clear ;
        hlplst.AddStrings(Cluster);
        Cluster.Clear ;
   

        if length(npw) + 1 <= endlen then goto step1;
        hlplst.Clear;
     end;
        result := 0;
        Label1.Visible := False;

€dit - Und mir ist schon bewusst, dass das für euch wahrscheinlich eine blöde Frage ist.... Sorry^^

[Uwe Raabe]

Wenn ich das jetzt richtig verstanden habe, nimmt man die Buchstaben aus substr und fügt jeweils alle Kombinationen der Buchstaben aus astring an. Die resultierenden Kombinationen werden, so sie eine Länge von startlen bis endlen haben in die Liste result geschrieben und dem Spider übergeben.

Frage: Was passiert mit der Liste results? Die wird in deinem Code nirgendwo sonst verwendet.

[Sir Rufo]

Wenn ich mir das so betrachte, dann ist Results die Liste, die ständig wächst.
Sollten diese Werte irgendeine Relevanz haben, dann kann man diese auch direkt in eine Datei schreiben und damit den Speicher entlasten.

Kommentiere zunächst mal das Results.Add(...); aus und schau dir den Speicherverbrauch an.

Ich weiß aber nicht, ob ich zum Thema BruteForce und Webseiten hier wirklich weiterhelfen möchte ...

[Pogoner]

Zitat von Uwe Raabe:

Wenn ich das jetzt richtig verstanden habe, nimmt man die Buchstaben aus substr und fügt jeweils alle Kombinationen der Buchstaben aus astring an. Die resultierenden Kombinationen werden, so sie eine Länge von startlen bis endlen haben in die Liste result geschrieben und dem Spider übergeben.

Frage: Was passiert mit der Liste results? Die wird in deinem Code nirgendwo sonst verwendet.

Ja die Results-Liste stammt noch aus dem "Tutorial" - anstatt in die Liste, möchte ich es in den Spider übergeben. Bevor ich das tun kann, wird die Cluster-Liste allerdings zu groß und ich kann ehrlichgesagt mit den Schleifen nicht so gut umgehen, um es im richtigen Moment abzugreifen bzw die Liste wieder freizugeben...

Zitat von Sir Rufo:

Kommentiere zunächst mal das Results.Add(...); aus und schau dir den Speicherverbrauch an.

Die Results ist ja nur ein Teil der Cluster-Liste. Ich habe sie kommentiert und bin nur 100MB runter, der Großteil ist von der anderen belegt... (Mittelteil meiner Tabelle mit allen Kombinationen)

Zitat von Sir Rufo:

Sollten diese Werte irgendeine Relevanz haben, dann kann man diese auch direkt in eine Datei schreiben und damit den Speicher entlasten.

Die Werte haben keine Relevanz - außer dass ich sie (wenn sie x Stellen lang sind) dem Spider übergeben möchte

Zitat von Sir Rufo:

Ich weiß aber nicht, ob ich zum Thema BruteForce und Webseiten hier wirklich weiterhelfen möchte ...

Naja also ich will ja kein Passwort knacken oder etwas ähnliches - es ist mehr eine sportliche Herausforderung, eine versteckete Unterseite zu finden. Diese ist offen zugänglich für den, der den Link kennt - Keine Sorge

[Uwe Raabe]

Zitat von Pogoner:

Zitat von Sir Rufo:

Ich weiß aber nicht, ob ich zum Thema BruteForce und Webseiten hier wirklich weiterhelfen möchte ...

Naja also ich will ja kein Passwort knacken oder etwas ähnliches - es ist mehr eine sportliche Herausforderung, eine versteckete Unterseite zu finden. Diese ist offen zugänglich für den, der den Link kennt - Keine Sorge

Ganz so unbedarft ist das aber nicht! Nach deiner Aussage kommen da 380204032 Strings zusammen, von denen ein großer Teil zu einem HTML-Call führt. Das kann durchaus schon als Versuch einer DOS-Attacke angesehen werden.

Abgesehen davon wurde dir der passende Lösungsansatz bereits in Post 3 aufgezeigt.

[Perlsau]

Zitat von Pogoner:

Naja also ich will ja kein Passwort knacken oder etwas ähnliches - es ist mehr eine sportliche Herausforderung, eine versteckete Unterseite zu finden. Diese ist offen zugänglich für den, der den Link kennt - Keine Sorge

Du möchtest dir Informationen zugänglich machen, die nicht für dich bestimmt sind!

Solche Seiten sind ja nicht zufällig "versteckt", sondern aus einem ganz bestimmten Grund: Der Urheber möchte diese Seiten nicht veröffentlichen. Das ist sein gutes Recht, das du nicht mit deinen illegalen Methoden umgehen darfst.

Mit anderen Worten: Ich möchte nicht, daß du oder sonst jemand via BruteForce die versteckten Seiten auf meinem Web-Server ausfindig macht, denn die wurden ausschließlich für ganz bestimmte Kunden abgelegt, denen ich den Link dazu freiwillig gebe. Weder dir noch sonst jemandem ist es gestattet, sich diese Seiten mittels BruteForce-Techniken oder anderen illegalen Mitteln zugänglich zu machen. Konkret: Dich und alle anderen geht der Inhalt dieser nicht veröffentlichten Seiten absolut nichts an!