Große String-Liste out of Memory - Hilfe?

[Uwe Raabe]

Wenn du mal genau hinsiehst, wirst du merken, daß die Prozeduren CheckURL und TesteString lokal zu der Methode bruteforce deklariert sind und nicht als Methoden von TForm1. Bei CheckURL ist das ziemlich egal, aber bei Testestring werden die an bruteforce übergebenen Parameter (astring, startlen und endlen) verwendet. In deiner Version kann es die aber nicht sehen. Die Tatsache, daß es anscheinend trotzdem compiliert, läßt vermuten, daß es noch andere Variablen dieses Namens gibt. Ob die aber immer den richtigen Inhalt haben ist eher fraglich.

[Perlsau]

Zitat:

Zitat von Pogoner (Beitrag 1256304)

Naja also ich will ja kein Passwort knacken oder etwas ähnliches - es ist mehr eine sportliche Herausforderung, eine versteckete Unterseite zu finden. Diese ist offen zugänglich für den, der den Link kennt - Keine Sorge:wink:

Du möchtest dir Informationen zugänglich machen, die nicht für dich bestimmt sind!

Solche Seiten sind ja nicht zufällig "versteckt", sondern aus einem ganz bestimmten Grund: Der Urheber möchte diese Seiten nicht veröffentlichen. Das ist sein gutes Recht, das du nicht mit deinen illegalen Methoden umgehen darfst.

Mit anderen Worten: Ich möchte nicht, daß du oder sonst jemand via BruteForce die versteckten Seiten auf meinem Web-Server ausfindig macht, denn die wurden ausschließlich für ganz bestimmte Kunden abgelegt, denen ich den Link dazu freiwillig gebe. Weder dir noch sonst jemandem ist es gestattet, sich diese Seiten mittels BruteForce-Techniken oder anderen illegalen Mitteln zugänglich zu machen. Konkret: Dich und alle anderen geht der Inhalt dieser nicht veröffentlichten Seiten absolut nichts an!

[himitsu]

Und wer bezahlt die Serverauslastung, inkl. des anfallenden Traffics, durch diesem Angriff?

[Popov]

Um Seiten zu Hacken gibt es bessere Methoden.

Manchmal ist es sogar leichter als man denkt. Manche Seiten lassen dich ohne Passwort rein, du musst nur sagen: ich bin Google.

Brute-Force ist ja nett, aber wer es richtig macht, der baut in seine Passwörter Sonderzeichen ein. Schon ist der Alpha-Spaß umsonst.

Fortgeschrittene fangen nicht mit a und b an, sondern nutzen Wörter. Denn entweder nutzt man Wörter, Wörter mit Sonderzeichen oder macht es gleich richtig mit Kauderwelsch mit Sonderzeichen.

[Pogoner]

Zitat:

Zitat von himitsu (Beitrag 1256334)

Und wer bezahlt die Serverauslastung, inkl. des anfallenden Traffics, durch diesem Angriff?

Angriff? Also bitte - Für 1000 Abfragen braucht das Programm 80 Sekunden... Das sind knapp über 12 Anfragen pro Sekunde, bei denen "Not Found" herauskommt.
Ich bin ja nicht sehr bewandert mit DDos, aber Google hat mir soeben gesagt, dass entsprechende Scripte um die 5000 Anfragen pro Sekunde generieren...

Zitat:

Zitat von Popov (Beitrag 1256337)

Um Seiten zu Hacken gibt es bessere Methoden.
Manchmal ist es sogar leichter als man denkt. Manche Seiten lassen dich ohne Passwort rein, du musst nur sagen: ich bin Google.
Brute-Force ist ja nett, aber wer es richtig macht, der baut in seine Passwörter Sonderzeichen ein. Schon ist der Alpha-Spaß umsonst.

Leute - ich möchte bei einer Seite einfach nur wissen, ob eine nicht verlinkte Unterseite mit einer mir bekannten String-Länge existiert. Ich will nichts hacken:roll:

Zitat:

Zitat von Perlsau;1256333Du möchtest dir Informationen zugänglich machen, die nicht für dich bestimmt sind![/COLOR

[/SIZE][/B]

Solche Seiten sind ja nicht zufällig "versteckt", sondern aus einem ganz bestimmten Grund: Der Urheber möchte diese Seiten nicht veröffentlichen. Das ist sein gutes Recht, das du nicht mit deinen illegalen Methoden umgehen darfst.

Mit anderen Worten: Ich möchte nicht, daß du oder sonst jemand via BruteForce die versteckten Seiten auf meinem Web-Server ausfindig macht, denn die wurden ausschließlich für ganz bestimmte Kunden abgelegt, denen ich den Link dazu freiwillig gebe. Weder dir noch sonst jemandem ist es gestattet, sich diese Seiten mittels BruteForce-Techniken oder anderen illegalen Mitteln zugänglich zu machen. Konkret: Dich und alle anderen geht der Inhalt dieser nicht veröffentlichten Seiten absolut nichts an!

Um ehrlich zu sein sehe ich dieses Problem nicht: Der Urheber hat diese Seite veröffentlicht, nur weiß nicht jeder den Link. Ich wüsste nicht, warum dieser Versuch "illegal" sein sollte. Das Nicht-aggressive Spider von Websites fällt nicht unter irgendeinen Straftatbestand http://de.wikipedia.org/wiki/Computersabotage. Google spidert nur nach verlinkten Sites, aber mir ist nicht ersichtlich, warum Seiten, die nicht verlinkt sind plötzlich unter einen besonderen Schutz fallen - sie sind prinzipiell offen im Internet zugänglich, nur nicht ausgewiesen. Sollte ich das hier per Hand probieren, wäre das auch illegal deiner Sicht nach? Ist die nicht-verlinkte Seite durch ein Passwort geschützt, so gebe ich dir natürlich Recht, aber das ist hier nicht der Fall.
Ich kann ja auch nicht irgendwelche Copyright-geschützten Werke auf solch eine Seite hochladen und sagen, dass das keine Verbreitung ist da die Seite ja nicht verlinkt war und ich den Link niemandem gegeben habe.

Zitat:

Zitat von Uwe Raabe (Beitrag 1256331)

Wenn du mal genau hinsiehst, wirst du merken, daß die Prozeduren CheckURL und TesteString lokal zu der Methode bruteforce deklariert sind und nicht als Methoden von TForm1. Bei CheckURL ist das ziemlich egal, aber bei Testestring werden die an bruteforce übergebenen Parameter (astring, startlen und endlen) verwendet. In deiner Version kann es die aber nicht sehen. Die Tatsache, daß es anscheinend trotzdem compiliert, läßt vermuten, daß es noch andere Variablen dieses Namens gibt. Ob die aber immer den richtigen Inhalt haben ist eher fraglich.

Ich habe mir die Mühe gemacht und alles nochmal neu gemacht. Bisher habe ich noch nie mit lokal deklarierten Prozeduren gearbeitet sondern das immer über (Schande über mich) unsichtbare Buttons gelöst...Autodidakt eben - irgendwie hats geklappt...
So ist das allerdings viel Praktischer :-D Danke für deine Mühe - auch mit den Schleifen komme ich nun besser zurecht. Es geht ja nicht immer nur um das aktuelle Programm - was man kann, kann man. Erneut muss ich mich nochmal bedanken :!:
Der Spider selbst hat nun auch Speicher gefressen, was sich allerdings mit spider.ClearspideredURLs lösen lies.

[Perlsau]

Zitat:

Zitat von Pogoner (Beitrag 1256339)

ehrlich zu sein sehe ich dieses Problem nicht: Der Urheber hat diese Seite veröffentlicht, nur weiß nicht jeder den Link. Ich wüsste nicht, warum dieser Versuch "illegal" sein sollte. Das Nicht-aggressive Spider von Websites fällt nicht unter irgendeinen Straftatbestand http://de.wikipedia.org/wiki/Computersabotage. Google spidert nur nach verlinkten Sites, aber mir ist nicht ersichtlich, warum Seiten, die nicht verlinkt sind plötzlich unter einen besonderen Schutz fallen - sie sind prinzipiell offen im Internet zugänglich, nur nicht ausgewiesen. Sollte ich das hier per Hand probieren, wäre das auch illegal deiner Sicht nach? Ist die nicht-verlinkte Seite durch ein Passwort geschützt, so gebe ich dir natürlich Recht, aber das ist hier nicht der Fall. Ich kann ja auch nicht irgendwelche Copyright-geschützten Werke auf solch eine Seite hochladen und sagen, dass das keine Verbreitung ist da die Seite ja nicht verlinkt war und ich den Link niemandem gegeben habe.

Der Urheber – das bin im Falle meines Webservers ich selbst – hat diese versteckten Seiten eben nicht veröffentlicht: Sie sind nicht für die Öffentlichkeit gedacht und daher auch nicht der Öffentlichkeit zugänglich. Du aber versuchst mit deinem Programm, diese versteckten – und daher eben nicht öffentlichen – Seiten öffentlich zu machen. Dagegen habe ich was und würde dich auch sofort privat verklagen, wenn du das bei mir versuchen solltest. Und du darfst mir glauben: Da hättest du ganz ganz schlechte Karten. Ich betreibe ein Gewerbe und biete manchmal einem Kunden Resultate meiner Arbeit zum Download auf versteckten Seiten an, deren Link nur dieser eine Kunde erhält. Wenn du dir jetzt diese Seiten unberechtigt (=illegal) zugänglich machst, erschleichst du dir Kenntnisse aus meiner Arbeit, die dir nicht zustehen. Diese Seiten sind eben nicht "prinzipiell offen im Internet zugänglich", denn sonst gäbe es einen öffentlichen Link, um auf diese Seiten zuzugreifen. Wieso möchtest du dich meinem Wunsch und meiner Absicht, diese Seiten nicht zu veröffentlichen, widersetzen und Einsicht in Daten nehmen, die dich absolut nichts angehen? Und lädst du dir dann auch kostenpflichtige Anwendungen von meinem Webserver herunter, ohne zu bezahlen? Die sind nämlich auch dort gespeichert und nicht öffentlich ausgewiesen. Und wenn ich einen Passwortschutz einbaue, knackst du den dann ebenfalls mit deinen Brute-Force-Methoden? Dann würde ich dich nämlich gleich mal als potentiellen Kriminellen anzeigen. Junge Junge ...:evil:

[Daniel]

Gemach.
Eine HTTP-Anfrage an einen Server zu senden, ist erstmal nicht illegal und auch noch keine Grundlage für einen kriminelle Karriere.

Du (@Pogoner) musst Dir aber darüber im Klaren sein, dass Du versuchst, Zugriff auf Seiten zu erlangen, zu denen Du - aus welchem Grund auch immer - keine Adresse genannt bekamst. Allein die Tatsache, dass die Inhalte offenbar nicht weiter geschützt sind, befug Dich nicht, Dich da frei zu bedienen: Wenn ich meine Wohnungstür offen lasse, dann kann man mir zurecht vieles vorwerfen, aber Dich berechtigt es noch lange nicht, in meiner Sockenschublade zu wühlen.

Solltest Du dabei Deine Software zu aggressiv vorgehen lassen und den Betrieb des Webservers stören, kann daraus tatsächlich eine unangenehme Situation für Dich erwachsen, weil man Dir dann zurecht und nachweisbar vorwerfen könnte, den Geschäftsbetrieb zu stören. Gleiches gilt, wenn Deine Software einen nennenswerte Menge an Traffic - und damit etwaige Kosten für den Betreiber - verursachen sollte. Sei Dir darüber im Klaren, dass Du auf dünnem Eis wandelst.


Allerdings:
Wenn man sich die Logs von populären Web-Servern mal anschaut, wird man als Admin schnell feststellen, dass hunderte, teils tausende unkontrollierte Anfragen an der Tagesordnung sind. Hier jetzt mit den Worten"kriminell" und Klage" um sich zu werfen, kann man machen, wenn einem langweilig ist - an der Realität geht es jedoch vorbei. Wenn man Inhalte für schützenswert erachtet, soll man sie mit den gängigen Mitteln schützen und nicht nur halbherzig - ist ja wie der Schlüssel unter der Fußmatte.


Du hast verschiedene Lösungsansätze erhalten und das Stichwort "Datenbank" will ich noch in den Raum werfen. Wenn Deine Datenmenge zu groß wird, um sie gleichzeitig im Speicher zu halten, dann lagere sie aus auf einen Datenträger.

[Perlsau]

Zitat:

Zitat von Daniel (Beitrag 1256345)

Eine HTTP-Anfrage an einen Server zu senden, ist erstmal nicht illegal und auch noch keine Grundlage für einen kriminelle Karriere.

Vollkommen richtig. Allerdings geht es hier nicht um eine harmlose und neutrale HTTP-Anfrage.

Zitat:

Zitat von Daniel (Beitrag 1256345)

Du (@Pogoner) musst Dir aber darüber im Klaren sein, dass Du versuchst, Zugriff auf Seiten zu erlangen, zu denen Du - aus welchem Grund auch immer - keine Adresse genannt bekamst. Allein die Tatsache, dass die Inhalte offenbar nicht weiter geschützt sind, befug Dich nicht, Dich da frei zu bedienen: Wenn ich meine Wohnungstür offen lasse, dann kann man mir zurecht vieles vorwerfen, aber Dich berechtigt es noch lange nicht, in meiner Sockenschublade zu wühlen.

:thumb: Sehr schön formuliert, absolut passendes Beispiel: Ob ich jetzt meine Wohnungstüre offen lasse, mein Fahrrad kurz unabgeschlossen stehen lasse oder mein Laptop in der Kneipe während des Ganges zur Toilette nicht sichere – all dies erlaubt noch niemandem, sich legal zu bedienen und in die Wohnung einzudringen, das Fahrrad wegzunehmen und/oder zu benutzen oder sich Einblick in die Daten auf meinem Laptop zu verschaffen oder sich sonst wie daran zu schaffen zu machen, geschweige denn, es wegzunehmen. Genau so verhält es sich auch mit versteckten HTML-Dateien auf meinem Webserver: Die gehen niemanden, dem ich nicht explizit Zugang gewähre, etwas an.

Zitat:

Zitat von Daniel (Beitrag 1256345)

Wenn man sich die Logs von populären Web-Servern mal anschaut, wird man als Admin schnell feststellen, dass hunderte, teils tausende unkontrollierte Anfragen an der Tagesordnung sind. Hier jetzt mit den Worten"kriminell" und Klage" um sich zu werfen, kann man machen, wenn einem langweilig ist - an der Realität geht es jedoch vorbei. Wenn man Inhalte für schützenswert erachtet, soll man sie mit den gängigen Mitteln schützen und nicht nur halbherzig - ist ja wie der Schlüssel unter der Fußmatte.

Wenn jemand öffentlich die Absicht äußert, sich Daten anzueignen, die ihm nicht zustehen, ist das im Grunde Ankündigung einer kriminellen Handlung. Und wer sich bereits Methoden wie Brute-Force-Ermittlung von versteckten HTML-Dateien bedient, der schreckt auch nicht davor zurück, dieselbe Methode beim Knacken eines Paßwortschutzes einzusezten, den ich selbstverständlich für alle meine versteckten Server-Verzeichnisse einsetze.

[Bernhard Geyer]

Zitat:

Zitat von Daniel (Beitrag 1256345)

Allerdings:
Wenn man sich die Logs von populären Web-Servern mal anschaut, wird man als Admin schnell feststellen, dass hunderte, teils tausende unkontrollierte Anfragen an der Tagesordnung sind. Hier jetzt mit den Worten"kriminell" und Klage" um sich zu werfen, kann man machen, wenn einem langweilig ist - an der Realität geht es jedoch vorbei

Das versuchte Einbrüche im Rechner automatisiert ablaufen heißt aber nicht das man nicht dagegen vorgehen sollte (Ein ungeschützter Windows-Rechner ist AFAIK in < 10 Minten nach dem direkten Verbinden mit dem Internet übernommen). Und wenn hier jemand eine entsprechende Attacke unternehmen will sollten wir ihn auch nicht helfen. Im schlimmsten Fall (Nachfolger von dem "Berühmten" von Gravenreuth) bekommt man hier (als Forenbetreiber?) auch 'ne Klage/Abmahnung wegen Mittäterschaft aufgebrummt.

Für die meisten diese Attacken wird man ein müdes Lächeln vom (in diesen Dingen erfahrenen) Polizisten bekommen wenn man sowas aufnehmen will. Er weiß das solche Angriffe aus dem Ausland bzw. über Zombierechner erfolgen. Die Erfolgschancen wären nahe 0!

[Pogoner]

Zitat:

Zitat von Bernhard Geyer (Beitrag 1256351)

Das versuchte Einbrüche im Rechner automatisiert ablaufen heißt aber nicht das man nicht dagegen vorgehen sollte ... Und wenn hier jemand eine entsprechende Attacke unternehmen will sollten wir ihn auch nicht helfen

Wer genau versucht hier in Rechner einzubrechen? Ich weiß, es ist einfacher sich in einen Thread einzuklinken, als alle 3 Seiten zu lesen aber um das Einbrechen in Rechner geht es hier nicht.

Zitat:

Zitat von Perlsau (Beitrag 1256343)

Und wenn ich einen Passwortschutz einbaue, knackst du den dann ebenfalls mit deinen Brute-Force-Methoden? Dann würde ich dich nämlich gleich mal als potentiellen Kriminellen anzeigen. Junge Junge ...:evil:

Da fühlt sich aber jemand ganz gehörig auf den Schlips getreten - und lesen scheint auch nicht dein Fall zu sein, ich habe mehrfach erwähnt, dass ich nicht vorhabe, irgendein Passwort zu knacken.

Zitat:

§ 202a
Ausspähen von Daten

(1) Wer unbefugt sich oder einem anderen Zugang zu Daten, die nicht für ihn bestimmt und die gegen unberechtigten Zugang besonders gesichert sind, unter Überwindung der Zugangssicherung verschafft, wird mit Freiheitsstrafe bis zu drei Jahren oder mit Geldstrafe bestraft.

(2) Daten im Sinne des Absatzes 1 sind nur solche, die elektronisch, magnetisch oder sonst nicht unmittelbar wahrnehmbar gespeichert sind oder übermittelt werden.

Halten wir mal den Ball flach und schauen uns die Rechtslage an, Meister: Selbst das Auslesen von Kreditkarten ist nicht illegal - also solltest du deinen Geldbeutel wie in deinen Beispielen unbeaufsichtigt rumliegen lassen und ich würde deine Kreditkarte kopieren, so wäre das legal : http://www.dr-bahr.com/news/kein-str...ungskarte.html
Auch fange ich nicht wie in § 202b private Gespräche ab, will mir keinen Vermögensvorteil wie nach § 263a verschaffen. Und ich ich nichts runterladen.
Auch das einwählen in ungesicherte WLAN-Netze ist im Übrigen legal http://www.rechtslupe.de/strafrecht/...-netzen-323014
Es mag ja sein, dass dir das garnicht passt, weil du das gerne so machst, aber solange ich deine Website nach solchen Seiten abgrasen würde ohne dass ich mit den 12 Anfragen pro Sekunde jetzt wie es im Gesetz verlangt ist

Zitat:

eine Datenverarbeitung, die für einen anderen von wesentlicher Bedeutung ist, erheblich stört

ist es soweit ich als juristischer Laie durchblicke nicht illegal und du wirst es dir gefallen lassen müssen bzw eine Zugangssicherung einrichten müssen, sodass sie gegen unberechtigten Zugang besonders gesichert ist, wie es im Gesetztestext verlangt ist :idea:

Zitat:

Zitat von Daniel (Beitrag 1256345)

Gemach.
Eine HTTP-Anfrage an einen Server zu senden, ist erstmal nicht illegal und auch noch keine Grundlage für einen kriminelle Karriere.

Seh ich genauso.

Zitat:

Zitat von Daniel (Beitrag 1256345)

Gleiches gilt, wenn Deine Software einen nennenswerte Menge an Traffic - und damit etwaige Kosten für den Betreiber - verursachen sollte. Sei Dir darüber im Klaren, dass Du auf dünnem Eis wandelst.

Da weiß ich leider zu wenig: Beim Aufruf der nicht-existenten Seite kommt folgende Meldung:

Zitat:

Not Found

The requested URL /thechosensite/12345asdfg.html was not found on this server.

Additionally, a 404 Not Found error was encountered while trying to use an ErrorDocument to handle the request.
Apache Server at www.thechosensite.com Port 80

Führen 12 Aufrufe einer solchen Seite zu beträchtlichem Traffic für den Betreiber? Gewollt ist das ja wie erwähnt nicht...

Zitat:

Zitat von Daniel (Beitrag 1256345)

Du hast verschiedene Lösungsansätze erhalten und das Stichwort "Datenbank" will ich noch in den Raum werfen. Wenn Deine Datenmenge zu groß wird, um sie gleichzeitig im Speicher zu halten, dann lagere sie aus auf einen Datenträger.

Ja die Datenbank hatte ich auch schon in Betracht gezogen, aber bei Millionen Einträgen war mir einerseits die mögliche Größe suspekt, als auch der Zeitverlust beim eintragen/auslesen - die direkte Weitergabe, die mir Uwe Raabe gezeigt hat war genau das, was ich versucht hatte, hinzubekommen.
Wäre die Liste an sich allerdings wichtig gewesen, hätte ich die Datenbank wohl nehmen müssen...