Große String-Liste out of Memory - Hilfe?

[Daniel]

Gemach.
Eine HTTP-Anfrage an einen Server zu senden, ist erstmal nicht illegal und auch noch keine Grundlage für einen kriminelle Karriere.

Du (@Pogoner) musst Dir aber darüber im Klaren sein, dass Du versuchst, Zugriff auf Seiten zu erlangen, zu denen Du - aus welchem Grund auch immer - keine Adresse genannt bekamst. Allein die Tatsache, dass die Inhalte offenbar nicht weiter geschützt sind, befug Dich nicht, Dich da frei zu bedienen: Wenn ich meine Wohnungstür offen lasse, dann kann man mir zurecht vieles vorwerfen, aber Dich berechtigt es noch lange nicht, in meiner Sockenschublade zu wühlen.

Solltest Du dabei Deine Software zu aggressiv vorgehen lassen und den Betrieb des Webservers stören, kann daraus tatsächlich eine unangenehme Situation für Dich erwachsen, weil man Dir dann zurecht und nachweisbar vorwerfen könnte, den Geschäftsbetrieb zu stören. Gleiches gilt, wenn Deine Software einen nennenswerte Menge an Traffic - und damit etwaige Kosten für den Betreiber - verursachen sollte. Sei Dir darüber im Klaren, dass Du auf dünnem Eis wandelst.


Allerdings:
Wenn man sich die Logs von populären Web-Servern mal anschaut, wird man als Admin schnell feststellen, dass hunderte, teils tausende unkontrollierte Anfragen an der Tagesordnung sind. Hier jetzt mit den Worten"kriminell" und Klage" um sich zu werfen, kann man machen, wenn einem langweilig ist - an der Realität geht es jedoch vorbei. Wenn man Inhalte für schützenswert erachtet, soll man sie mit den gängigen Mitteln schützen und nicht nur halbherzig - ist ja wie der Schlüssel unter der Fußmatte.


Du hast verschiedene Lösungsansätze erhalten und das Stichwort "Datenbank" will ich noch in den Raum werfen. Wenn Deine Datenmenge zu groß wird, um sie gleichzeitig im Speicher zu halten, dann lagere sie aus auf einen Datenträger.