[php] Traffic kontrollieren

[Matze]

Hallo,

ich habe soeben festgestellt, dass ich am 27. Oktober 6,57 GB an Traffic hatte. Kann ich irgendwie herausfinden, an was das liegt (Webalizer zeigt irgendwie nur Zugriffe an, aber nicht woher) und mittels php (IP-Sperre oder was es da gibt, kenne mich da nicht so aus) dagegen vorgehen?

Wenn ja, wie geht man so etwas an und wie findet man Spider & Co (oder was auch immer das war) heraus? Soll ich die IPs in der DB loggen und per Script irgendwie den Zugriff verhindern?

[ripper8472]

webalizer zeigts nicht an? kann nicht sein. ich sehs doch immer...
wenn du die apache logs hast, werte sie selber nochmal aus.

spider erkennst du an den user agents.

[Luckie]

Eine wirklich geile Homepage hast du da hingezaubert. Respekt, gefäält mir echt gut. Da wird man echt neidisch und ich bin versucht meine Seite für die Downloadportale auch noch mal komplett neu zu machen. Kommt mir doch im Vergleich zu deiner etwas tröge vor.

[himitsu]

Och Luckie ... wolltest du es nicht eh schon immer möglichst spartanisch und nur mit dem nötigsten/wichtigsten ausgestatet haben
Und so schlimm ist deine Seite ja nicht ... außerdem gibt es doch schon genug überladene Webseiten im Netz -.-'' (und du weißt schon ... aufwendigere Seite = mehr Traffic)


So, und jetzt nochmal was zum Thema ^^
Falls du nicht die Quelle des Übels ausschalten kannst, könntest du ja immernoch versuchen den vorhandenen Traffic auszulesen, oder halt einfach nur mitzuzählen ... und sobald ein bestimmter Wert überschritten wird, werden halt die Downloads gesperrt

[Luckie]

Zitat von himitsu:

Och Luckie ... wolltest du es nicht eh schon immer möglichst spartanisch und nur mit dem nötigsten/wichtigsten ausgestatet haben
Und so schlimm ist deine Seite ja nicht ... außerdem gibt es doch schon genug überladene Webseiten im Netz -.-'' (und du weißt schon ... aufwendigere Seite = mehr Traffic)

Das gilt für meine Seite für Entwickler: (http://developer.luckie-online.de) Für die Seite, die ich immer auf den Downloadpartalen angebe und die für das breite Publikum gedacht ist (http://programme.luckie-online.de) sollte es eigentlich schon etwas freundlicheres sein.

Zitat:

So, und jetzt nochmal was zum Thema ^^
Falls du nicht die Quelle des Übels ausschalten kannst, könntest du ja immernoch versuchen den vorhandenen Traffic auszulesen, oder halt einfach nur mitzuzählen ... und sobald ein bestimmter Wert überschritten wird, werden halt die Downloads gesperrt

Das ist aber nicht sehr benutzerfreundlich. Jemand der einmal auf einen verweigerten Download stößt, wird nicht so schnell wieder kommen. Ich würde da eher eine [google]robots.txt/google] Datei ins Root legen und damit steuern welche Seiten die Spider katalogisieren dürfen und welche nicht. Damit sollte sich der Traffic, so fern er denn von Spidern stammt, etwas kontrollieren lassen.

[x000x]

Moin moin,
bevor du wirklich etwas dagegen unternehmen kannst, musst du wissen, was/wer der verursacher ist.
Im access.log des Apache sollte neben der IP auch die Size der angeforderten Daten stehen. Soweit ich weiss,
wertet webalizer die Logdateien des Webservers aus. Wenn du per webalizer nicht die Anzahl der übermittelten Bytes,
IP Adresse von der die Daten angefordert wurden etc. aufgelistet bekommst, ist er evtl. nicht ausreichend konfiguriert?!
(Wobei ich mich mit den Möglichkeiten hier nicht auskenne)
Also ich würde erstmal die Logdateien des Webservers "analysieren", sonst schraubst/sperrst du an stellen, die evtl.
gar nicht notwendig sind und betreibst wobei noch doppelten aufwand?!

[Matze]

Moin,

danke euch. Also Webalizer zeigt das schon an, aber ich weiß nicht genau, an welchem Referer es liegen kann. An foto-freeware.de wohl kaum.

Hier einmal die Statistik für Oktober, vielleicht seht ihr was.

Eine robots.txt verwende ich bereits und wenn es sich um einen Spider handeln sollte, kommt dieser natürlich mit darauf.
Und was FDM 1.x für ein User-Agent ist, weiß ich nicht.

Btw: Wenn es hier doch ohne php geht, bitte ich einen Mod, diesen Thread nach K&T zu verschieben

@Michael: Danke. Dass dir die Webseite gefällt, hätte ich eigentlich nicht gedacht. Aber evtl. gestalte ich sie einmal so, wie meine neueste: http://myada.pri-dev.net/ , die jetzige ist vielleicht etwas zu dunkel, mal sehen.



Nachträge: Tippfehler, Ergänzungen etc.

[ripper8472]

mit .htaccess den user agent bannen.

FDM: http://www.freedownloadmanager.org/

da hat einer deine seite gespidert, wenn die denn 6.8 GB hat.

man bemerke auch:

Zitat:

113784 23.67% 113784 53.20% 3806946 23.62% 0 0.00% p5082ecb7.dip.t-dialin.net
2 63549 13.22% 63549 29.71% 2127602 13.20% 0 0.00% p5082ef6b.dip.t-dialin.net
3 36876 7.67% 36876 17.24% 1235121 7.66% 0 0.00% p5082c392.dip.t-dialin.net

aus den "Top 30 of 10377 Total Sites"... macht ziemlich genau 6,nochwas GB

[Matze]

Danke, doch wie stelle ich fest, dass diese dip.t-dialin.net Hosts nicht von irgendwelchen Webseiten wie Winload kommen. Nachher sperre ich die und dort kann man nichts mehr herunterladen.

[Daniel G]

Hmmm...

Mal 'ne blöde Frage:

Ist das dein eigener Server oder bist du irgendwo gehostet? Ich bin nämlich der Meinung, dass man via Confixx bei mir zumindestens den monatlichen Traffic begrenzen kann.

Wobei, ist eigentlich auch keine gute Idee... Weil die Webseite dann überhaupt nicht mehr zu erreichen ist, glaube ich....