Ohne es angesehen zu haben: Viele Seiten laden Content erst später per JavaScript nach. Unter anderem auch um das "Scraping" von Inhalten zu verhindern:
https://de.wikipedia.org/wiki/Screen...Verschleierung
Man kann dann natürlich einen richtigen Webbrowser nehmen, warten bis die Seite fertig aufgebaut ist und sich dann die Inhalte zusammensuchen, aber das hält auch nur bis zum nächsten Redesign der Seite.
Ich hatte mal aus Spaß versucht mir so etwas für XHamster zu bauen, aber das artet irgendwann nur noch in stupide Fleißarbeit aus...