Was ist ein Webcrawler?
Je nach Schätzung schwankt die Anzahl der im Internet veröffentlichten Webseiten zwischen 1,2 und fast 2 Milliarden. Jeden Tag kommen weltweit mehrere Tausend neue Webseiten hinzu. Die Besitzer dieser Webseiten hoffen, dass ihre Seite in den Suchergebnissen der großen Suchmaschinen möglichst vielen Internetnutzern finden. Damit eine Webseite von Suchmaschinennutzern gefunden werden kann, muss man sie zunächst von