SEOtologie»SEO-Lexikon»Crawl-delay

Crawl-delay

Der Crawl-delay ist eine Anweisung für Suchmaschinen-Bots, die festlegt, wie viele Sekunden Pause sie zwischen dem Abruf einzelner Seiten auf einer Website einhalten müssen. Webmaster nutzen diesen Wert in der robots.txt-Datei, um die Serverlast zu steuern. Wenn beispielsweise ein großer Online-Shop viele Filterseiten generiert, verhindert der Crawl-delay, dass der Googlebot den Server durch zu viele gleichzeitige Zugriffe überlastet und die Website verlangsamt.

Auch bekannt als: Crawl-delaysRobots-PausenzeitCrawling-Verzögerung

Dieser Eintrag wurde zuletzt am geprüft und aktualisiert.

Nach oben scrollen