Das Crawl-Budget bezeichnet die Anzahl an Seiten einer Website, die Suchmaschinen wie Google in einem bestimmten Zeitraum besuchen und indizieren. Bei großen Websites mit tausenden Unterseiten teilt der Googlebot seine Kapazitäten gezielt ein. Wenn eine Website viele minderwertige URLs oder technische Fehler aufweist, verschwendet der Bot wertvolles Budget, und wichtige neue Inhalte werden möglicherweise zu spät oder gar nicht gefunden.
Ein Online-Shop hat beispielsweise eine Million Produktseiten, von denen die Hälfte durch Filterparameter doppelt existiert. Wenn der Shopbetreiber diese doppelten URLs nicht sperrt, verbraucht Google das Crawl-Budget für unnötige Seiten, statt die eigentlichen Produktneuheiten schnell zu erfassen.
Dieser Eintrag wurde zuletzt am geprüft und aktualisiert.