Beim Crawlen durchsuchen automatisierte Softwareprogramme von Suchmaschinen, sogenannte Bots oder Spider, das Internet. Sie folgen Links von einer Webseite zur nächsten, um Inhalte zu entdecken, auszulesen und zu analysieren. Wenn du beispielsweise einen neuen Blogbeitrag veröffentlichst, kommt ein Bot vorbei, liest den Text ein und speichert ihn in der Datenbank der Suchmaschine, damit er in den Suchergebnissen auftauchen kann.
Auch bekannt als: CrawlingsWeb-CrawlingWebseiten durchsuchenCrawler
Dieser Eintrag wurde zuletzt am geprüft und aktualisiert.