robots.txt

Eine robots.txt ist eine Textdatei im Hauptverzeichnis einer Website, die Suchmaschinen-Crawlern mitteilt, welche Bereiche sie besuchen dürfen und welche nicht. Sie steuert damit den Zugriff von Bots auf bestimmte Verzeichnisse oder Dateien. Ein typisches Beispiel ist das Aussperren des Administrator-Bereichs, indem du dort den Befehl Disallow: /admin/ hinterlegst.

Auch bekannt als: robots.txt-DateiRobots-Datei

Dieser Eintrag wurde zuletzt am geprüft und aktualisiert.

Nach oben scrollen