Eine robots.txt ist eine Textdatei im Hauptverzeichnis einer Website, die Suchmaschinen-Crawlern mitteilt, welche Bereiche sie besuchen dürfen und welche nicht. Sie steuert damit den Zugriff von Bots auf bestimmte Verzeichnisse oder Dateien. Ein typisches Beispiel ist das Aussperren des Administrator-Bereichs, indem du dort den Befehl Disallow: /admin/ hinterlegst.
Auch bekannt als: robots.txt-DateiRobots-Datei
Dieser Eintrag wurde zuletzt am geprüft und aktualisiert.