Eine robots.txt-Direktive ist eine Anweisung in der gleichnamigen Textdatei, die steuert, welche Bereiche einer Website von Suchmaschinen-Crawlern besucht werden dürfen. Mit Befehlen wie Disallow teilst du Google und Co. mit, welche URLs sie ignorieren sollen. Ein typisches Beispiel ist das Aussperren des Admin-Bereichs: Disallow: /wp-admin/ verhindert, dass sensible Backend-Seiten im Index landen.
Auch bekannt als:Robots.txt-AnweisungenRobots.txt-BefehleRobots-Direktiven
Dieser Eintrag wurde zuletzt am geprüft und aktualisiert.
