robots.txt-Direktiven

Eine robots.txt-Direktive ist eine Anweisung in der gleichnamigen Textdatei, die steuert, welche Bereiche einer Website von Suchmaschinen-Crawlern besucht werden dürfen. Mit Befehlen wie Disallow teilst du Google und Co. mit, welche URLs sie ignorieren sollen. Ein typisches Beispiel ist das Aussperren des Admin-Bereichs: Disallow: /wp-admin/ verhindert, dass sensible Backend-Seiten im Index landen.

Wer hinter diesem SEO-Lexikon steckt

Ich bin Peter Marth – der Entwickler hinter SEOtologie. Meine Leidenschaft gilt dem technischen SEO, der Web-Security und der Performance-Optimierung. Geprägt durch meine langjährige Erfahrung in der Projektplanung der Automobilindustrie, baue ich Lösungen, die vor allem eines sind: stabil, klar und technisch kompromisslos sauber.

Alle meine Tools folgen dem Prinzip „Privacy First“ – keine Tracking-Cookies, keine persönlichen Daten, kein Profiling.

Fokus: Technisches SEO Web-Security Performance-Optimierung KI-Sichtbarkeit Strukturierte Daten WordPress · 28 Audit-Tools