Von WP-Hardening bis hin zur Steuerung von KI-Bots – wir prüfen die tief hängenden Früchte deiner Indexierungseffizienz. Hol dir jetzt dein detailliertes 100-Punkte-Audit für maximale Sichtbarkeit.
Prüfe, ob Suchmaschinen durch deine robots.txt blockiert werden.
Ich lese deine Direktiven aus und zeige dir Disallow-Regeln, die das Indexieren deiner Seite verhindern können.
Häufige Fragen zu diesem Tool
Wichtiges Hintergrundwissen und SEO-Tipps kurz für dich erklärt.
Wo finde ich meine robots.txt?
Die Datei befindet sich im Stammverzeichnis deiner Domain (deinedomain.de/robots.txt). Bei CMS-Systemen wie WordPress wird diese Datei oftmals virtuell generiert und lässt sich über SEO-Plugins bearbeiten.
Kann ich bestimmte Dateitypen wie Bilder ausschließen?
Ja. Über Direktiven wie "Disallow: /wp-content/uploads/" kannst du das Crawlen spezifischer Medien-Pfade für Suchmaschinen-Bots unterbinden.
Warum wird eine per robots.txt gesperrte URL dennoch bei Google gelistet?
Die robots.txt verbietet lediglich das Crawlen (Auslesen), nicht aber das Indexieren. Wenn viele externe Links auf die URL zeigen, kann Google sie dennoch in den Index aufnehmen. Zur sicheren Deindexierung ist das ``-Tag auf der Seite selbst erforderlich.
Was bedeutet die Anweisung "User-agent: *"?
Der Asterisk (*) fungiert als Platzhalter und bedeutet, dass die folgenden Direktiven für sämtliche anfragenden Bots gelten, sofern keine spezifischeren User-Agent-Regeln definiert wurden.
Gehört die Sitemap zwingend in die robots.txt?
Ja, es gilt als technische Best Practice. Die Angabe der absoluten URL zur XML-Sitemap am Ende der Datei ermöglicht es allen Crawlern, die Struktur deiner Website sofort zu erfassen.