Prüfe deine robots.txt auf technische Fehler, Konflikte und Crawl-Budget-Verschwendung.
Analysiert Syntax-Fehler, Regel-Konflikte und Sitemap-Verknüpfung und liefert einen schnellen Überblick, welche KI-Bots Zugriff haben. Für eine strategische KI-Sichtbarkeits-Bewertung mit Empfehlungen: „KI-Crawler Audit".
Häufige Fragen zu diesem Tool
Wichtiges Hintergrundwissen und SEO-Tipps kurz für dich erklärt.
Praxis & Umsetzung
Wo finde ich meine robots.txt?
Die Datei befindet sich im Stammverzeichnis deiner Domain (deinedomain.de/robots.txt). Bei CMS-Systemen wie WordPress wird diese Datei oftmals virtuell generiert und lässt sich über SEO-Plugins bearbeiten.
Kann ich bestimmte Dateitypen wie Bilder ausschließen?
Ja. Über Direktiven wie "Disallow: /wp-contentContentContent ist jede Information, die du auf einer Website bereitstellst, um Nutzer anzusprechen. Das können geschriebene Inhalte wie Blogartikel, aber auch Bilder, Videos oder Infografiken…Mehr lesen/uploads/" kannst du das Crawlen spezifischer Medien-Pfade für Suchmaschinen-Bots unterbinden.
Wie blockiere ich URL-Parameter (z.B. Sortierungen)?
Mit Wildcards (*). Eine Regel wie `Disallow: /*?*sort=` blockiert alle URLs, die den Parameter `sort=` enthalten.
Grundlagen
Warum wird eine per robots.txt gesperrte URL dennoch bei Google gelistet?
Die robots.txt verbietet lediglich das Crawlen (Auslesen), nicht aber das Indexieren. Wenn viele externe Links auf die URL zeigen, kann Google sie dennoch in den Index aufnehmen. Zur sicheren Deindexierung ist das ``-Tag auf der Seite selbst erforderlich.
Was bedeutet die Anweisung "User-agent: *"?
Der Asterisk (*) fungiert als Platzhalter und bedeutet, dass die folgenden Direktiven für sämtliche anfragenden Bots gelten, sofern keine spezifischeren User-Agent-Regeln definiert wurden.
Gehört die Sitemap zwingend in die robots.txt?
Ja, es gilt als technische Best Practice. Die Angabe der absoluten URL zur XML-Sitemap am Ende der Datei ermöglicht es allen Crawlern, die Struktur deiner Website sofort zu erfassen.
Beachtet Google den "Crawl-delay" Befehl?
Nein, Googlebot ignoriert den `Crawl-delay` Befehl komplett – das bestätigt Google in der eigenen Dokumentation. Um die Google-Crawlrate zu drosseln, musst du stattdessen die Einstellungen in der Google Search Console anpassen. Für GPTBot gibt es dazu keine offizielle Aussage von OpenAI, verlass dich also nicht darauf. Bots wie Bingbot oder Yandex respektieren den Befehl dagegen nachweislich.