Teste, ob ChatGPT, Claude, Perplexity & Co. deine Seite wirklich abrufen können.
Ruft deine URL mit den offiziellen Kennungen bekannter KI-Bots ab und vergleicht das Ergebnis mit einem normalen Browser-Abruf. So findest du Firewalls oder Bot-Schutz, die KI-Bots aussperren, obwohl deine robots.txt sie erlaubt. Für die strategische Auswertung deiner robots.txt: KI-Crawler Audit.
Nur öffentlich abrufbare Seiten, keine Speicherung auf dem Server.
Häufige Fragen zu diesem Tool
Wichtiges Hintergrundwissen und SEO-Tipps kurz für dich erklärt.
Grundlagen
Was prüft der KI-Bot-Zugriffstest?
Das Tool ruft deine Seite nacheinander mit den offiziellen User-Agent-Kennungen von GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Applebot und Meta-ExternalAgent ab. Jede Antwort wird mit einem normalen Browser-Abruf verglichen: Statuscode, Seitentitel und Größe.
Warum reicht die robots.txt nicht als Prüfung?
Die robots.txt ist nur eine Bitte an die Bots. Viele Seiten blockieren KI-Bots zusätzlich über Firewalls, CDN-Einstellungen oder Sicherheits-Plugins, oft ohne es zu wissen. Dann erlaubt die robots.txt den Zugriff, der Bot bekommt aber trotzdem eine Fehlerseite404-FehlerEin 404-Fehler ist eine HTTP-Statusmeldung des Servers, die besagt, dass die angeforderte Webseite nicht gefunden wurde. Das passiert meistens, wenn eine URL gelöscht, verschoben oder…Mehr lesen.
Ist das Ergebnis identisch mit dem Verhalten der echten Bots?
Nicht zwingend. Das Tool nutzt die Kennungen der Bots, ruft aber von einem anderen Server ab. Manche Schutzsysteme prüfen zusätzlich die Herkunft des Abrufs. Das Ergebnis zeigt daher sehr gut, ob die Kennung selbst blockiert wird, ersetzt aber nicht den Blick in deine Server-Logs.
Praxis & Umsetzung
Was bedeutet „abweichend“?
Der Bot hat zwar eine Antwort erhalten, aber mit anderem Seitentitel oder deutlich weniger InhaltContentContent ist jede Information, die du auf einer Website bereitstellst, um Nutzer anzusprechen. Das können geschriebene Inhalte wie Blogartikel, aber auch Bilder, Videos oder Infografiken…Mehr lesen als der Browser. Das deutet auf Challenge-Seiten, Cookie-Sperren oder gekürzte Inhalte hin.
Was tue ich, wenn ein Bot blockiert wird?
Prüfe zuerst, ob die Sperre gewollt ist. Wenn nicht, suche in deinem CDN, deiner Firewall oder deinem Sicherheits-Plugin nach Regeln für Bots oder KI-Crawler und erlaube die gewünschten Kennungen. Danach das Tool erneut ausführen.
