Robots.txt-Monitoring

Validiert deine robots.txt und überwacht sie auf Änderungen. Eine fehlerhafte Robots.txt kann versehentlich Suchmaschinen am Indexieren hindern -- oder Pfade offenlegen, die du lieber verborgen hättest.

So funktioniert es

Hoppla ruft deine robots.txt ab und parst sie. Die Syntax wird gegen den Robots Exclusion Standard geprüft. Hoppla validiert Direktiven, erkennt potenzielle Probleme und benachrichtigt dich, wenn sich die Datei unerwartet ändert.

Was Hoppla prüft

• Verfügbarkeit -- robots.txt ist erreichbar und liefert HTTP 200
• User-Agent-Gruppen -- Parst jede User-Agent-Sektion und ihre Direktiven
• KI-Bot-Zugriff -- Klassifiziert bekannte KI-Crawler als blockiert, erlaubt oder nicht erwähnt (siehe unten)
• SEO-Probleme -- Erkennt typisierte Probleme wie fehlende Sitemap, pauschales Disallow: /, einen komplett blockierten Googlebot und blockierte CSS-/JS-Pfade
• Sitemap-Verweise -- Extrahiert Sitemap:-Direktiven
• Änderungserkennung -- Berechnet einen Content-Hash und zeigt einen Diff, wenn sich die Datei zwischen den Checks ändert

KI-Bot-Zugriff

Der Robots.txt-Check klassifiziert bekannte KI-Crawler danach, wie deine Datei sie behandelt -- blockiert, erlaubt oder nicht erwähnt. Zu den erfassten Bot-Familien gehören:

• OpenAI -- GPTBot, OAI-SearchBot, ChatGPT-User
• Anthropic -- ClaudeBot, Claude-Web, Claude-SearchBot, Claude-User, Anthropic
• Perplexity -- PerplexityBot, Perplexity-User
• Google -- Google-Extended
• Common Crawl -- CCBot
• ByteDance -- Bytespider
• Meta -- FacebookBot, meta-externalagent
• Amazon -- Amazonbot
• Apple -- Applebot-Extended

Wenn ein Check einen dieser Bots neu blockiert oder neu freigibt, wird das im Diff sichtbar (ai_bot_blocked / ai_bot_unblocked-Übergänge). Das ist das Herzstück des Checks für GEO / KI-Bereitschaft.

Konfiguration

Einstellung	Beschreibung	Standard
Check-Intervall	Wie oft Hoppla die Datei validiert	12 Stunden

Die Robots.txt-URL ist fest auf {monitor_url}/robots.txt gesetzt und nicht konfigurierbar.

Ergebnisse

Feld	Beschreibung
Datei vorhanden (has_robots_txt)	Ob eine robots.txt gefunden wurde
Content-Hash	SHA-256 der Datei, zur Erkennung von Änderungen
User-Agent-Gruppen	Jede User-Agent-Sektion und ihre Direktiven
KI-Bot-Klassifizierung	Bots aufgeteilt in blocked, allowed und not_mentioned
Sitemaps	In Sitemap:-Direktiven referenzierte URLs
SEO-Probleme	Typisierte Probleme: missing_sitemap, blanket_disallow (kritisch), googlebot_blocked (kritisch), css_js_blocked
Änderungen	Diff zum vorherigen Check (inkl. KI-Bot-Block-/Freigabe-Übergänge)

Beispielergebnis

Robots.txt: https://example.com/robots.txt (200 OK)

  User-agent groups:  3
  Sitemaps:
    - https://example.com/sitemap.xml
    - https://example.com/sitemap-news.xml

  AI bots:
    Blocked:        GPTBot, CCBot
    Allowed:        ClaudeBot
    Not mentioned:  PerplexityBot, Google-Extended

  Issues:
    - googlebot_blocked (critical): Googlebot is completely blocked with Disallow: /
    - missing_sitemap (warning): No Sitemap directive found in robots.txt

Alarme

Ereignis	Auslöser	Schweregrad
warning.robots_txt	Datei fehlt, hat Syntaxfehler, enthält riskante Direktiven oder ändert sich unerwartet	Warnung

Der Alarm zeigt dir, was sich geändert hat oder welche Probleme gefunden wurden. Bei Änderungen bekommst du einen Diff zwischen der vorherigen und aktuellen Version.

Häufige Probleme

• Disallow: / für alle User-Agents -- Blockt das komplette Crawling durch Suchmaschinen
• Fehlende Robots.txt -- Liefert 404, also gelten keine Crawl-Einschränkungen (kann gewollt sein)
• Sitemap-URL liefert Fehler -- Die in der Robots.txt referenzierte Sitemap ist nicht erreichbar
• Versehentliche Änderungen -- Ein Deployment oder CMS-Update überschreibt die Robots.txt mit falschen Regeln
• Tippfehler in Direktiven -- Falsch geschriebene Direktiven wie Dissallow werden von Crawlern einfach ignoriert