In ChatGPT unsichtbar, weil das CDN blockte.

Ausgangslage

Ein Anbieter von Branchensoftware, rund 60 Mitarbeitende, stabile Positionen für die eigenen Kernbegriffe. In Kundengesprächen häufte sich eine Rückmeldung: Wer in ChatGPT oder Perplexity nach Anbietern dieser Softwarekategorie fragte, bekam zwei kleinere Wettbewerber genannt, nie das eigene Unternehmen. Die Vermutung im Haus war ein Content-Problem.

Diagnose

Schritt 1: Serverlogs nach KI-Crawlern filtern

Der erste Blick ging nicht auf die Inhalte, sondern in die Zugriffsprotokolle. Gefiltert wurde nach den relevanten User-Agents, und dabei nicht auf die Anzahl der Abrufe, sondern auf die Statuscodes:

grep -Ei 'GPTBot|OAI-SearchBot|ChatGPT-User|PerplexityBot|ClaudeBot' access.log \
  | awk '{print $9}' | sort | uniq -c | sort -rn

Das Ergebnis war eindeutig: mehrere Tausend Abrufe pro Monat, davon der überwiegende Teil mit Statuscode 403. Die Crawler kamen also, wurden aber abgewiesen. Für Googlebot lag der Anteil erfolgreicher Abrufe bei praktisch 100 Prozent.

Schritt 2: Den Abruf nachstellen

Zur Bestätigung wurde ein Abruf mit dem entsprechenden User-Agent nachgestellt und mit einem normalen Browser-Aufruf verglichen:

curl -sS -o /dev/null -w '%{http_code}\n' \
  -A 'Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)' \
  https://www.beispiel.ch/produkte/

Antwort: 403. Mit gewöhnlichem Browser-User-Agent: 200.

Schritt 3: Ursache im CDN finden

Die robots.txt war unauffällig, ein noindex gab es nicht. Fündig wurden wir in der Firewall-Konfiguration des CDN: eine Bot-Management-Regel, Jahre zuvor gegen Scraping eingerichtet, blockierte alles, was nicht auf der Liste verifizierter Suchmaschinen-Bots stand. Googlebot und Bingbot standen darauf, die KI-Crawler nicht. Eingerichtet hatte die Regel die IT, dokumentiert war sie nirgends, und im Marketing wusste niemand davon.

Weitere Befunde

• Die Produktseiten lieferten Preismodell und Funktionsumfang erst nach JavaScript-Ausführung. Im HTML-Quelltext stand an dieser Stelle nichts.
• Der Firmenname erschien je Seitentyp in drei Schreibweisen: einmal mit Rechtsform, einmal ohne, einmal als Kürzel.
• Es gab kein Organization-Markup, dafür ein verwaistes Produkt-Markup mit einem Preis, der seit zwei Jahren nicht mehr galt.

Umgesetzte Massnahmen

1. Suchbezogene KI-Crawler freigeben. In der Firewall eine Ausnahme für OAI-SearchBot, ChatGPT-User und PerplexityBot, verifiziert über die von den Anbietern veröffentlichten IP-Bereiche und nicht nur über den User-Agent-String. Die reinen Trainings-Crawler wurden separat entschieden und bewusst zugelassen.
2. robots.txt explizit machen. Nicht weil eine Sperre bestand, sondern damit die Entscheidung dokumentiert ist und beim nächsten Relaunch nicht versehentlich kippt:

   User-agent: OAI-SearchBot
   Allow: /
   
   User-agent: PerplexityBot
   Allow: /

3. Kernaussagen serverseitig ausliefern. Preismodell, Funktionsumfang und Systemanforderungen wandern ins initiale HTML. Der Test dafür ist banal: Quelltext ohne JavaScript ansehen und prüfen, ob die Aussage darin steht.
4. Eine Schreibweise, überall. Firmenname vereinheitlicht, Organization- und Product-Markup neu aufgebaut, mit stabilen Identifikatoren und ohne Widerspruch zum sichtbaren Text. Das veraltete Preis-Markup wurde entfernt.
5. Antwort zuerst. Auf jeder Seite, die eine Frage behandelt, steht die Antwort in zwei bis drei Sätzen oben, die Begründung darunter. Das ist die Form, die als Passage entnommen werden kann.
6. Monitoring aufgesetzt. Wöchentliche Auswertung der Bot-Statuscodes aus den Logs, dazu ein Frageset aus dem Markt, das monatlich in ChatGPT, Perplexity und Copilot abgefragt und protokolliert wird.

Woran die Wirkung gemessen wird

Alle vier Werte wurden vor dem ersten Eingriff festgehalten. Ohne diesen Ausgangswert wäre später keine Aussage über Wirkung möglich gewesen.

Woran Sie erkennen, ob Sie dasselbe Problem haben

• Die Google-Rankings sind in Ordnung, in KI-Antworten kommen Sie trotzdem nie vor
• In den Logs stehen Zugriffe von KI-Crawlern mit 403, 401 oder 429
• Sie nutzen ein CDN mit Bot-Management, und niemand im Haus kennt die Regeln im Detail
• Ein Abruf per curl mit KI-User-Agent liefert einen anderen Statuscode als der Browser
• Kernaussagen Ihrer Angebotsseiten stehen nicht im HTML-Quelltext

Die ersten beiden Punkte prüfen Sie in einer halben Stunde selbst. Wenn dort etwas auffällt, ist der Rest der Analyse Fleissarbeit.