Steuern sollte jeder Shop seine KI-Crawler – die Frage ist nur, womit. Die viel diskutierte llms.txt ist ein Community-Vorschlag ohne verbindliche Wirkung; welche Bots den Shop tatsächlich lesen dürfen, entscheidet nach wie vor die robots.txt – und im Zweifel die Bot-Regel im CDN. Dieser Beitrag zeigt, welche KI-Crawler es gibt, wie man sie gezielt zulässt oder aussperrt und was die llms.txt realistisch leisten kann.
Auf einen Blick
- llms.txt (llmstxt.org) ist eine Markdown-Datei im Root, die KI-Systemen kuratierte Inhalte anbietet – ein Community-Vorschlag, kein von OpenAI, Google oder Anthropic verabschiedeter Standard.
- Die verbindliche Steuerung läuft über robots.txt-Direktiven für GPTBot, ClaudeBot, Google-Extended, PerplexityBot & Co. – plus CDN-/WAF-Regeln als harte Grenze.
- Zulassen und Aussperren sind beide legitim – entscheidend ist eine bewusste Entscheidung statt einer Zufallskonfiguration aus generischen Bot-Listen.
- Die Studienlage zum llms.txt-Nutzen ist dünn (Stand: November 2026) – geringer Aufwand, ungewisser Ertrag.
Was ist llms.txt?
Die llms.txt ist ein Vorschlag aus der KI-Community (llmstxt.org, initiiert im September 2024): eine Markdown-Datei im Root der Website, die KI-Systemen einen kuratierten Überblick gibt – wer der Anbieter ist, welche Inhalte wichtig sind, wo die maschinenlesbaren Einstiegspunkte liegen. Ergänzend sieht der Vorschlag eine llms-full.txt vor, die ganze Inhalte im Volltext bündelt. Die Idee: Statt dass ein Sprachmodell sich durch Navigation, Cookie-Banner und Template-Code arbeitet, bekommt es die Essenz der Website direkt serviert. Wichtig für die Einordnung: Keiner der großen KI-Anbieter hat sich formell verpflichtet, die Datei auszuwerten – sie ist ein Angebot, kein Protokoll.
Steuert llms.txt wirklich, was KI-Crawler tun?
Nein. Die llms.txt kann Inhalte anbieten, aber nichts verbieten – sie ist das Schaufenster, nicht der Türsteher. Die tatsächliche Steuerung von KI-Crawlern läuft auf zwei anderen Ebenen: Erstens über die robots.txt, in der sich die dokumentierten Bots der großen Anbieter per User-Agent ansprechen lassen. Zweitens über CDN- und Firewall-Regeln (Cloudflare & Co.), die Zugriffe technisch durchsetzen – relevant, weil die robots.txt eine Konvention ist, an die sich nicht jeder Bot nachweislich hält. Wer beides sauber konfiguriert, braucht die llms.txt nicht zur Steuerung; wer sie zusätzlich anlegt, verliert nichts.
Welche KI-Crawler sollte ich kennen?
Die wichtigsten dokumentierten User-Agents, nach Zweck sortiert (Stand: November 2026 – die Listen der Anbieter wachsen laufend):
| User-Agent | Betreiber | Zweck |
|---|---|---|
| GPTBot | OpenAI | Training künftiger GPT-Modelle. |
| OAI-SearchBot | OpenAI | Suchindex für die ChatGPT-Suche – speist Antworten mit Quellenlinks. |
| ChatGPT-User | OpenAI | Live-Abruf einzelner Seiten, wenn ein Nutzer danach fragt. |
| ClaudeBot | Anthropic | Crawling für Claude, unter anderem fürs Training. |
| Google-Extended | Kein eigener Crawler, sondern ein Steuer-Token: regelt, ob Gemini die Inhalte für das Training künftiger Modelle und als Quelle für Antworten in der Gemini-App und in Vertex AI nutzen darf (Grounding). | |
| PerplexityBot | Perplexity | Suchindex der Antwortmaschine Perplexity. |
| Meta-ExternalAgent | Meta | Training der Meta-KI-Modelle. |
| CCBot | Common Crawl | Offenes Web-Archiv – speist viele Trainingsdatensätze Dritter. |
Ein Detail wird oft missverstanden: Google-Extended betrifft Gemini außerhalb der Suche – das Training künftiger Modelle und die Nutzung als Quelle für Antworten in der Gemini-App und in Vertex AI (Grounding). Die AI Overviews und der AI Mode der Google-Suche hängen am regulären Googlebot – wer Google-Extended sperrt, verschwindet also nicht aus den KI-Antworten der Suche, wohl aber als Quelle in der Gemini-App. Was sich dort ändert, haben wir im Beitrag zu AI Mode und AI Overviews eingeordnet.
Wie sperre oder erlaube ich GPTBot & Co.?
Über gewöhnliche robots.txt-Direktiven, je User-Agent. Ein häufiges Muster für Shops: Antwort- und Such-Crawler zulassen (Sichtbarkeit), Trainings-Crawler aussperren (Contentschutz):
# Trainings-Crawler aussperren
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
# Antwort- und Such-Crawler zulassen
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Bei Google-Extended gilt dabei: Die Sperre nimmt den Shop auch als Quelle aus der Gemini-App, die KI-Antworten der Google-Suche bleiben unberührt. Das explizite Allow ist technisch meist redundant (was nicht verboten ist, ist erlaubt), dokumentiert aber die bewusste Entscheidung. Danach die zweite Ebene prüfen: Viele CDNs und Firewalls führen generische „AI-Bot"- oder „Bad-Bot"-Listen, die auch die Antwort-Crawler erfassen – eine robots.txt-Freigabe nützt nichts, wenn die WAF denselben Bot mit HTTP 403 abweist. Beide Ebenen müssen dieselbe Entscheidung abbilden. Der Aufwand ist überschaubar – eine Viertelstunde, die sich auch in der Woche vor dem Black Friday noch unterbringen lässt.
Zulassen oder aussperren – was passt zu meinem Shop?
Die Abwägung hat zwei Seiten. Für das Zulassen spricht die Sichtbarkeit: Wer in KI-Antworten als Quelle vorkommen will, muss die Antwort- und Such-Crawler hereinlassen – die Grundlagen dazu stehen im Beitrag zu den GEO-Grundlagen; auch für kommende Einkaufs-Agenten gilt: wer blockt, ist unsichtbar. Für das Aussperren sprechen Contentschutz (redaktionelle Inhalte nicht unentgeltlich ins Training geben) und Serverlast, denn KI-Crawler erzeugen teils erhebliches Abrufvolumen. Der pragmatische Mittelweg für die meisten Shops: Such- und Antwort-Crawler zulassen, Trainings-Crawler getrennt bewerten. Falsch ist vor allem eines – die Entscheidung gar nicht zu treffen und einer mitgelieferten Bot-Liste zu überlassen.
Bringt llms.txt bessere KI-Sichtbarkeit?
Ehrliche Antwort: Das ist offen. Belastbare Studien, die eine Wirkung der llms.txt auf Zitierhäufigkeit oder KI-Traffic zeigen, gibt es bislang nicht (Stand: Redaktionsschluss); Auswertungen von Server-Logs zeigen bei vielen Betreibern nur sporadische Abrufe der Datei, und kein großer Anbieter hat ihre Auswertung offiziell zugesagt. Dem steht ein sehr geringer Aufwand gegenüber: Eine llms.txt ist in einer Stunde erstellt und gepflegt. Unsere Einschätzung: anlegen, aber keine Wunder erwarten – die Sichtbarkeitsarbeit passiert in den Inhalten, den strukturierten Daten und der Crawler-Freigabe. Wie so eine Datei aussieht, zeigt unsere eigene llms.txt im Livebetrieb.
Was das XONIC Shopsystem dafür mitbringt
Die KI-Crawler-Steuerung ist seit Version 4.8.2 an Bord und trennt genau die beiden Ebenen dieses Beitrags: Der Schalter AI_BOT_ALLOW lässt Antwort- und Such-Crawler gezielt zu, AI_TRAINING_ROBOTS_DISALLOW schreibt die Ausschlüsse für Trainings-Crawler automatisch in die robots.txt – ohne Handarbeit an der Datei. Dazu kommt der KI-Wissensexport, der kuratierte Shop-Inhalte maschinenlesbar bereitstellt – im Kern die Idee der llms.txt, nur strukturiert. Produkt- und Inhaltsseiten liefern die zitierfähige Basis gleich mit: Product-JSON-LD samt Merchant-Feed, FAQPage-Microdata und NewsArticle-JSON-LD mit Autorenprofil. Einen Überblick gibt die Funktionsübersicht.
