SEO & Online-Marketing

llms.txt, GPTBot & Co.: Soll mein Shop KI-Crawler steuern?

19.11.2026·Autor: Stephan Dunger

llms.txt, GPTBot & Co.: Soll mein Shop KI-Crawler steuern?
Kleiner Roboter vor einem geschlossenen Tor zu einem Ladenmodell – KI-generiertes Symbolbild

Steuern sollte jeder Shop seine KI-Crawler – die Frage ist nur, womit. Die viel diskutierte llms.txt ist ein Community-Vorschlag ohne verbindliche Wirkung; welche Bots den Shop tatsächlich lesen dürfen, entscheidet nach wie vor die robots.txt – und im Zweifel die Bot-Regel im CDN. Dieser Beitrag zeigt, welche KI-Crawler es gibt, wie man sie gezielt zulässt oder aussperrt und was die llms.txt realistisch leisten kann.

Auf einen Blick

  • llms.txt (llmstxt.org) ist eine Markdown-Datei im Root, die KI-Systemen kuratierte Inhalte anbietet – ein Community-Vorschlag, kein von OpenAI, Google oder Anthropic verabschiedeter Standard.
  • Die verbindliche Steuerung läuft über robots.txt-Direktiven für GPTBot, ClaudeBot, Google-Extended, PerplexityBot & Co. – plus CDN-/WAF-Regeln als harte Grenze.
  • Zulassen und Aussperren sind beide legitim – entscheidend ist eine bewusste Entscheidung statt einer Zufallskonfiguration aus generischen Bot-Listen.
  • Die Studienlage zum llms.txt-Nutzen ist dünn (Stand: November 2026) – geringer Aufwand, ungewisser Ertrag.

Was ist llms.txt?

Die llms.txt ist ein Vorschlag aus der KI-Community (llmstxt.org, initiiert im September 2024): eine Markdown-Datei im Root der Website, die KI-Systemen einen kuratierten Überblick gibt – wer der Anbieter ist, welche Inhalte wichtig sind, wo die maschinenlesbaren Einstiegspunkte liegen. Ergänzend sieht der Vorschlag eine llms-full.txt vor, die ganze Inhalte im Volltext bündelt. Die Idee: Statt dass ein Sprachmodell sich durch Navigation, Cookie-Banner und Template-Code arbeitet, bekommt es die Essenz der Website direkt serviert. Wichtig für die Einordnung: Keiner der großen KI-Anbieter hat sich formell verpflichtet, die Datei auszuwerten – sie ist ein Angebot, kein Protokoll.

Steuert llms.txt wirklich, was KI-Crawler tun?

Nein. Die llms.txt kann Inhalte anbieten, aber nichts verbieten – sie ist das Schaufenster, nicht der Türsteher. Die tatsächliche Steuerung von KI-Crawlern läuft auf zwei anderen Ebenen: Erstens über die robots.txt, in der sich die dokumentierten Bots der großen Anbieter per User-Agent ansprechen lassen. Zweitens über CDN- und Firewall-Regeln (Cloudflare & Co.), die Zugriffe technisch durchsetzen – relevant, weil die robots.txt eine Konvention ist, an die sich nicht jeder Bot nachweislich hält. Wer beides sauber konfiguriert, braucht die llms.txt nicht zur Steuerung; wer sie zusätzlich anlegt, verliert nichts.

Welche KI-Crawler sollte ich kennen?

Die wichtigsten dokumentierten User-Agents, nach Zweck sortiert (Stand: November 2026 – die Listen der Anbieter wachsen laufend):

User-AgentBetreiberZweck
GPTBotOpenAITraining künftiger GPT-Modelle.
OAI-SearchBotOpenAISuchindex für die ChatGPT-Suche – speist Antworten mit Quellenlinks.
ChatGPT-UserOpenAILive-Abruf einzelner Seiten, wenn ein Nutzer danach fragt.
ClaudeBotAnthropicCrawling für Claude, unter anderem fürs Training.
Google-ExtendedGoogleKein eigener Crawler, sondern ein Steuer-Token: regelt, ob Gemini die Inhalte für das Training künftiger Modelle und als Quelle für Antworten in der Gemini-App und in Vertex AI nutzen darf (Grounding).
PerplexityBotPerplexitySuchindex der Antwortmaschine Perplexity.
Meta-ExternalAgentMetaTraining der Meta-KI-Modelle.
CCBotCommon CrawlOffenes Web-Archiv – speist viele Trainingsdatensätze Dritter.

Ein Detail wird oft missverstanden: Google-Extended betrifft Gemini außerhalb der Suche – das Training künftiger Modelle und die Nutzung als Quelle für Antworten in der Gemini-App und in Vertex AI (Grounding). Die AI Overviews und der AI Mode der Google-Suche hängen am regulären Googlebot – wer Google-Extended sperrt, verschwindet also nicht aus den KI-Antworten der Suche, wohl aber als Quelle in der Gemini-App. Was sich dort ändert, haben wir im Beitrag zu AI Mode und AI Overviews eingeordnet.

Wie sperre oder erlaube ich GPTBot & Co.?

Über gewöhnliche robots.txt-Direktiven, je User-Agent. Ein häufiges Muster für Shops: Antwort- und Such-Crawler zulassen (Sichtbarkeit), Trainings-Crawler aussperren (Contentschutz):

# Trainings-Crawler aussperren
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

# Antwort- und Such-Crawler zulassen
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Bei Google-Extended gilt dabei: Die Sperre nimmt den Shop auch als Quelle aus der Gemini-App, die KI-Antworten der Google-Suche bleiben unberührt. Das explizite Allow ist technisch meist redundant (was nicht verboten ist, ist erlaubt), dokumentiert aber die bewusste Entscheidung. Danach die zweite Ebene prüfen: Viele CDNs und Firewalls führen generische „AI-Bot"- oder „Bad-Bot"-Listen, die auch die Antwort-Crawler erfassen – eine robots.txt-Freigabe nützt nichts, wenn die WAF denselben Bot mit HTTP 403 abweist. Beide Ebenen müssen dieselbe Entscheidung abbilden. Der Aufwand ist überschaubar – eine Viertelstunde, die sich auch in der Woche vor dem Black Friday noch unterbringen lässt.

Zulassen oder aussperren – was passt zu meinem Shop?

Die Abwägung hat zwei Seiten. Für das Zulassen spricht die Sichtbarkeit: Wer in KI-Antworten als Quelle vorkommen will, muss die Antwort- und Such-Crawler hereinlassen – die Grundlagen dazu stehen im Beitrag zu den GEO-Grundlagen; auch für kommende Einkaufs-Agenten gilt: wer blockt, ist unsichtbar. Für das Aussperren sprechen Contentschutz (redaktionelle Inhalte nicht unentgeltlich ins Training geben) und Serverlast, denn KI-Crawler erzeugen teils erhebliches Abrufvolumen. Der pragmatische Mittelweg für die meisten Shops: Such- und Antwort-Crawler zulassen, Trainings-Crawler getrennt bewerten. Falsch ist vor allem eines – die Entscheidung gar nicht zu treffen und einer mitgelieferten Bot-Liste zu überlassen.

Bringt llms.txt bessere KI-Sichtbarkeit?

Ehrliche Antwort: Das ist offen. Belastbare Studien, die eine Wirkung der llms.txt auf Zitierhäufigkeit oder KI-Traffic zeigen, gibt es bislang nicht (Stand: Redaktionsschluss); Auswertungen von Server-Logs zeigen bei vielen Betreibern nur sporadische Abrufe der Datei, und kein großer Anbieter hat ihre Auswertung offiziell zugesagt. Dem steht ein sehr geringer Aufwand gegenüber: Eine llms.txt ist in einer Stunde erstellt und gepflegt. Unsere Einschätzung: anlegen, aber keine Wunder erwarten – die Sichtbarkeitsarbeit passiert in den Inhalten, den strukturierten Daten und der Crawler-Freigabe. Wie so eine Datei aussieht, zeigt unsere eigene llms.txt im Livebetrieb.

Was das XONIC Shopsystem dafür mitbringt

Die KI-Crawler-Steuerung ist seit Version 4.8.2 an Bord und trennt genau die beiden Ebenen dieses Beitrags: Der Schalter AI_BOT_ALLOW lässt Antwort- und Such-Crawler gezielt zu, AI_TRAINING_ROBOTS_DISALLOW schreibt die Ausschlüsse für Trainings-Crawler automatisch in die robots.txt – ohne Handarbeit an der Datei. Dazu kommt der KI-Wissensexport, der kuratierte Shop-Inhalte maschinenlesbar bereitstellt – im Kern die Idee der llms.txt, nur strukturiert. Produkt- und Inhaltsseiten liefern die zitierfähige Basis gleich mit: Product-JSON-LD samt Merchant-Feed, FAQPage-Microdata und NewsArticle-JSON-LD mit Autorenprofil. Einen Überblick gibt die Funktionsübersicht.

Häufige Fragen zu llms.txt und KI-Crawlern

Die robots.txt regelt Zugriffe: Sie erlaubt oder verbietet Crawlern das Lesen der Website und ist etablierter Standard. Die llms.txt bietet an: Sie präsentiert KI-Systemen kuratierte Inhalte, kann aber nichts durchsetzen – und ihre Auswertung ist von keinem großen Anbieter zugesagt.

Ja – die Anbieter nutzen dafür getrennte User-Agents. Wer GPTBot (Training) sperrt und OAI-SearchBot samt ChatGPT-User (Suche und Live-Abruf) zulässt, bleibt in der ChatGPT-Suche zitierfähig. Bei Google gilt: Google-Extended regelt Training und Grounding für Gemini (Gemini-App, Vertex AI), nicht die KI-Antworten der Google-Suche.

Die robots.txt ist eine Konvention, keine technische Sperre. Die großen Anbieter dokumentieren ihre Bots und erklären, die Direktiven zu respektieren; für nicht dokumentierte Crawler gilt das nicht. Wer eine harte Grenze braucht, setzt zusätzlich CDN- oder Firewall-Regeln ein.

Nein, solange der reguläre Googlebot zugelassen bleibt – der Ausschluss von GPTBot, ClaudeBot oder Google-Extended berührt die klassische Google-Indexierung nicht. Wer dagegen pauschal alle Bots blockiert, riskiert auch die Suche selbst; deshalb Bot-Listen immer im Detail prüfen.

Quellen

Stephan Dunger
Über den Autor

Stephan Dunger

CTO · XONIC Solutions GmbH · Im Unternehmen seit 2012

Stephan Dunger gehört zu den Köpfen hinter dem XONIC Shopsystem. Seit 2012 entwickelt er die Plattform gemeinsam mit dem Team weiter – von der Datenbank über die Schnittstellen bis zum Checkout.

Programmierer aus Leidenschaft, technischer Kopf und Berater zugleich: Mit tiefem Know-how rund um Shopsysteme und E-Commerce verbindet Stephan die Tiefe eines Entwicklers mit dem Blick fürs große Ganze. Gemeinsam mit dem XONIC-Team prägt er die technische Ausrichtung, denkt Funktionen konsequent vom Nutzen des Händlers her und berät bei maßgeschneiderten Lösungen.

Das Ergebnis ist Software mit Gesicht: Kunden bekommen keinen anonymen Anbieter, sondern einen direkten Draht zu den Menschen, die XONIC entwickeln. Pragmatisch, schnell und auf Augenhöhe.

Kundenstimmen

Kommentieren
Nichts mehr verpassen.

E-Recht-Updates und neue Funktionen direkt ins Postfach.

Newsletter abonnieren