llms.txt und robots.txt richtig für KI-Crawler einrichten

Eine Agentur beschwerte sich, in KI-Antworten nie vorzukommen. Die Ursache stand in drei Zeilen ihrer robots.txt: Ein Dienstleister hatte pauschal alle Bots ausgesperrt, die nicht Google oder Bing hießen. Der Fall ist kein Einzelfall, und er ist in einer Stunde behoben.

Welche Crawler überhaupt relevant sind

KI-Anbieter setzen unterschiedliche Bots für unterschiedliche Zwecke ein. Diese Unterscheidung ist wichtig, weil sie verschiedene Entscheidungen erlaubt.

Zwei Besonderheiten sind erklärungsbedürftig. Google-Extended und Applebot-Extended sind keine eigenständigen Crawler. Sie sind Schalter: Der normale Googlebot besucht die Seite ohnehin, und über diese Kennungen legen Sie fest, ob die Inhalte zusätzlich für KI-Zwecke verwendet werden dürfen. Wer Google-Extended sperrt, bleibt in der normalen Suche sichtbar, verliert aber die Chance auf eine Erwähnung in KI-Übersichten.

Die Entscheidung vor der Konfiguration

Bevor Sie Zeilen schreiben, klären Sie eine Frage: Verdienen Sie Geld mit Inhalten oder mit dem, worüber die Inhalte informieren?

Ein Fachverlag, dessen Artikel hinter einer Bezahlschranke stehen, hat gute Gründe, Trainings-Crawler auszusperren. Ein Handwerksbetrieb, ein Softwareanbieter oder eine Agentur nicht: Deren Inhalte sind Mittel zum Zweck, und jede Sperre reduziert die Chance, überhaupt vorzukommen.

Ein Mittelweg ist möglich: Live-Abruf erlauben, Training verbieten. Dann tauchen Sie in Antworten mit Quellenangabe auf, ohne dass Ihre Texte dauerhaft in Modellgewichten landen.

Vorlage für die robots.txt

Diese Variante erlaubt allen genannten Bots den Zugriff. Sie gehört in das Wurzelverzeichnis Ihrer Domain, erreichbar unter ihre-domain.de/robots.txt.

User-agent: *
Allow: /

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

Sitemap: https://ihre-domain.de/sitemap.xml

Wollen Sie Training ausschließen, aber Live-Abrufe erlauben, ersetzen Sie bei GPTBot, ClaudeBot und Google-Extended das Allow: / durch Disallow: / und lassen die übrigen unverändert.

Zwei Fallstricke aus der Praxis:

• Reihenfolge und Genauigkeit. Crawler befolgen den Block, der am genauesten auf ihren Namen passt. Ein User-agent: * mit Disallow: / wird durch einen späteren, spezifischen Block für GPTBot überschrieben — aber nur, wenn dieser tatsächlich vorhanden ist.
• Groß- und Kleinschreibung. Die Bot-Namen sind wie oben zu schreiben. gptbot wird nicht zuverlässig erkannt.

Was eine llms.txt leisten kann

Die llms.txt ist ein Vorschlag aus der Community: eine Datei im Wurzelverzeichnis, die in Markdown zusammenfasst, worum es auf der Seite geht und wo die wichtigen Inhalte liegen. Kein Anbieter hat sich verpflichtet, sie auszuwerten.

Trotzdem lohnt sich der Aufwand aus zwei Gründen. Erstens ist er gering. Zweitens zwingt die Datei dazu, das eigene Angebot in klare, überprüfbare Sätze zu fassen — und dieser Text ist auch für Menschen und für die normale Seite nützlich.

Eine brauchbare Struktur:

# Firmenname

> Ein Satz, der beschreibt, was das Unternehmen für wen tut.

Ergänzende Angaben: Standort, Gründungsjahr, Sprachen, Kontakt.

## Leistungen

- Leistung eins – ein Satz Erklärung
- Leistung zwei – ein Satz Erklärung

## Wichtige Seiten

- [Preise](https://ihre-domain.de/preise): Was die Seite enthält
- [Dokumentation](https://ihre-domain.de/docs): Was die Seite enthält

## Hinweise

Angaben, die zur korrekten Einordnung nötig sind.

Drei Regeln machen den Unterschied zwischen einer nützlichen und einer nutzlosen Datei:

1. Fakten statt Werbung. “Führender Anbieter” ist wertlos. “Seit 2019 am Markt, 40 Mitarbeitende, Hosting in Frankfurt” ist verwertbar.
2. Jede Zeile für sich verständlich. Die Datei wird in Ausschnitten gelesen, nicht als Erzählung.
3. Aktuell halten. Eine veraltete Preisangabe ist schlimmer als keine, weil das Modell sie mit voller Überzeugung weitergibt.

Prüfen, ob es funktioniert

Nach der Umstellung lohnt eine kurze Kontrolle:

• Erreichbarkeit. Rufen Sie ihre-domain.de/robots.txt und ihre-domain.de/llms.txt im Browser auf. Klingt banal, scheitert aber oft an einer Serverregel, die unbekannte Dateiendungen abweist.
• Lesbares HTML. Deaktivieren Sie JavaScript im Browser und laden Sie eine wichtige Seite neu. Was Sie dann nicht sehen, sieht der Crawler in der Regel auch nicht.
• Serverprotokolle. Suchen Sie in den Zugriffsprotokollen nach den Bot-Namen. Tauchen sie in den Wochen danach auf, funktioniert der Zugang.

Was das für Sie bedeutet

Diese Konfiguration schafft keine Sichtbarkeit. Sie beseitigt nur ein Hindernis — allerdings eines, an dem viele Websites scheitern, ohne es zu wissen. Der Aufwand liegt bei ein bis zwei Stunden.

Konkret in dieser Reihenfolge:

1. Aktuelle robots.txt aufrufen und prüfen, ob ein pauschales Disallow für unbekannte Bots existiert.
2. Entscheiden, ob Trainingsnutzung erlaubt sein soll, und die Datei entsprechend anpassen.
3. Eine llms.txt mit den oben genannten Abschnitten anlegen.
4. Ohne JavaScript prüfen, ob die wichtigsten Seiten überhaupt Text ausliefern.

Erst danach lohnt es sich, in Inhalte und strukturierte Daten zu investieren. Ein perfekt aufbereiteter Text nützt nichts, wenn der Crawler die Seite nicht betreten darf.