Schadet es mir, KI-Crawler zu erlauben?

Für öffentliche Marketing-Inhalte nicht, im Gegenteil, es ist die Voraussetzung dafür, überhaupt zitiert zu werden. Etwas anderes ist es bei Inhalten, die gar nicht öffentlich sein sollten: Die gehören hinter einen Login, nicht in eine robots.txt.

Brauche ich llms.txt wirklich?

Zwingend ist sie nicht, kein Modell verlangt sie. Sie kostet aber fast nichts und macht dein Angebot maschinenlesbar an einer Stelle, an der Modelle zunehmend nachsehen. Als Ergänzung sinnvoll, als Ersatz für saubere Inhalte nicht.

Sehe ich im Server-Log, ob ChatGPT da war?

Ja, und das ist der ehrlichste Beleg, den du bekommst. Die Bots melden sich mit klarem User-Agent, etwa GPTBot oder PerplexityBot. Wer dort gar nicht auftaucht, hat kein Content-Problem, sondern ein Zugangsproblem.

Lässt du ChatGPT überhaupt rein? KI-Crawler richtig steuern

Über GEO wird viel geredet: bessere Struktur, klarere Aussagen, mehr Belege. Alles richtig. Nur nützt das genau nichts, wenn die Modelle deine Seite gar nicht erst abrufen dürfen.

Das ist die unglamouröseste Frage im ganzen Thema, und die, an der überraschend viele Websites still scheitern.

Die Bots, die dich lesen wollen

Anders als Google schickt nicht ein einziger Crawler vorbei, sondern ein halbes Dutzend, jeder mit eigenem Namen und eigenem Zweck:

GPTBot, holt Inhalte für OpenAI
OAI-SearchBot, der Suchteil von ChatGPT, der live nachschlägt
ClaudeBot, der Crawler hinter Claude
PerplexityBot, für die Antworten von Perplexity
Google-Extended, steuert, ob Google deine Inhalte für Gemini und die KI-Übersichten nutzen darf
CCBot, Common Crawl, aus dem sich viele Modelle bedienen

Wichtig ist der Unterschied dahinter: Manche dieser Bots sammeln Material fürs Training, andere schlagen im Moment der Frage live nach. Wer die zweite Sorte aussperrt, ist in der KI-Suche sofort weg, nicht irgendwann, sondern beim nächsten Prompt.

Was in deiner robots.txt steht, und was fehlt

Ruf einmal deine-domain.de/robots.txt auf. Wahrscheinlich siehst du drei Zeilen, in denen kein einziger dieser Namen vorkommt.

Das ist erst mal kein Drama, denn ohne Verbot gilt: erlaubt. Es heißt aber auch, dass niemand die Entscheidung je getroffen hat. Und genau da wird es riskant, viele Sicherheits-Plugins und CMS-Voreinstellungen tragen inzwischen ungefragt Sperren für KI-Bots ein. Wer nie nachgesehen hat, weiß schlicht nicht, was auf seiner Seite steht.

Sauberer ist, die Entscheidung sichtbar zu machen und die relevanten Bots ausdrücklich zu erlauben. Das kostet ein paar Zeilen und beantwortet die Frage ein für alle Mal.

llms.txt: das Inhaltsverzeichnis für Modelle

Ein jüngerer Vorschlag ist die llms.txt im Wurzelverzeichnis: eine schlichte Markdown-Datei, die einem Modell auf einen Blick sagt, wer du bist, was du anbietest und welche Seiten die wichtigen sind.

Sei ehrlich, was das ist und was nicht: Es gibt keinen Standard, den alle Anbieter befolgen, und niemand garantiert dir, dass sie gelesen wird. Aber sie ist in zwanzig Minuten geschrieben, sie schadet nicht, und sie zwingt dich zu einer nützlichen Übung, nämlich dein Angebot in klaren, zitierfähigen Sätzen zu formulieren. Genau das ist ohnehin der Kern von GEO, mehr dazu in Content-Struktur für KI.

Der Denkfehler: Sperren schützt nicht, es macht unsichtbar

Immer wieder hört man den Reflex: „Meine Inhalte sollen nicht ins KI-Training." Verständlich, nur wird dabei zweierlei verwechselt.

Deine Marketing-Seiten sind öffentlich. Sie stehen im Netz, damit sie gefunden werden. Sperrst du die Crawler aus, verhinderst du nicht, dass jemand über dich spricht, du sorgst nur dafür, dass die KI ihre Antwort aus anderen Quellen zusammensetzt. Aus Verzeichnissen, Foren, Presseartikeln, der Website deines Wettbewerbers. Du verlierst nicht die Erwähnung, du verlierst die Kontrolle darüber.

Etwas völlig anderes sind Inhalte, die nie öffentlich sein sollten, Kundendaten, Preislisten, interne Dokumente. Die schützt du nicht mit einer robots.txt, sondern mit einem Login. Eine robots.txt ist eine höfliche Bitte, keine Tür.

Woran du erkennst, ob sie wirklich kommen

Das Beste an diesem Thema: Du musst nicht raten. Anders als bei der Frage, ob eine KI dich nennt, ist der Zugriff hart messbar.

Im Server-Log deines Hosters stehen die Bots mit Namen. Filtere nach GPTBot, ClaudeBot, PerplexityBot und sieh nach, ob sie auftauchen, wie oft und welche Seiten sie holen. Kommt dort über Wochen niemand, ist das ein handfester Befund, und ein anderer als „mein Content überzeugt nicht". Wie du von dort aus weitermisst, steht in Wie misst du, ob ChatGPT dich nennt?.

Was du heute prüfst

Drei Dinge, keine zwanzig Minuten: robots.txt aufrufen und nach den Bot-Namen suchen. Im Server-Log nachsehen, ob in den letzten vier Wochen überhaupt ein KI-Crawler da war. Und wenn du ein Sicherheits-Plugin einsetzt, dessen Bot-Einstellungen kontrollieren.

Findest du eine Sperre, die niemand bewusst gesetzt hat, hast du gerade den billigsten GEO-Hebel deines Jahres gefunden. Wo du danach ansetzt, zeigt dir der GEO-Readiness-Check, und wenn wir das für dich übernehmen sollen, sprich uns an.