Web-Intelligence-Lead Stephen Burns erläutert, wie sich Suchmaschinenoptimierung für Google und Sichtbarkeit für KI-Modelle zu eigenständigen Aufgaben entwickelt haben. Die Erkenntnisse stammen aus einem Interview im Odys Podcast über Datenerfassungspraktiken der Common Crawl Foundation.
Crawling-Metriken und technische Barrieren
Common Crawl verarbeitet monatlich rund 2,3 Milliarden Webseiten. Diese Datensätze bilden die Trainingsgrundlage für große Sprachmodelle wie GPT, Claude und Llama. Anders als Google, das auf PageRank setzt, bewertet die Stiftung die Bedeutung einer Website durch Harmonic Centrality. Diese Metrik misst, wie nah eine Domain zum Kern des globalen Netzwerks steht. Höhere Zentralitätswerte erhöhen die Crawling-Häufigkeit und die Wahrscheinlichkeit, dass Inhalte in KI-Trainingsdatensätze aufgenommen werden.Standardeinstellungen von Content Delivery Networks blockieren KI-Crawler auf etwa 35 Prozent der Websites. Site-Betreiber sind sich dieser Einschränkungen oft nicht bewusst. Das Children’s Hospital Los Angeles ist ein dokumentierter Fall.
Die Einrichtung taucht in KI-Antworten zu pädiatrischer Leukämie-Behandlung nicht auf, weil ihre CDN-Einstellungen den Crawler-Zugriff verhindern. Burns weist darauf hin, dass solche Konfigurationsfehler über technische Grenzen hinausgehen und den Zugang zu öffentlichen Informationen beeinträchtigen können.
Site-Administratoren können den Crawler-Zugriff überprüfen, indem sie robots.txt-Dateien, CDN-Konfigurationen, Server-Logs und CCBot-Aktivitätsaufzeichnungen prüfen. Schnelle HTML-Lieferung verbessert die Crawling-Effizienz, da viele KI-Bots JavaScript nur begrenzt verarbeiten können. Die Bereitstellung vorgerenderter Markup-Sicherstellen, dass Inhalte Trainingsdatensätze erreichen.
Verlage, die in Nicht-Englisch-Sprachen arbeiten, sollten englische Versionen ihrer Materialien pflegen. Englische Fassungen erhöhen die Aufnahmequoten in englischsprachigen Modellen. Neu gestartete Domains beginnen mit niedrigeren Harmonic-Centrality-Werten.
Backlinks von etablierten Websites beschleunigen das Wachstum der Netzwerk-Nähe. Regelmäßige Überwachung mit Common Crawl-Tools ermöglicht Administratoren die Nachverfolgung des Aufnahme-Status.