Web-intelligencehoofd Stephen Burns schetst hoe zoekoptimalisatie voor Google en zichtbaarheid voor kunstmatige-intelligentiemodellen zijn uitgeweerd tot afzonderlijke taken. De bevindingen zijn afkomstig uit een interview op de Odys Podcast over dataverzamelingspraktijken bij de Common Crawl Foundation.
Crawlingmetrieken en technische barrières
Common Crawl verwerkt maandelijks ongeveer 2,3 miljard webpagina’s. Deze datasets vormen de trainingsbasis voor grote taalmodellen zoals GPT, Claude en Llama. In tegenstelling tot Google, dat zich op PageRank baseert, evalueert de stichting het belang van een site via Harmonic Centrality. Deze metriek meet hoe dicht een domein bij de kern van het wereldwijde netwerk zit. Hogere centraliteitscores verhogen de crawl frequentie en de kans dat content in AI-trainingssets terechtkomt.Standaardconfiguraties van content delivery networks blokkeren AI-crawlers op ongeveer 35 procent van de websites. Site-eigenaren zijn zich vaak niet bewust van deze beperkingen. Children’s Hospital Los Angeles fungeert als een gedocumenteerd geval.
De instelling komt niet voor in AI-antwoorden over de behandeling van kinderkanker omdat de CDN-instellingen crawler-toegang verhinderen. Burns merkt op dat dergelijke configuratiefouten verder gaan dan technische beperkingen en de toegang tot openbare informatie kunnen beïnvloeden.
Sitebeheerders kunnen crawler-toegang verifiëren door robots.txt-bestanden, CDN-configuraties, serverlogs en CCBot-activiteitsregistraties te controleren. Snelle HTML-levering verbetert de crawlefficiëntie, aangezien veel AI-bots JavaScript met beperkte mogelijkheden verwerken. Het serveren van vooraf gerenderde markup zorgt ervoor dat content de trainingsdatasets bereikt.
Uitgevers die in niet-Engelse talen opereren, moeten Engelse versies van hun materialen onderhouden. Engelse versies verhogen de opnamepercentages in Engelstalige modellen. Nieuw opgerichte domeinen beginnen met lagere Harmonic Centrality-scores.
Backlinks van gevestigde websites versnellen de groei van netwerkproximiteit. Regelmatig monitoren via Common Crawl-tools stelt beheerders in staat de opnamestatus te volgen.