Le responsable de l’intelligence web, Stephen Burns, explique comment l’optimisation pour Google et la visibilité auprès des modèles d’intelligence artificielle sont devenues des tâches distinctes. Ces conclusions proviennent d’un entretien diffusé sur l’Odys Podcast, portant sur les pratiques de collecte de données au sein de la Common Crawl Foundation.
Métriques de crawl et barrières techniques
Common Crawl traite environ 2,3 milliards de pages web chaque mois. Ces ensembles de données constituent le socle d’entraînement des grands modèles de langage, dont GPT, Claude et Llama. Contrairement à Google, qui s’appuie sur le PageRank, la fondation évalue l’importance d’un site grâce à la centralité harmonique. Cette métrique mesure la proximité d’un domaine avec le noyau du réseau mondial. Un score de centralité plus élevé accroît la fréquence de crawl et la probabilité que le contenu soit intégré aux jeux de données d’entraînement de l’IA.Les paramètres par défaut des réseaux de diffusion de contenu bloquent les robots d’IA sur environ 35 % des sites web. Les propriétaires de sites ignorent souvent ces restrictions. L’exemple de Children’s Hospital Los Angeles est documenté : l’établissement n’apparaît pas dans les réponses de l’IA sur les traitements de la leucémie pédiatrique, car les réglages de son CDN empêchent l’accès des robots.
Stephen Burns souligne que de telles erreurs de configuration dépassent les limites techniques et peuvent affecter l’accès à l’information publique.
Les administrateurs de sites peuvent vérifier l’accès des robots en examinant les fichiers robots.txt, les configurations CDN, les journaux du serveur et les traces d’activité de CCBot. Une livraison rapide du HTML améliore l’efficacité du crawl, car de nombreux robots d’IA traitent le JavaScript avec des capacités limitées.
Fournir un balisage pré-rendu garantit que le contenu atteint les jeux de données d’entraînement. Les éditeurs publiant dans des langues autres que l’anglais devraient maintenir des versions anglaises de leurs contenus. Ces versions en anglais augmentent les taux d’inclusion dans les modèles anglophones.
Les domaines nouvellement créés démarrent avec des scores de centralité harmonique plus faibles. Les liens entrants provenant de sites établis accélèrent la croissance de la proximité dans le réseau. Un suivi régulier via les outils de Common Crawl permet aux administrateurs de surveiller le statut d’inclusion.