par Knup » Jeu Avr 26, 2012 8:28 am
C'est un bot (un robot ou programme automatisé quoi) qui parcour les forum pour indexer les pages.
La définition de google:
Qu'est-ce que Googlebot ?
Googlebot est le robot d'exploration Web de Google ("spider" en anglais). Lors de l'exploration, le robot Googlebot recherche des pages mises à jour ou nouvelles à ajouter dans l'index Google.
Grâce à un gigantesque réseau d'ordinateurs, nous sommes en mesure d'extraire (ou explorer) des milliards de pages Web. Googlebot utilise un processus basé sur des algorithmes ; nos programmes informatiques déterminent les sites à explorer, la fréquence d'exploration et le nombre de pages à extraire de chaque site.
Dans un premier temps, Googlebot explore les URL de pages Web recueillies au cours d'explorations précédentes. À ces URL viennent s'ajouter les données Sitemap fournies par les webmasters. Au cours de sa visite, Googlebot détecte les liens SRC et HREF figurant sur chacune des pages et les ajoute à sa liste de pages à explorer. Les nouveaux sites, les modifications de sites existants et les liens rompus sont répertoriés et utilisés pour mettre à jour l'index Google.