Cloaking et robots

[ 8 commentaires]

La course que se livrent les moteurs de recherche et les webmasters qui cherchent à y référencer leurs sites web ressemble par bien des points à celles qui opposent les créateurs de virus et les fabricants d'antivirus, ou Canal+ et les pirates: l'essentiel est d'avoir un coup d'avance.

Il y a encore quelques mois, le grand jeu consistait à optimiser (truquer?) les balises meta, ces informations invisibles des internautes que les moteurs de recherche utilisaient pour le référencement des sites web. Evidemment des abus, connus sous le nom générique de "spamdexing", se sont produits… On a même vu le site d'un candidat à l'élection présidentielle française de 1995 proposer le mot "sexe" dans ses métas, histoire d'appâter l'électeur coquin. Depuis, les moteurs de recherche ignorent les metas et focalisent sur le contenu des pages...

Qu'à celà ne tienne: le cloaking vient à la rescousse des webmasters. Il permet de présenter aux visiteurs humains des pages agréables à regarder (images, scripts DHTML, animations flash, …), et aux moteurs de recherche des pages optimisées pour le référencement et le positionnement du site (texte dense en mots-clés).

Comment fonctionnent les moteurs de recherche ?

Contrairement aux annuaires (Yahoo!, DMoz, Nomade, …) constitués par des humains, et donc impossible à cloaker, les moteurs de recherche (Google, Altavista, Voila…) utilisent des logiciels appelés robots, bots, spiders ou crawlers pour référencer les sites web qu'ils proposent dans leurs réponses. Ces "sales bestioles" se baladent de site en site en suivant les liens hypertexte, et analysent les pages qu'elles visitent.

Si certains robots sont très puissants par leurs algorithmes (Googlebot), la discrétion n'est pas leur fort. Les informations qu'ils transmettent dans le header http permettent en général de les identifier sans équivoque. Leurs USER-AGENT portent les doux noms de Googlebot, Slurp@inktomi ou Scooter, et ils ne dissimulent nullement leurs adresses IP. Un vrai bonheur pour le webmaster-cloakeur qui peut alors s 'en donner à cœur-joie pour les "arnaquer" en leur présentant des pages optimisées pour le référencement, qu'aucun internaute humain ne verra jamais.

Les 2 façons de cloaker les moteurs de recherche

Il est théoriquement possible de cloaker un robot en détectant son USER-AGENT (user-agent cloaking) ou en détectant son adresse IP (IP cloaking).

Dans la pratique l'IP cloaking est beaucoup plus fiable que le user-agent cloaking. En effet, les moteurs de recherche, un peu honteux de se faire cloaker, combattent ouvertement cette pratique. Un site pris en flagrant délit de cloaking a de fortes chances de se faire "blacklister", c'est à dire de disparaitre des réponses des moteurs de recherche.

S'il est très facile de maquiller ou de modifier son user-agent - et on peut penser que les robots ne s'en privent pas à l'occasion pour vérifier les sites qu'ils indexent (n'est-ce pas AltaVista?) - il est en revanche très compliqué de maquiller son adresse IP. D'où la préférence pour l'IP cloaking.

Le site WANNABrowser propose un outil en ligne sympathique qui permet de surfer sous l'user-agent de son choix. A titre de curiosité, allez donc voir si vos concurrents ne seraient pas de "vilains petits cloakeurs" en visitant leurs sites sous l'identité du tout-puissant Googlebot/2.1 (+http://www.google.com/bot.html)

» La suite - Optimisez votre référencement dans les moteurs de recherche - Démarrer...

Vos réactions à cet article :::

Ajoutez un commentaire en direct :::

Il est temporairement impossible de poster un commentaire: nos modos sont en vacances. A bientôt;)