Cloaking en PHP

1- Cloaking: l'arme absolue du référencement ?
2- Optimisez votre référencement dans les moteurs de recherche - Les robots
3- Optimisez votre référencement dans les moteurs de recherche - Démarrer
4- Créez une page HTML optimisée pour les moteurs de recherche
5- Tuto: Cloaker les moteurs de recherche en PHP - premiers pas
6- Annexe: liste de user-agents et adresses IP des robots

Exemple d'user-agent cloaking: présentation d'une page spécifique à Googlebot (le robot de Google), et de la page "standard" à tous les autres visiteurs (humains ou autres robots). Googlebot est identifié grâce à la fonction strpos(), qui détecte la présence de la chaîne de caractères "Googlebot" dans le user-agent du visiteur.

Exemple d'IP cloaking: présentation d'une page spécifique à Googlebot (le robot de Google) et Slurp (le robot de Inktomi), et de la page "standard" à tous les autres visiteurs (humains ou autres robots). Googlebot et Slurp sont identifiés grâce aux fonctions strval() et strpos(), utilisées pour détecter des suites de nombres présentes dans les adresses IP de ces robots.

Exemple d'IP cloaking par détection de l'hôte (DNS): présentation d'une page spécifique à Scooter (le robot d'AltaVista) et VoilaBot (le robot de Voila), et de la page "standard" à tous les autres visiteurs (humains ou autres robots). Scooter et VoilaBot sont identifiés grâce aux fonctions gethostbyaddr() et strpos(), utilisées pour détecter des chaînes de caractères présentes dans les DNS de ces robots.

le 09/04/2004 à 11:19De: Rubenxela [Site web]
Est-ce qu'on peut considérer comme cloaking l'utilisation des balises NOFRAME ?

le 09/04/2004 à 11:28De: Jan [Site web]
»Réponse à Rubenxela
Si l'on considère que le cloaking consiste à présenter aux robots une page différente de celle que voient les visiteurs, la réponse est oui.
En revanche, les moteurs prennent en compte le contenu de la noframe. Donc à priori cette pratique est tout à fait acceptable. Elles est d'ailleurs indispensable pour bien référencer un site en frames.
Paradoxe...

le 09/04/2004 à 16:04De: Rubenxela [Site web]
ouais paradoxe... En tous cas merci pour ta réponse ça m'a permis d'optimiser un site sous frame, il m'en reste un autre à faire. A priori pas de blacklistage en vue avec cette pratique. Mais après avoir lu tous les comment sur le site je me pose quand même un pbm ethique.

le 16/04/2004 à 15:53De: Daniel Schultz [Site web]
Hi,
Your article is very GOOD, thanks for writing it. Sorry, but as I don´t know French (I´ve read your article trying to guess by some words, and I understood the main meaning of this explanations!), I decided to write in English. I´m from Brazil!
I´d like to read more articles about Google.
Thanks,
Daniel

le 28/04/2004 à 19:53De: Mister Bark [Site web]
Hum... très intéressant :)
mais il serait encore plus magik de définir par ex une page "bot.html" a charger si c'est un bot (user-agent ou host contiennent "bot") , sinon charger "index.html"
Comment peut on donc renvoyer directement le contenu d'une page html plutot que de l'intégrer a la source php ?
Merci @++ ;)

le 01/05/2004 à 23:57De: JC
Bonjour un ami m'a fait découvrir ce site hier soir et vos articles sont vraiment bien rédigé,
Vous dites que la détection par le user agent est moins fiable que l'utilisation de la détection des Ip des robots mais que si on utilise la détection par IP il est plus ou moins difficile de mettre à jour le fichier contenant les ip.
Ba pourquoi ne pas utiliser les deux procédés ce qui me parait à première vue tout à fait possible étant donné que je l'utilise pour empecher aux robots de démarrer les sessions.
- dans un fichier on place la liste des user agent et on check par rapport à $_SERVER["HTTP_USER_AGENT"]
- dans un autre fichier la liste des ip avec check sur $_SERVER["REMOTE_ADDR"]
Si dans un des deux cas le résultat nous dit que c'est bien un robot alors on affiche la page cloackée.
Utilisez les deux processus donne une assurance supplémentaire.
Dites moi si jme trompe :)

le 02/05/2004 à 00:07De: JC
Je reposte :)
J'étais en train de me poser une question ?
Qu'est-ce qui nous dit que les moteurs n'utilisent pas des robots avec des ip totalement inconnues (conservées sécretes) qui ne vérifieraient que certaines pages chacun des sites internet afin de vérifier que le cloacking n'est pas utilisé ?
Parce que dans ce cas à vouloir faire trop bien dans son référencement ON SE PLANTE :)

le 04/05/2004 à 22:10De: Mister Bark [Site web]
oui tu te plantes ;)
ca se saurait très vite car la récupération de robots.txt est absolument obligatoire pour les robots, sinon poursuites judiciaires :-p
et je connais peu d'internautes qui récuperent /robots.txt avant de visiter un site !
mais dites donc, ne serait-ce pas enfin une méthode très très fiable pour repérer les robots ?
ben oui! ceux qui prennent /robots.txt avant / sont à 99.9% des robots :D et tant pis pour les 0.1%
bref, ca c'est une idée qui traine depuis un pit moment dans ma tete mais je ne sais comment la mettre en pratiqueen php...
quelqu'un a une idée?
merci et @++

le 14/05/2004 à 15:04De: jc
robots.txt ne permet de faire du cloacking mais juste d'empecher de lire un répertoire.

le 14/05/2004 à 15:06De: jc
ou alors si tous les robots quelques soient leur serveur sont obligés de lire robots.txt on pourrait détecter quand il a été lu et si il a été lu faire le necessaire pour le cloaking

le 14/05/2004 à 15:54De: Mister Bark [Site web]
que croyais tu que je disais? !

le 16/05/2004 à 13:11De: killerwolf [Site web]
GET: /robots.txt si c'est ca le get alors c'est forcmeent un robot c'est ca ce que tu veux dire

le 19/05/2004 à 23:29De: popol
j'aime ces échanges constructifs... Yyyyyeeeeessss

le 24/05/2004 à 01:07De: MisterBark [Site web]
bon, biensur que c'est ce que je voulais dire...
bref donc je me demande comment "garder en memoire" le fait que tel host vienne de faire tel get (/robots.txt)
une idée? il me semble qu'il faut plus que du php, certainement un peu d'sql non?
quelqu'un a-t-il une réponse à ce probleme?
je repose ma question un peu différemment au cas ou ca cré encore un probleme :)
--- comment savoir dans /index.php si un GET /robots.txt a été fait par le meme host dans une récente requette ? ----
voila, gniaaaaaaaaa. :)
jc ca te va?
ps: killerwolf j'aime bien ton site :)
nan en fait c pas trop mon style... je suis plutot femdom en noir :-p
@++

le 24/05/2004 à 20:49De: jc
je suis pas un spécialiste en developpement j'ai quelqun qui s'en charge je lui demanderais si il a une piste pour le get sur le robots.txt
Mais si les éventuelles ip secrètes de vérification d'utilisation du cloacking ne prenait pas en compte le robots.txt cela ne servirait à rien.
A voir.
En ce qui me concerne je ne prendrait pas le risque d'utiliser le cloaking
ps : dommage qu'il n'y ai pas de notification de réponse par mail sur ce mini forum.

le 01/06/2004 à 21:09De: Seb. [Site web]
A tout hasard ... dans le htaccess si on redirige le txt vers un script php qui rebalance un fichier txt, ça permet d'avoir un contrôle d'accès sur le robots.txt.

le 17/06/2004 à 17:47De: m.
il suffit de demander à apache d'interpreter les .txt en php. un chti code dans robot.txt, et hop !
mettre ça dans htaccess :
AddType application/x-httpd-php .txt

le 19/06/2004 à 21:10De: Jibou [Site web]
J'arrive pas à tester mon cloaking, uniquement pour Voilabot avec WANABrowser , même en mettant tous les truc: User-agent: Mozilla/4.0 (compatible; MSIE 5.0; Windows 95) VoilaBot BETA 1.2 (http://www.voila.com/)
Connaissez vous la façon, ou un autre outil pour le faire ?
Sinon, pour rediriger un moteur vers une autre page, suffit de poser ça:
<? require("pagepourmoteur2.html"); ?>
à la place du html pour le moteur en question, et celui çi prendra "pagepourmoteur2.html" pour votre home page, pratique pour ne pas encombrer sa home page.
Et... j'ai un pote fort en php qui trouve bizarre le !==false (ça fait "quoi different de egal faux ?") mais ça c'est moins grave.

le 21/06/2004 à 17:23De: Arthur
L'opérateur !== sert à tester l'inégalité stricte de deux variables. Je m'explique. Imagine que GoogleBot soit à la première position de l'user agent. strpos renvoie donc le nombre 0 dans toruve, bien qu'il ait trouvé (0 = première position).
Maintenant, si tu fais $trouve != false, $trouve sera considéré comme bien égal, et la condition sera donc fausse. Par contre, si tu utilises !==, sera d'abord vérifiée si $trouve est de type booleen.
voilà, j'espere ne pas avoir été trop confus.

le 24/06/2004 à 17:30De: david
Bravo bravo bravo bravo pour ce site.
Son contenue est très précieux et les explications sont simples ...
merci pour tout

le 25/06/2004 à 00:39De: david [Site web]
pour apporter un peu d'eau au moulin, voila un script malin qui traque les aspirateurs de sites, récupèrent les user agents et les inscrit dans le fichiers .htaccess.
Il ne manque pas grand chose pour le modifier de telle manière qu'il capte les users agents des spiders. Bon courage car pour ma part j'en suis pas là. J'ai un site à écrire...le script

le 28/06/2004 à 18:42De: catboy
Très intéressant cet article et ce petit débat qui le suit. En même temps j'ai beaucoup ri, ca fait plaisir de lire une doc en se fendant la gueule ! :oD
En tous cas david, c'est clair que si un script exécuté par une tenative de lecture du robot.txt (qui en faite ne sera pas un txt mais un script php déguisé grâce à un rewriting dans .htaccess) met à jour directement le même .htaccess avec l'ip du "pseudo" bot il ne sera même plus nécessaire d'utiliser un :
<? require("pagepourmoteur2.html"); ?>
dans ta home page, suffira tout simplement de berner ce con de bot en lui faisant croire que ton index.php (par exemple) est pagepourmoteur2.html (rewriting encore une fois) et le tour est joué !
Pas une seule ligne de code à modifier dans la home page, c pas cool ça ! ;o)
Reste encore la judicieuse remarque de jc qui met en doute le fait qu'un bot venant inspécter d'éventuelle fraudeur et non faire d'indexation lise réellement le robot.txt ( et quel intéret dans ce cas d'ailleur :o/ )

le 07/07/2004 à 00:24De: popol
du positif, que du positif, ... bravo...

le 12/07/2004 à 18:51De: Tristan [Site web]
eh eh, comme c'est mon jour de bonté, je vous file mon script :-)
en fait ya juste une fonction...
elle permet de tester si votre page est visitée par google en testant l'IP.
La liste des IP (de google bot) est mise à jour automatiquement à partir de http://www.iplists.com/google.txt
Et pour pas faire une requête sur iplists.com à chaque fois, la liste est enregistrée dans un fichier cache sur votre serveur...
exemple utilisation :
$google_detecte=ip_google_bot($_SERVER["REMOTE_ADDR"],"fichier_liste_ip.txt",24);
if($google_detecte==true )
{echo "Page visitée par GOOGLE !!!!!!!!!!!!";}
else
{echo "c pas google...";}
A noter, que pour être parfaite, il faudrait rajouter pas mal de tests à la fonction...
Voila, Voila !!!
Merci qui ?
function ip_google_bot($adresseip,$fichier_cache,$periode_maj)
{
$google_detecte=false;
$url_liste_des_IP = "http://www.iplists.com/google.txt";
//on vérifie si le fichier en cache existe,
// et si il faut le mettre à jour (toutes les 24h)
$mettre_a_jour_le_cache=true;
if (file_exists($fichier_cache))
if ( (filemtime($fichier_cache)
+$periode_maj*3600)>time()
) {$mettre_a_jour_le_cache=false;}
else {unlink($fichier_cache);}
if ($mettre_a_jour_le_cache==true)
{
$inF = fopen($url_liste_des_IP,"r");
$outF=fopen($fichier_cache, "w");
}
else
{
$inF = fopen($fichier_cache,"r");
}
while (!feof($inF))
{
$ligne_fichier=trim(fgets($inF, 4096));
if ($mettre_a_jour_le_cache==true)
fwrite($outF, $ligne_fichier."rn");
if ($ligne_fichier!=null)
if (strpos($adresseip,$ligne_fichier)!==false)
$google_detecte=true;
}
fclose($inF);
if ($mettre_a_jour_le_cache==true) fclose($outF);
return $google_detecte;
}

le 16/07/2004 à 10:24De: Jibou
Merci Arthur pour explication php, et Actulab pour le tout, mon cloak sur voilà a fonctionné !!!
voilà moteur me snobait un site dont la home est en anglais... normal, un petit cloak uniquement pour rediriger voilabot vers la page francaise et hop ! 3 semaines après mon site etait enfin sur voilà.
Après un an de baston et de courriers à voilà, la solution etait là, les niquer gentiment.
Gros gros gros merci Actulab, qui fait plusieurs heureux sur ce coup !

le 15/08/2004 à 17:01De: Loulo [Site web]
L'utilisation de balises NOFRAME est faite pour permettre à des personnes ayant des navigateurs ne gérant pas les frames de pouvoir consulter un site ayant des frames (notamment les non voyants). Les utiliser dans le cas d'un site sans frames en y mettant des mots clefs (à la place de liens vers les parties du site) s'apparente donc à de la triche, est ce que les moteurs sanctionnent pour ça? Je ne le sais pas.

le 22/08/2004 à 16:11De: nicolas
n'ya t'il pas un risque de cloaker en php car ya la version en cache de la page dans google.
qu'en pensez-vous ?

le 22/08/2004 à 16:33De: Jan [Site web]
nicolas,
Si tu cloakes, il faut évidemment interdire aux moteurs de recherche de mettre tes pages en cache:
<meta name="robots" content="noarchive" />
A défaut, ton cloaking sera visible de tout le monde, et tu risques la dénonciation par spam report...

le 22/08/2004 à 16:48De: nicolas
merci jan de ta remarque.
il me semblais bien qu'il existais une balise meta pour pour interdire la mise en cache.

le 24/08/2004 à 15:55De: Ranitkin
hello, can someone explain php cloaking script in english please?

le 27/08/2004 à 14:03De: mate
Avez-vous remarquer des changements?
Moi mon cloaking ne marche plus depuis je 2 3 semaines je pense
J'utilisais ma méthode avec le user agent sur googlebot.
J'ai changé pour l'ip
On va voir ce que cela donne.

le 29/09/2004 à 04:31De: pascal
mate : ne te base pas seulement sur une méthode, mais cumule les 3.
adresse ip, hote et agent. Car il est très facile pour un developpeur de donner le nom d'agent qu'il veut à son prog, il est aussi possible de fournir une "fake ip"... seul le nom d'hote n'est pas fakable.
Je suis tombé sur un site une fois, permettant de verifier si une page utilise du cloaking, le script de lecture se faisant passer pour Google.
Bref, il ne faut pas hésiter à tout simplement cumuler les 3, en maintenant par exemple une base de données à jour, contenant les infos de chaque robot de manière suffisament restrictive mais pas trop. bref, les expressions regulières sont tout indiquées.
je vous conseille le site regexp.com
amusez vous bien...

le 21/10/2004 à 11:16De: VGR [Site web]
Pour Tristan : quand on utilise des booléens, inutile d'écrire les tests subséquents comme tu le fais :
if ($mettre_a_jour_le_cache==true)
il faut écrire :
if ($mettre_a_jour_le_cache)

le 21/10/2004 à 11:21De: VGR [Site web]
pour votre info, au sujet de la technique du AddType php txt pour détecter les lectures de /robots.txt : elle a l'inconvénient de ralentir l'affichage des VRAIS fichiers texte, par exemple les scripts PHP renommés en .txt pour affichage et consultation.
L'autre possibilité est de "parser" access.log pour mettre à jour la liste des IP@ et U-A l'accédant.
Comme de toute manière j'ai un processus quotidien de détection des tentatives d'intrusion qui met en oeuvre le parsing de error.log et access.log, ce n'est pas beaucoup de travail en plus pour le faire chaque jour...
Si vous êtes intéressés par cette technique, c'est dispo dans les outils tiers, catégorie "log files", sur http://www.edainworks.com
à++

le 23/11/2004 à 10:04De: dredd
Bonjour,
J'ai essayé de tester le cloaking pour eviter les sessions pour les robots. Mes tests perso marchent très bien, les robots ont détectés, mais j'ai un pb quand je veux tester avec wannabrowser : Il me renvoie les message ci-dessous. Du coup, je ne sais pas ce que vont voir réellement les robots.
Quelqu'un pourrait m'aider SVP
Par avance merci
Message wannabrowser :
HTTP/1.1 400 Bad Request
Date: Tue, 23 Nov 2004 08:59:18 GMT
Server: Apache/1.3.29 (Unix) FrontPage/5.0.2.2634 PHP/4.3.8 mod_perl/1.29
Connection: close
Content-Type: text/html; charset=iso-8859-1
<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<HTML><HEAD>
<TITLE>400 Bad Request</TITLE>
</HEAD><BODY>
<H1>Bad Request</H1>
Your browser sent a request that this server could not understand.<P>
The request line contained invalid characters following the protocol string.<P>
<P>
<HR>
<ADDRESS>Apache/1.3.29 Server at ns3.net4all-dns.com Port 80</ADDRESS>
</BODY></HTML>

le 29/01/2005 à 18:22De: KTee
Cela fait peu etre un peu de temps que rubenxela a poster sa demande concernant le cloaking et les no-frames, mais en rapport avec cela je me demandai comment est interpreter par les moteurs de recherche la technique du remplacement d'image par CSS.
Un texte html simple et un affichage completement différent vu que le texte est remplacé par des images pour "normalement" des besoins de design...?

le 29/01/2005 à 19:13De: Jan [Site web]
KTee
Le graphisme du site, en particulier les images n'ont à priori que peu d'influence, voire aucune, sur le positionnement dans les moteurs de recherche.
En revanche les css permettent de rendre du texte invisible. A ce jour, c'est donc une façon de les "spamer" qui marche bien.

le 29/01/2005 à 19:44De: KTee
Merci Jan pour cette réponse plus que rapide.
Le problème restant la visibilité par tous du code présent dans la page, pas comme ta version de cloaking par IP présenté dans ton concours.

le 14/02/2005 à 10:44De: lenag
Bonjour tout le monde et merci pour tous ces bons conseils sur le cloaking (une methode qui était pour moi un peu trouble) .
Certe on peu pensé que la methode n'est pas trés correct mais je la trouve malgrés tout à la hauteur de ce que pratique la concurrence (c'est à dire la même chose)
J'ai essayé pour voir ce que cela pouvait donner sur mon site (dont je vais taire l'adresse afin d'eviter toute represaille) et, je desirerai savoir combien de temps il faut en moyenne pour en ressentir les resultats ?
D'autre part, comment reellement etre efficace quand à la proportion de mots clefs à inserer dans la partie vue par les moteurs ?
En effet, j'ai un peu peur d'avoir forcé la dose est d'etre catalogué comme spammeur .
D'autre part je cherche un moyen de generer dynamiquement des pages en fonction des mots clefs demandés par les internautes dans les moteurs de recherche .
En gros je souhaite connaître comment faire pour que des pages soient generées automatiquement en fonction des termes de recherche .
Merci à tous

le 19/02/2005 à 00:44De: marsou [Site web]
très bon article...
néammoins, je ne pense pas que cette méthode soit nécessaire pour arriver à bien se placer sur des requêtes dites concurrentielles

le 22/02/2005 à 18:23De: MisterBark [Site web]
M. :
il suffit de demander à apache d'interpreter les .txt en php. un chti code dans robot.txt, et hop !
mettre ça dans htaccess :
AddType application/x-httpd-php .txt
-> ca va pas ?
non non quand meme pas ! simplement un Alias suffira !
Alias /robots.txt "/var/www/html/robots.php"

le 27/02/2005 à 10:08De: alpos69 [Site web]
si j'ai bien tout compris, le cloacking ne va servir qu'à augmenter le nombre de mots clés liés à un site mais ça n'agit aucunement sur le PR ?? En gros de reproduire ce qu'on faisait avant avec les balises meta keyword et description...

le 02/03/2005 à 17:49De: Thoma
Une petite question, de la part d'un néophyte (ne me tapez pas dessus!!) comment faire pour "tester" sa page pour voir si elle est bien cloakée ? Cela se rapproche un peu du cloaking cracking challenge... alors quelqu'un a la réponse pour pouvoir vérifier ce que voit véritablement Google ??

le 06/03/2005 à 14:46De: youn [Site web]
Je viens de lire la série d'articles, il est vrai qu'ils sont bien écrits...C'est limite de l'incitation...
Faire du cloaking, c'est pas bien, et c'est même pas sur que ça marche : la page présentée aux moteurs sera-t-elle "plus sexy" à leurs yeux que la vraie page ???
Les voies des moteurs sont (de plus en plus) impénetrables.
Commencons par faire du cote valid xhtml + css, et déjà on sera sur la bonne voie...

le 03/05/2005 à 15:04De: simon
J'ai uttilisé vos ligne de code sur mon site mais au lieu de donner un type de page pour un seule robot j'ai choisi de lui dire de faire apparêtre les ligne que je veux pour tous en lui donnant :
$trouve=strpos($_SERVER["HTTP_USER_AGENT"],"Mozilla");
if($trouve == true){
Mon texte
};
en donnant echo $_SERVER["HTTP_USER_AGENT"] il ma donné Mozilla.
Est-ce que cela va marcher ?
Ai-je bien compris, Mozilla corespond au serveur qui éberge mon site et donc par cette commende je fait un cloaking générale ???
Ou est-ce que cela varira entre chaque internote qui visitera mon site ?
Et donc je rique que cela ne marche que sur ceux qui on le même system que moi ?

le 12/05/2005 à 09:18De: olivier
Bonjour à tous,
je ne suis pas un pro en référencement et je commence à me reseigner sur le sujet.
1)je voudrais savoir quel est l'interet de cette méthode, car on peut cacher du texte avec un displaynone ou un noscript?
le moteur l'index, mais l'internaute ne peut pas le voir!
2)cette partie de code on la met ou, car quand je regarde avec WANNABrowser je ne la vois pas apparaitre?

le 27/10/2005 à 10:04De: Khantic [Site web]
Le danger du cloaking est-il uniquement lié au texte vu par l'utilisateur (qui ne serait pas identique avec la vision du robot) ? Y-a t-il un risque de cloaker une page pour en modifier uniquement la structure mais en gardant le même contenu (ajout d'un attribut dans une balise) ?