Vous venez de récupérer un nom de domaine sympa, avec un bon PR. Super, vous allez pouvoir faire pas mal de choses avec (netlinking, quand tu nous tiens). Seulement, voilà : il reste encore de nombreuses URL indexées chez Google, et plutôt que de laisser googlebot se casser les dents sur des 404, vous aimeriez bien présenter un nouveau profil “propre”, histoire de bien repartir… Vous vous dirigez en grommelant vers les Google Webmaster Tools, tremblant déjà à l’idée d’y passer plusieurs heures… Et si on vous disait qu’il y a moyen d’automatiser tout le process ? Oui, oui, automatiser. Ou presque (un peu de config d’abord…). La réponse, ci-dessous !
Désindexer rapidement et facilement, sans y passer des heures
Tout d’abord, les pré-requis :
- des proxys (surtout si vous avez beaucoup d’url à enlever)
- le plugin firefox iMacros
- le script ci-dessous
- excel ou un éditeur CSV (notepadd ++ peut convenir)
- scrapebox, histoire de connaitre la liste des url à éliminer
- un bout de cerveau disponible
Un peu plus de détail sur le matos à réunir (ça ne devrait pas vous prendre plus de quelques minutes).
Pourquoi des proxys ?
Et bien tout simplement parce que Google n’aime pas trop se faire pinger à tout rompre. Et s’il voit que vos requêtes sont trop régulières, il ne va pas aimer et vous envoyer deux-trois captcha, histoire de vous calmer. Il serait dommage que votre IP soit référencée comme celle d’un adepte des scripts et autres automatisations en tout genre. Mieux vaut être un brin parano que de penser vivre dans un monde de Bisounours : on ne sait pas exactement jusqu’où va Google dans la collecte de données utilisateurs, donc prudence…
Pour les proxys, vous pouvez en prendre chez un fournisseur comme buyproxies.org, ou bien opter pour une solution moins couteuse sur le long terme, comme l’achat de Proxymultiply, qui nécessitera cependant quelques réglages pour récolter du proxy de bonne qualité. Notez que la phase “proxy” n’est conseillée que si vous avez un grand nombre d’url à désindexer, ou que vous êtes ultra pressé. Sinon, en affinant le script, vous pouvez passer sous le radar.
IMacros, le plugin miracle pour Firefox
IMacros est un petit plugin pour Firefox, pour automatiser tout un tas de chose : effacer des mails, des urls, cliquer sur des “j’aime”, pourrir le mur de votre ex. Disponible sur Mozilla Addon, il vous facilitera la vie a bien des égards. Bon, si vous avez tout ça, on va pouvoir commencer. Il vous permettra de mettre en place de nombreuses taches automatisées, soit en créant directement votre macros, soit en utilisant le mode “enregistrement” : vous lancez l’enregistrement, vous faites votre tache (effacer un mail en cliquant “Delete” par exemple, puis vous arrêtez l’enregistrement, et vous le “jouez”, en choisissant le nombre d’occurences à réaliser. Ultra simple, rapide, précis. Vous trouverez des tonnes de tutoriels pour utiliser facilement cet add-on en cherchant un peu sur Google.[clear]
Scrapebox, le couteau suisse du…SEO
Scrapebox sert à tout. Ou presque : récolter des urls, spammer vos copains, récupérer des adresses mail en automatique (ouh, c’est mal !), poster du commentaire automatique sur des blogs (pas glop non plus), pourrir le mur de votre ex (décidément…). Nous essaierons de vous présenter plus longuement la bête une prochaine fois (mais vous trouverez déjà un paquet d’infos sur le sujet en cherchant un peu). Bon, vous avez tout ce qu’il faut, on y va.
Etape 1 : récupérer toutes vos URL à supprimer
Vous avez votre liste de proxy : rentrez là tout d’abord dans scrapebox, puis, scrapez vos url à l’aide d’un beau “allinurl :monsite.com”. Une fois que vous avez votre liste d’URL à désindexer, collez la dans notepadd++ ou dans excel. Enregistrez la liste au format CSV.
Etape 2 : Créer la macro
Une fois votre liste enregistrée, il va falloir ouvrir iMacro, et rentrer le script suivant dans la bête :
VERSION BUILD=8810214 RECORDER=FX
SET !DATASOURCE D:BureauClasseur1.csv
SET !DATASOURCE_COLUMNS 1
SET !TIMEOUT_STEP 0
SET !ERRORIGNORE YES
SET !EXTRACT_TEST_POPUP YES
SET !LOOP 1
TAB T=1
URL GOTO=https://www.google.com/webmasters/tools/url-removal?hl=fr&siteUrl=https://www.exemple.com/
TAG POS=2 TYPE=DIV ATTR=TXT:Nouvelle<SP>demande<SP>de<SP>suppression
WAIT SECONDS=4
TAG POS=1 TYPE=INPUT:TEXT FORM=NAME:newremovalform ATTR=NAME:urlt CONTENT={{!COL1}}
TAG POS=1 TYPE=INPUT:BUTTON FORM=NAME:newremovalform ATTR=NAME:urlt.submitButton
WAIT SECONDS=5
TAG POS=1 TYPE=INPUT:SUBMIT FORM=ACTION:/webmasters/tools/removals-submit-ac?hl=fr&siteUrl=https://www.exemple.com/ ATTR=NAME:next
TAG POS=1 TYPE=INPUT:SUBMIT FORM=ID:the-form ATTR=ID:submit-button
WAIT SECONDS=3
Quelques détails sur la macro s’imposent :
- n’oubliez pas de bien indiquer le chemin vers votre fichier CSV, sans quoi la macro ne s’exécutera pas
- n’oubliez pas de vous loguer sur votre compte Google Webmaster tools AVANT de lancer la macro
- vous devez remplacer à deux reprises l’adresse de votre site dans la macro (sinon, ça ne donnera rien).
- les “WAIT SECONDS=X” sont là uniquement pour ne pas trop spammer Google. Vous pouvez les enlever, mais vous risquez de prendre un captcha. Et donc de perdre l’automatisation de la tâche.
- n’oubliez pas non plus de remplacer la version du build d’imacro de la démo par la votre :)
- je viens de la tester sans proxy, c’est passé comme une lettre à la poste.
Si vous avez un grand nombre d’URL à faire sauter, le mieux, c’est quand même d’installer imacros sur un VPS et de vous connecter à votre Search console derrière un proxy (mais je ne suis pas sur que ça soit complètement nécessaire).
Etape 3 : Faites vous un café, et laissez le soft tourner :)
Voilà, c’est tout, rien de très compliqué, mais cette simple manipulation vous fera gagner des heures de travail. Un dernier détail : si vous essuyez une erreur au démarrage du script (NS_ERROR_UNEXPECTED: Component returned failure code XXXXXXX), peut-être est-ce parce que votre fichier CSV n’est pas enregistré en UTF-8 SANS BOM. Si vous êtes bien encodé en UTF-8, pensez à jeter un coup d’oeil au format d’encodage sous Notepad pour voir s’il n’y a pas un BOM qui traine.
Bonne désindexation à tous !
ps : et si vous avez une galère, lachez un com ! On vous répondra le plus rapidement possible !
