RDDZ Scraper – Scrap the web !!

Une fois n’est pas coutume, ce post sera destiné à la présentation d’un nouveau soft SEO. Et pour tout vous dire, il ne s’agit pas de n’importe quel soft, puisque c’est un scraper que nous avons développé avec dz. Certains vont alors se demander : Pourquoi re-inventer la roue puisque Scrapebox existe déjà ? Je vais donc leur répondre : lisez l’article 🙂

Naissance de RDDZ Scraper

En tant qu’utilisateur régulier de Scrapebox, il y avait certaines choses qui m’irritaient énormement sur ce soft. Sans tout citer, voici les principaux défauts que je trouve à Scrapebox :

• Ne fonctionne QUE sur Windows
• Interface surchargée et austère
• Limitation à 3 moteurs de recherche
• Trop de fonctionnalités
• Les fonctionnalités importantes ne sont pas dans la MainWindow, mais dans des Modal Window ou dans les addons
• Traduction de scrapebox : boite à scrap => Je n’ai pas besoin de spammer avec ce soft
• A moins d’avoir 100 proxies, il se font vite crames si vous utilisez le multi-threading
• La prise en main pour quelqu’un qui n’a jamais scrapé est juste … un peu longue
• Il y a des features évidentes que veut un spammeur, que ne fait pas Scrapebox

Après il est vrai que pour le prix, certains pourraient dire : « Comment tu chipotes pour 47$ toi ». Oui, mais non.

Avant d’être SEO, je suis développeur, et plus spécifiquement développeur système (C) ayant basculé du côté PHP pour se mettre au web (c’était « in » à l’époque et y avait plein de taff en plus :)). C’est pour cela que je me suis dit : « Si ça ne te convient pas, fais le toi même ». Et c’est comme ça qu’est né ce projet.

Je ne voulais pas créer un webservice, afin de tirer pleinement profit du multi-threading sans avoir à acheter 200 serveurs boostés aux hormones. Mais si je renonce à cette solution, il faut alors que mon soft tourne sur les principales plateformes, à savoir Windows, Mac et Linux. C’est pour cela que je me suis tourné vers le Framework Qt et que j’ai embarqué dz dans l’aventure. Pour info, c’était mon binome de dev durant mes années d’études en école d’ingé, donc on s’est retrouvé pour coder à l’ancienne (hard session coding) !!

Fonctionnalités de RDDZ Scraper

Avant de continuer, le but n’était pas de refaire Scrapebox pour le faire fonctionner sur les 3 principaux OS, sinon le soft n’aurait aucun intérêt. Il fallait que ca réponde réellement au besoin d’un web scraper, sans qu’il soit spécifique à une utilisation Black/Grey/White Hat. Il est bien entendu tout public.
Sachez juste qu’il ne permet pas de spammer, et qu’il ne le permettra pas, ce n’est pas le but de ce soft.

Je voulais donc pouvoir scraper n’importe quelle source sur le web, et bien sur, pratiquant le SEO du côté obscure, automatiser au maximum les fonctionnalités afin de cliquer sur « Scrap » et obtenir une liste d’urls fonctionnelles (sans liens morts et avec les redirections résolues).

Voici donc les fonctionnalités de RDDZ Scraper, que vous pourrez également découvrir sur le site :

Multilingue

• Anglais
• Francais

D’autres traductions seront disponibles dans les versions futures.

Web Scrap

• Scrap basique (récupération d’une liste d’url en interrogeant un Search Engine)
• Récuperation des backlinks pour un domaine donné
• Scrap en mode expert (détails dans la section Mode Expert)

Scrap tools

Chose importante ici. Contrairement à Scrapebox, il n’y a pas de remove duplicate url, puisque c’est OBLIGATOIRE (même si Scrapebox propose de supprimer les duplicate domain dans ses options). Je trouvais ça abusé de devoir cliquer sur un bouton pour supprimer les urls en double.

Dans RDDZ Scraper, les urls doublonnées sont automatiquement supprimées à la fin du scrap. En ce qui concerne les domaines, c’est automatique lorsque vous effectuez un « trim to root », sinon un bouton est prévu pour cela.

• Trim to root (Garder la racine)
• Trim to last folder (Garder l’url jusqu’au dernier dossier)
• Récuperation du Pagerank
• Récuperation des HTTP Status Code
• Résolution des redirections
• Récuperation du % de liens en dofollow
• Transférer les résultats dans le champ custom 1

Delete tools

Ce panel vous permet également d’agir sur la liste de scrap afin de supprimer des URL.

• Supprimer les URL contenant une chaîne définie
• Supprimer les URL ne contenant pas une chaîne définie
• Supprimer les URL ne contenant pas un masque (expression régulière) défini
• Supprimer les sous-domaines d’une liste
• Supprimer les mauvaises URL (avec un code d’erreur HTTP)
• Supprimer les URL sélectionnées
• Supprimer les URL ayant un pourcentage de liens en dofollow inférieur à celui spécifié

Proxies

• Import d’un fichier de proxies
• Test des proxies : mode normal et sur Google
• Ajout d’un ou plusieurs proxies

Mode Expert

• Possibilité d’utiliser 2 loops (un seul pour scrapebox)
• Possibilité d’utiliser un intloop (un entier qui s’incrémente)
• Ajouter/Modifier/supprimer votre propre moteur de recherche
• Possibilité de scraper autre chose que la valeur des hrefs (avec XPath)
• Possibilité d’ajouter des préfixes et/ou suffixes aux résultats

Automatisation

L’automatisation est native, vous pouvez l’activer ou la désactiver à votre convenance.

Chacun des points suivants peut-être activé/désactivé individuellement.

• Récupération automatique du Pagerank
• Récupération automatique du HTTP status code des urls
• Résolution automatique des redirections
• Récupération automatique du % de liens en dofollow
• Suppression automatique des URL en erreur

Un détail non négligeable : vous pouvez importez vos listes de scrap provenant de Scrapebox dans RDDZ Scraper et inversement.

Voila, si vous hésitiez à franchir le pas avec Scrapebox, ou si comme moi vous souhaitez posséder un VRAI web scraper, c’est par ici :

Forum RDDZ Scraper
Compte twitter RDDZ Tools

Remerciements

Parce qu’ils le méritent amplement :
– Tous ceux qui ont bossé avec moi sur le projet (vous êtes 2, vous vous reconnaîtrez :)).
– Les beta testeurs. Un grand merci à vous, en particulier Beunwa : tu déchires mec.
– Raph pour nous avoir permis d’intervenir au vlc 2012.
– Seoblackout, pour m’avoir fait découvrir Scrapebox en 2009.
– Zizounnette, pour m’avoir guidé sur les obfuscateurs de code.
– Tous les utilisateurs pour leur retours.