Obtenir le HTTP Status Code avec AWK

J’écris cet article à la vitesse de la lumière suite à une question que Sebastien Billard a posé sur twitter mercredi dernier et qui demandait comment obtenir – rapidement – le HTTP status code (comprenez par la le code que renvoie le serveur lorsque vous interrogez un site ou une page). Je vais donc vous montrer comment effectuer cela en une simple ligne de commande sous linux, sans limite de...

Extraire IP de Googlebot et autres bots

C’est un sujet de rigueur en ce moment, notamment avec la venue de GooglePreview (vous savez l’aperçu de votre site web dans les SERP). Pour les gentils White Hat, cela n’a aucune incidence, par contre pour ceux qui s’adonnent au cloacking, certains ont une preview normal et d’autres une preview qui ne prend pas en compte le cloacking (donc plus embêtant). Mon avis sur la question est...

Verifiez vos urls grace a linklint

Vous administrez un ou plusieurs annuaires ? Vous possédez un serveur dédié sous linux (hop hop hop, circulez, pas de windows ici) ? Vous souhaitez vérifier l’intégralité de vos liens, sans cliquer sur chaque lien bien sur ? Toutes nos lignes sont occupées, ne quittez pas, une opératrice va prendre votre appel. Votre temps d’attente est inférieur a 1 minute. Commençons donc par...

Renardudezert Serp Position Alerter

Cela faisait un petit moment qu’il n’y avait pas eu de billet par ici. La raison est toute simple, j ‘avais pas mal de taff et surtout j’etais en train de preparer un tool, en l’occurence RSPA. RSPA kesako ? RSPA (Renardudezert Serp Position Alerter) est un outil qui va vous permettre de recevoir des alertes sur votre boite mail lorsque un ndd depassera une position definie pour un kw...

RDD Bot-Tracker

Kesako ? C’est suite a la lecture d’un article de Dan sur Identifier les robots qui visitent votre site que je me suis rappele que j’avais un vieux scripts  dont je me servais – il y a encore peut de temps – pour avoir un rapport quotidien sur les pages crawlees par les 3 principaux robots (GoogleBot, Slurp et msnbot). Donc pour ceux et celles que ca interesserait, voici les...