wget, Télécharger le web entier

dlweb.jpg Je viens de découvrir que la télécommande wget sait faire du récursif. (option -r). Et mieux ce qu'ils appellent récursif, c'est qu'il découvre les liens sur les pages pour les suivre. Bon par défaut il se contentera du site demandé et ne débordera pas. Pas grave l'option -rH permet d'élargir à tous les domaines rencontrés.

  1. wget -rH http://lePremierSiteAaspirer.fr/ -o wgetlog

Pour rédiger ce petit billet absurde, j'ai fait quelques essais. Mon IP est blacklistée sur plusieurs sites avec cette connerie. L'aspiration complète du web attendra. Mon disque dur et ma freebox remercient les sites qui m'ont blacklistés, me forçant à arréter ce truc débile.

Nan mais ça peut servir de savoir que wget est bien plus puissant qu'un simple truc de téléchargement de fichiers un par un.

Page top