[Python] Aspirateur de dossier

[Dobry]

En voyant le poste de Nowz je me suis souvenu d'un tool python que j'avais fait il y à quelques temps pour aspirer le repo d'un site (hackbbs pour ne pas le citer), et j'en profite pour le partager ici.
Bien sûr le code n'est pas forcément portable, étant donnée que chaque site ou page à une structure différente, mais il reste fonctionnel et modifiable (ce code fonctionne également pour les dossiers sans index sur un site par exemple).
Attention, le script télécharge tous les documents et sous dossiers.

Code :

#coding=utf-8


import urllib, urllib2, re, argparse, os, sys


def scan(path):
  print 'Debut scan ' + path
  dossier = 0
  requete = urllib2.Request(path)
  page = urllib2.urlopen(requete).read()
  variable =  re.findall('\<a href="(.+?)"', page)
  for i in variable:
    if i[0] != '/':
      try:
    urllib.urlretrieve(path+i, i)
    print 'Telechargement de : ' + i
      except IOError as (strerr, strer):
    if strer == 'Is a directory':
      dossier+=1
      print path + i
      try:
        os.mkdir(i)
      except:
        print 'Existe deja'
      os.chdir(i)
      scan(path + i)
  os.chdir('../')
  if dossier == 0:
    return

    
      
      
if __name__ == "__main__":      
  parser = argparse.ArgumentParser(description='Aspirer un dossier')
  parser.add_argument('url', action="store", help="URL a aspirer")
  args = parser.parse_args()
  arguments = dict(args._get_kwargs())

  scan(arguments['url'])

Necromoine