1. 程式人生 > >python: gevent輕鬆實現並行下載多個檔案

python: gevent輕鬆實現並行下載多個檔案

參考網站:http://itindex.net/detail/9240-python-gevent-%E5%B9%B6%E8%A1%8C

#!/bin/python

# file: download.py

import gevent

from gevent import socket

from gevent import monkey; monkey.patch_all()

import sys

import urllib2

def download(url):

    try:

        url_opener = urllib2.urlopen(url)

    except:

        print 'open url error'

        return

    if url_opener.code!=200:

        print 'return code is:%d'%(url_opener.code)

        return

    if not url_opener.headers.has_key('Content-Length'):

        print 'no content length'

        return

    content_length = long(url_opener.headers['Content-Length'])

    download_size = 0

    file_name = url[url.rfind('/')+1:]

    target_file = open(file_name, 'wb')

    while download_size<content_length:

        try:

            str_content = url_opener.read(1024)

        except Exception,e:

            print 'read error:%s' % (str(e))

            return

        if not str_content or len(str_content)==0:

            print 'read error, connection close'

            return

        target_file.write(str_content)

        download_size += len(str_content)

        print '[%s]:download size:%d, progress:%d' % (

                    file_name,

                    download_size,

                    int(float(download_size)/float(content_length)*100.0))

    print '[%s]:download complete!' % (file_name)

if __name__=='__main__':

    argc = len(sys.argv)

    if argc<2:

        print 'usage:%s <url> [url...]' % (sys.argv[0])

        sys.exit(-1)

    jobs = [gevent.spawn(download,url) for url in sys.argv[1:]]

    gevent.joinall(jobs, timeout=600)

'''

感謝Thijs同學的推薦!利用協程,在一個函式中從頭寫到尾就能實現並行,實在是太爽了。

相比之下,twisted中眼花繚亂的回撥,學習曲線實在是太陡峭了! 

'''