requests進行網路請求與urllib2進行網路請求進行比較
阿新 • • 發佈:2019-02-02
同一臺計算機,同一個環境下,獲取LOL貼吧前二十頁內容,urllib2用時18.8280000687,而採用requests進行網路請求耗14.8680000305。綜上來講,選用第三方的requests進行網路請求效率比較高。但是,依然不夠好,如果我們採用,多執行緒的方法,又可以將時間成倍的降低,也就是說如果你是兩核處理器時間可以在requests的基礎之上除以2,如果是四核的,就可以在requests的基礎之上除以4。這樣就可以大大的提高網路請求效率。
requests請求:
def getContent(url):
”’
:param url: 網路地址
:return:獲取的網頁內容
”’
user_agent = ‘User-Agent:Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;’
head = {‘User-Agent’:user_agent}
html = requests.get(url, headers = head).text
return html
urllib2請求:
def loadContent(url):
”’
下載網頁內容
”’
user_agent = ‘User-Agent:Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;’
headers = {‘User-Agent’:user_agent}
req = urllib2.Request(url, headers=headers) request = urllib2.urlopen(req) return request.read()