Python3爬蟲之urllib使用
阿新 • • 發佈:2019-02-10
這裡是一個小demo,用來模擬一個百度搜索,並儲存搜尋到的頁面
import urllib.request import urllib.parse kw = input('請輸入您要搜尋的內容:') data = { 'wd':kw, } data = urllib.parse.urlencode(data) #url編碼,否則就使用不了這個url url = 'https://www.baidu.com/s?wd=' + data headers = { 'User-Agent':'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_5_6; en-US) AppleWebKit/530.9 (KHTML, like Gecko) Chrome/ Safari/530.9 ' } request = urllib.request.Request(url = url,headers=headers) response = urllib.request.urlopen(request) with open('hh.html','w',encoding='utf8') as fp: #這裡使用,encoding進行編碼才可以解決儲存問題 fp.write(response.read().decode('utf8')) fp.close()