1. 程式人生 > >Python3爬蟲之urllib使用

Python3爬蟲之urllib使用

這裡是一個小demo,用來模擬一個百度搜索,並儲存搜尋到的頁面
import urllib.request
import urllib.parse

kw = input('請輸入您要搜尋的內容:')
data = {
    'wd':kw,
}
data = urllib.parse.urlencode(data)  #url編碼,否則就使用不了這個url
url = 'https://www.baidu.com/s?wd=' + data
headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_5_6; en-US) AppleWebKit/530.9 (KHTML, like Gecko) Chrome/ Safari/530.9 '
}
request = urllib.request.Request(url = url,headers=headers)
response = urllib.request.urlopen(request)
with open('hh.html','w',encoding='utf8') as fp:  #這裡使用,encoding進行編碼才可以解決儲存問題
    fp.write(response.read().decode('utf8'))
fp.close()