爬取一個網頁儲存到本地檔案
阿新 • • 發佈:2018-12-09
urllib.request.urlretrieve("http://www.youku.com/",filename="./網頁/資料探勘例項網頁.html")
#這是網頁下載到本地檔案中
urllib.request.urlcleanup()
#清理快取
file=urllib.request.urlopen("http://www.hellobi.com")
print("環境資訊:",file.info())
# getcode()狀態編碼
# geturl()獲取網頁的函式
print(file.getcode())
print(file.geturl())
#解決網址中含有中文的亂碼問題
keywd=urllib.request.quote(“中文”)
#模擬http請求 通過post和get 兩種方式來請求,比如登入和搜尋的資訊的時候可能會用到。
#爬蟲的網址
html = "http://www.iqianyue.com/mypost/"
#設定表單資料
mydata=urllib.parse.urlencode({ "name":"[email protected]", "pass":"5695262623" }).encode("utf-8")
#設定請求
req=urllib.request.Request(html,mydata)
#提交的網址,提交的資訊
data=urllib.request.urlopen(req).read()
#寫入檔案 fw=open("./作業二","wb")
fw.write(data)
fw.close()