1. 程式人生 > >爬取一個網頁儲存到本地檔案

爬取一個網頁儲存到本地檔案

urllib.request.urlretrieve("http://www.youku.com/",filename="./網頁/資料探勘例項網頁.html")

#這是網頁下載到本地檔案中
urllib.request.urlcleanup()

#清理快取
file=urllib.request.urlopen("http://www.hellobi.com")
print("環境資訊:",file.info())
# getcode()狀態編碼
# geturl()獲取網頁的函式
print(file.getcode())
print(file.geturl())

#解決網址中含有中文的亂碼問題

keywd=urllib.request.quote(“中文”)

#模擬http請求 通過post和get 兩種方式來請求,比如登入和搜尋的資訊的時候可能會用到。

#爬蟲的網址

html = "http://www.iqianyue.com/mypost/"

#設定表單資料

mydata=urllib.parse.urlencode({ "name":"[email protected]", "pass":"5695262623" }).encode("utf-8")

#設定請求

req=urllib.request.Request(html,mydata)

#提交的網址,提交的資訊

data=urllib.request.urlopen(req).read()

#寫入檔案 fw=open("./作業二","wb")

fw.write(data)

fw.close()