python入門18網路爬蟲
阿新 • • 發佈:2018-12-14
1.urllib庫的基本使用
import urllib
response = urllib.request.urlopen(" 此處輸入網址 ")
print(response.read())
urlopen一般接受3個引數:
urlopen(url,data,timeout)
第一個url引數是URL,第二個引數data是訪問URL時要傳送的資料,第三個引數timeout是設定超時時間
第二,三個引數是可以不傳送的
2.模擬POST登陸網站
import urllib.request import urllib.parse values={"username": ,"password": } data = urllib.parse.urlencode(values) url=" " request=urllib.request.Request(url,data) response =urllib.request.urlopen(request) print(response.read())
3.urllib庫的高階用法
import urllib.request import urllib.urllib.parse url=" " user_agent = " " values={'username':' ','password':' '} headers={'User-Agent' : user_agent} data = urllib.parse.urlencode(values) request =urllib.request.Request(url,data,headers) response=urllib.request.urlopen(request) print(response.read())