1. 程式人生 > >python入門18網路爬蟲

python入門18網路爬蟲

1.urllib庫的基本使用

import urllib
response = urllib.request.urlopen(" 此處輸入網址 ")
print(response.read())

urlopen一般接受3個引數:
urlopen(url,data,timeout)
第一個url引數是URL,第二個引數data是訪問URL時要傳送的資料,第三個引數timeout是設定超時時間
第二,三個引數是可以不傳送的

2.模擬POST登陸網站

import urllib.request
import urllib.parse
values={"username":  ,"password":  }
data = urllib.parse.urlencode(values)
url="   "
request=urllib.request.Request(url,data)
response =urllib.request.urlopen(request)
print(response.read())

3.urllib庫的高階用法

import urllib.request
import urllib.urllib.parse
url="  "
user_agent = "  "
values={'username':' ','password':' '}
headers={'User-Agent' : user_agent}
data = urllib.parse.urlencode(values)
request =urllib.request.Request(url,data,headers)
response=urllib.request.urlopen(request)
print(response.read())