1. 程式人生 > 其它 >python爬蟲學習(一)requests

python爬蟲學習(一)requests

不是python自帶的,需要安裝pip install requests

import requests
url = 'https://cn.bing.com/search?q=%E8%B1%86%E7%93%A3'
#請求網頁url一般是get請求,這裡用requests的get方法
res = requests.get(url)
print(res)

輸出為200代表請求成功返回200

print(res.text)
#代表請求res中的內容

這裡可能會出現反爬,需要加上headers

headers = {
    "user-agent": "XXXXXX自己的user-agent內容
" } res = requests.get(url ,headers=headers) #加上headers

可以加上控制檯內容搜尋

query = input("請輸入一個內容")
#實現自定義搜尋
#注意url前加上f
url = f'https://cn.bing.com/search?q={query}'

post請求中需要加上訪問引數,傳送的資料放在字典中,通過data引數進行傳遞

import requests
url = "https://fanyi.baidu.com/sug"
#此請求為post
t = input("請輸入你要翻譯的英文:")
#傳入資料
data = {
    
"kw":t } #傳送請求 res = requests.post(url,data = data) print(res.json())

get傳引數:params

post傳引數:data

import requests
url = "https://movie.douban.com/j/chart/top_list"

#params是get請求帶引數
#data是post請求帶引數

#重新進行封裝引數
param = {
    "type":"24",
    "interval_id":"100:90",
    "action":"",
    "start":0,
    "limit":20,
}
res 
= requests.get(url = url, params = param) print(res.request.url)