python爬蟲學習(一)requests
阿新 • • 發佈:2021-06-22
不是python自帶的,需要安裝pip install requests
import requests url = 'https://cn.bing.com/search?q=%E8%B1%86%E7%93%A3' #請求網頁url一般是get請求,這裡用requests的get方法 res = requests.get(url) print(res)
輸出為200代表請求成功返回200
print(res.text) #代表請求res中的內容
這裡可能會出現反爬,需要加上headers
headers = { "user-agent": "XXXXXX自己的user-agent內容" } res = requests.get(url ,headers=headers) #加上headers
可以加上控制檯內容搜尋
query = input("請輸入一個內容") #實現自定義搜尋 #注意url前加上f url = f'https://cn.bing.com/search?q={query}'
post請求中需要加上訪問引數,傳送的資料放在字典中,通過data引數進行傳遞
import requests url = "https://fanyi.baidu.com/sug" #此請求為post t = input("請輸入你要翻譯的英文:") #傳入資料 data = {"kw":t } #傳送請求 res = requests.post(url,data = data) print(res.json())
get傳引數:params
post傳引數:data
import requests url = "https://movie.douban.com/j/chart/top_list" #params是get請求帶引數 #data是post請求帶引數 #重新進行封裝引數 param = { "type":"24", "interval_id":"100:90", "action":"", "start":0, "limit":20, } res= requests.get(url = url, params = param) print(res.request.url)