urllib對ajax請求資料的獲取???
阿新 • • 發佈:2018-11-23
urllib得到ajax資料暫時不知道怎麼轉json,requests可以直接將得到的資料.json()即可得到json資料.
urllib.request.urlopen(‘xxxx’)得到的ajax請求資料中中文的都是這種的資料:\u9648\u5955\u8fc5,所以用正則也弄不到文字部分資料
所以暫時只能用requests來直接獲取ajax請求資料的json格式
但是還有一個問題,urllib對於url裡的中文(陳奕迅)可以通過quote來轉url字元:
import urllib.request
from urllib.parse import quote
import string
aurl = '‘ https://www.toutiao.com/search_content/?offset=0&format=json&keyword=陳奕迅&autoload=true&count=20&cur_tab=3&from=gallery’
response = urllib.request.urlopen(quote(aurl,safe=string.printable))
requests的話,老師好像沒有說引用quote,哈哈哈,所以用requests就
只能把url的offset,keyword等屬性用parans來封裝
然後用urlencode來進行對中文的轉url字元