Selenium+BeautifulSoup+json獲取Script標籤內的json資料
阿新 • • 發佈:2020-12-08
Selenium爬蟲遇到 資料是以 JSON 字串的形式包裹在 Script 標籤中,
假設Script標籤下程式碼如下:
<script id="DATA_INFO" type="application/json" > { "user": { "isLogin": true,"userInfo": { "id": 123456,"nickname": "LiMing","intro": "人生苦短,我用python" } } } </script>
此時drive.find_elements_by_xpath('//*[@id="DATA_INFO"] 只能定位到元素,但是無法通過.text方法,獲取Script標籤下的json資料
from bs4 import BeautifulSoup as bs import json as js #selenium獲取當前頁面原始碼 html = drive.page_source #BeautifulSoup轉換頁面原始碼 bs=BeautifulSoup(html,'lxml') #獲取Script標籤下的完整json資料,並通過json載入成字典格式 js_test=js.loads(bs.find("script",{"id":"DATA_INFO"}).get_text()) #獲取Script標籤下的nickname 值 js_tes
到此這篇關於Selenium+BeautifulSoup+json獲取Script標籤內的json資料的文章就介紹到這了,更多相關Selenium+BeautifulSoup獲取json內容請搜尋我們以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援我們!