python bs4模組 BeautifulSoup 學習筆記
阿新 • • 發佈:2018-11-08
bs4 模組的 BeautifulSoup 可以用來爬取html頁面的內容,配合requests庫可以寫簡單的爬蟲。
1、利用requests請求html頁面,獲取HTML頁面內容
import requests from bs4 import BeautifulSoup session = requests.session() headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36' } session.headers.update(headers) # step 1 開啟登陸頁面 url = 'http://10.10.10.10/xx' r = session.get(url) html = r.text
2、利用BeautifulSoup,解析HTML得到想要的資訊
soup = BeautifulSoup(html, 'html.parser')
# BeautifulSoup支援多種元素定位方式,也支援CSS定位,得到的是一個列表,列表中的元素資訊可以用get方法獲取
s1 = soup.select('#id')[0].get('value')
#S1 就是對應元素value屬性的值
print(s1)