網絡爬蟲基礎練習
阿新 • • 發佈:2018-03-28
style 列表 pan inf ews post itl htm 生成
0.可以新建一個用於練習的html文件,在瀏覽器中打開。
1.利用requests.get(url)獲取網頁頁面的html文件
import requests
newsurl=‘http://news.gzcc.cn/html/xiaoyuanxinwen/‘
res = requests.get(newsurl) #返回response對象
res.encoding=‘utf-8‘
2.利用BeautifulSoup的HTML解析器,生成結構樹
from bs4 import BeautifulSoup
soup = BeautifulSoup(res.text,‘html.parser‘)
3.找出特定標簽的html元素
soup.p #標簽名,返回第一個
soup.head
soup.p.name #字符串
soup.p. attrs #字典,標簽的所有屬性
soup.p. contents # 列表,所有子標簽
soup.p.text #字符串
soup.p.string
soup.select(‘li‘)
4.取得含有特定CSS屬性的元素
soup.select(‘#p1Node‘)
soup.select(‘.news-list-title‘)
5.練習:
取出h1標簽的文本
取出a標簽的鏈接
for k in soup.find_all(‘a‘): print(k[‘href‘])
取出所有li標簽的所有內容
for z in soup.find_all(‘li‘): print(z)
取出第2個li標簽的a標簽的第3個div標簽的屬性
soup.select(‘li‘)[1].a.select(‘div‘)[2].text
取出一條新聞的標題、鏈接、發布時間、來源
soup.select(‘.news-list-title‘)[0] soup.select(‘li‘)[10].a.attrs[‘href‘] soup.select(‘.news-list-info‘)[0].contents[0].text soup.select(‘.news-list-info‘)[0].contents[1].txt
網絡爬蟲基礎練習