1. 程式人生 > >Python爬蟲 百度新聞列表20條的標題、連結、日期

Python爬蟲 百度新聞列表20條的標題、連結、日期

待爬取的20條新聞部分如下:


通過觀察審查元素髮現,標題,連結和時間都藏在class=result裡面,一個頁面共有20條新聞,只要迴圈20遍,每次取其中div的相應元素即可。


#coding:utf-8

#引入相關模組
import requests
from bs4 import BeautifulSoup

url = 

"http://news.baidu.com/ns?cl=2&rn=20&tn=news&word=%E4%B8%8A%E6%B5%B7%E6%B5%B7%E4%BA%8B%E5%A4%A7%E5%AD%A6"

#請求搜尋上海海事大學關鍵字新聞網頁的URL,獲取其text文字

response = requests.get(url)  #對獲取到的文字進行解析
html = response.text
soup=BeautifulSoup(html,features='lxml')  #根據HTML網頁字串建立BeautifulSoup物件
news=soup.find_all('div', {"class": "result"})

for t in news:
    data = {
        "標題":t.find('a').text,
        "連結":t.find('a')['href'],
        "時間":t.find('p').get_text()
    }

    print(data)     

執行結果如下: