1. 程式人生 > >爬取第二彈

爬取第二彈

 

http://music.taihe.com/top/dayhot/

 

 

要求爬取歌名排行榜

 

import re
from bs4 import BeautifulSoup
import requests

headers = {
    'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'
}
url="http://music.taihe.com/top/dayhot/"
r=requests.get(url,timeout=30,headers=headers)
r.raise_for_status()
r.encoding
=r.apparent_encoding html=r.text soup=BeautifulSoup(html,"html.parser") #print(soup.prettify()) s=soup.find_all("a",target="_blank",href=re.compile('/song/')) #find_all後面的這些是觀察和測試發現的


for i in range(50): print(s[i].string)

#type(s)發現是

type(s)
Out[150]: bs4.element.ResultSet

然後測試s[1]發現和列表有點像,於是就差不多了,,,

 

輸出如下

沙漠駱駝
卡路里(電影《西虹市首富》插..
往後餘生
只要平凡
無問西東
我的愛(慕思《覺/醒》視訊主題曲)
至少還有你愛我
半壺紗
寂寞的人傷心的歌
演員
你不來我不老 (對唱版)
紅顏舊
一起紅火火
獨孤天下
都說
明智之舉
大魚
《絕代風華》(天下3十週年主題曲)
東西
你是我今生的依靠
後來
沙漠駱駝
逆流成河
唱一首情歌
一百萬個可能
Don't Touch
如約而至
風雨無阻
最美的期待
小蘋果(新年Remix版)
過
只羨鴛鴦不羨仙(電影同名主題曲)
38度6(DJ版)
武夷來思
曖昧
不再錯過你(電影《進擊的男孩》..
瓜很甜
沐春風
想你啦
後來的我們(電影《後來的我們》..
你還要我怎樣
大王叫我來巡山
風箏誤
我的心裡只有你沒有他(電影《進..
月彎彎
親愛的 你在哪裡
靈魂走在大街上
當愛已成往事
怒放
暖山

由於現在的知識,所以只能爬取一頁,慢慢再更,改進他