Python實戰之如何爬取豆瓣電影?本文教你
爬蟲又稱為網頁蜘蛛,是一種程式或指令碼。
但重點在於,它能夠按照一定的規則,自動獲取網頁資訊。
爬蟲的基本原理——通用框架
1.挑選種子URL;
2.講這些URL放入帶抓取的URL列隊;
3.取出帶抓取的URL,下載並存儲進已下載網頁庫中。此外,講這些URL放入帶抓取URL列隊,進入下一迴圈。
4.分析已抓取列隊中的URL,並且將URL放入帶抓取URL列隊,從而進去下一迴圈。
5.注意:光理論是不夠的。這裡順便免費送大家一套2020最新python入門到高階專案實戰視訊教程,可以去小編的Python交流.裙 :七衣衣九七七巴而五(數字的諧音)轉換下可以找到了,還可以跟老司機交流討教!
爬蟲獲取網頁資訊和人工獲取資訊,其實原理是一致的。
如我們要獲取電影的“評分”資訊
人工操作步驟:
1.獲取電影資訊的網頁;
2.定位(找到)要評分資訊的位置;
3.複製、儲存我們想要的評分資料。
爬蟲操作步驟:
1.請求並下載電影頁面資訊;
2.解析並定位評分資訊;
3.儲存評分資料。
爬蟲的基本流程
簡單來說,我們向伺服器傳送請求後,會得到返回的頁面,通過解析頁面後,我們可以抽取我們想要的那部分資訊,並存儲在指定文件或資料庫中,這樣,我們想要的資訊會被我們“爬”下來了。
python中用於爬蟲的包很多,如bs4,urllib,requests等等。這裡我們用requests+xpath的方式,因為簡單易學,像BeautifulSoup還是有點難的。
下面我們就使用requests和xpath來爬取豆瓣電影中的“電影名”、“導演”、“演員”、“評分”等資訊。
安裝requests和lxml庫:
pipinstallrequests pipinstalllxml
一、匯入模組
#-*-coding:utf-8-*- importrequests fromlxmlimportetree importtime#這裡匯入時間模組,以免豆瓣封你IP
二、獲取豆瓣電影目標網頁並解析
爬取豆瓣電影《神祕巨星》上的一些資訊,地址
https://movie.douban.com/subject/26942674/?from=showing
#-*-coding:utf-8-*- importrequests fromlxmlimportetree importtime url='https://movie.douban.com/subject/26942674/' data=requests.get(url).text s=etree.HTML(data) #給定url並用requests.get()方法來獲取頁面的text,用etree.HTML() #來解析下載的頁面資料“data”。
1.獲取電影名稱。
獲取電影的xpath資訊並獲得文字
s.xpath('元素的xpath資訊/text()')
這裡的xpath資訊要手動獲取,獲取方式如下:
1.如果你是用谷歌瀏覽器的話,滑鼠“右鍵”–>“檢查元素”;
2.Ctrl+Shift+C將滑鼠定位到標題;
3.“右鍵”–>“Copy”–>“Copy Xpath”就可以複製xpath。
這樣,我們就把電影標題的xpath資訊複製下來了。
//*[@id="content"]/h1/span[1]
放到程式碼中並列印資訊
#-*-coding:utf-8-*- importrequests fromlxmlimportetree importtime url='https://movie.douban.com/subject/26942674/' data=requests.get(url).text s=etree.HTML(data) film_name=s.xpath('//*[@id="content"]/h1/span[1]/text()') print("電影名:",film_name)
這樣,我們爬取豆瓣電影中《神祕巨星》的“電影名稱”資訊的程式碼已經完成了,可以在eclipse中執行程式碼。
得到如下結果:
電影名:['神祕巨星SecretSuperstar']
OK,邁出了第一步,我們繼續抓取導演、主演、評分;
film_name=s.xpath('//*[@id="content"]/h1/span[1]/text()')#電影名 director=s.xpath('//*[@id="info"]/span[1]/span[2]/a/text()')#編劇 actor1=s.xpath('//*[@id="info"]/span[3]/span[2]/a[1]/text()')#主演1 actor2=s.xpath('//*[@id="info"]/span[3]/span[2]/a[2]/text()')#主演2 actor3=s.xpath('//*[@id="info"]/span[3]/span[2]/a[3]/text()')#主演3 actor4=s.xpath('//*[@id="info"]/span[3]/span[2]/a[4]/text()')#主演4 movie_time=s.xpath('//*[@id="info"]/span[13]/text()')#片長
觀察上面的程式碼,發現獲取不同主演時,區別只在於“a[x]”中“x”的值不同。實際上,要一次性獲取所有主演資訊時,用不加數字的“a”即可獲取。
如下:
actors=s.xpath('//*[@id="info"]/span[3]/span[2]/a/text()')#所有主演
所以我們修改好的完整程式碼如下:
#-*-coding:utf-8-*- importrequests fromlxmlimportetree importtime url1='https://movie.douban.com/subject/26942674/' data=requests.get(url1).text s=etree.HTML(data) film_name=s.xpath('//*[@id="content"]/h1/span[1]/text()')#電影名 director=s.xpath('//*[@id="info"]/span[1]/span[2]/a/text()')#編劇 actor=s.xpath('//*[@id="info"]/span[3]/span[2]/a/text()')#主演 movie_time=s.xpath('//*[@id="info"]/span[13]/text()')#片長 #由於導演有時候不止一個人,所以我這裡以列表的形式輸出 ds=[] fordindirector: ds.append(d) #由於演員不止一個人,所以我這裡以列表的形式輸出 acs=[] forainactor: acs.append(a) print('電影名:',film_name) print('導演:',ds) print('主演:',acs) print('片長:',movie_time)
結果輸出:
電影名:['神祕巨星SecretSuperstar'] 導演:['阿德瓦·香登'] 主演:['塞伊拉·沃西','梅·維賈','阿米爾·汗','拉傑·阿晶','提斯·沙馬','卡比爾·謝赫','法如克·賈法爾', '馬努傑·沙瑪','莫娜·安伯加卡爾','尼基塔·阿南德','尚','莫納利·塔庫爾'] 片長:['150分鐘']
怎麼樣,是不是很簡單啊。趕快去試試吧~~~
這裡順便補充點基礎知識:
Requests常用的七種方法:
目前,我們只需要掌握最常用的requests.get()方法就好了。
requests.get()的使用方法
importrequests url='https://www.baidu.com' data=requests.get(url)#使用get方法傳送請求,返回汗網頁資料的Response並存儲到物件data中
Repsonse物件的屬性:
data.status_code:http請求的返回狀態,200表示連線成功;
data.text:返回物件的文字內容;
data.content:猜測返回物件的二進位制形式;
data.encoding:返回物件的編碼方式;
data.apparent_encoding:響應內容編碼方式。
最後注意:光理論是不夠的。這裡順便免費送大家一套2020最新python入門到高階專案實戰視訊教程,可以去小編的Python交流.裙 :七衣衣九七七巴而五(數字的諧音)轉換下可以找到了,還可以跟老司機交流討教!
本文的文字及圖片來源於網路加上自己的想法,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯絡我們以作處理。