前言

今天我們就用scrapy爬一波知網的中國專利資料並做簡單的資料視覺化分析唄。讓我們愉快地開始吧~

PS：本專案僅供學習交流，實踐本專案時煩請設定合理的下載延遲與爬取的專利資料量，避免給知網伺服器帶來不必要的壓力。

開發工具

Python版本：3.6.4

相關模組：

scrapy模組；

fake_useragent模組；

pyecharts模組；

wordcloud模組；

jieba模組；

以及一些Python自帶的模組。

環境搭建

安裝Python並新增到環境變數，pip安裝需要的相關模組即可。

資料爬取

我們需要爬取的資料例如下圖所示：

即包括以下這些內容：

爬取思路：

我們可以很容易地發現每個專利的詳情頁url都是類似這樣的：

http://dbpub.cnki.net/grid2008/dbpub/Detail.aspx?DBName=SCPD年份&FileName=專利公開號&QueryID=4&CurRec=1

因此，只要改變專利公開號即可獲得對應專利的詳情頁url(經測試，即使年份對不上也沒關係)，從而獲得對應專利的資訊，具體而言程式碼實現如下：

All done~完整原始碼詳見個人簡介相關檔案。

PS：程式碼執行方式為執行main.py檔案。

資料視覺化

為避免給知網伺服器帶來不必要的壓力，這裡我們只爬了2014年的一部分知網中國專利資料(就跑了一個多小時吧)，對這些資料進行視覺化分析的結果如下。

我們先來看看申請專利的省份分佈唄：

然後再來統計一下專利代理機構？

最後再來看看所有專利摘要做成的詞雲唄：

還有所有專利標題做成的詞雲唄：

文章到這裡就結束了，感謝你的觀看，關注我每天分享Python系列爬蟲，下篇文章分享Python爬蟲知乎表情包。

為了感謝讀者們，我想把我最近收藏的一些程式設計乾貨分享給大家，回饋每一個讀者，希望能幫到你們。

乾貨主要有：

①　2000多本Python電子書（主流和經典的書籍應該都有了）

②　Python標準庫資料（最全中文版）

③　專案原始碼（四五十個有趣且經典的練手專案及原始碼）

④　Python基礎入門、爬蟲、web開發、大資料分析方面的視訊（適合小白學習）

⑤ Python學習路線圖（告別不入流的學習）

All done~完整原始碼+乾貨詳見個人簡介或者私信獲取相關檔案。。