1. 程式人生 > >相關收集資料途徑

相關收集資料途徑

1公開的資料庫
國家資料

http://data.stats.gov.cn/index.htm


a690000a41b7f5ebeeb.jpg 

資料來源於中國國家統計局,包含了我國經濟民生等多個方面的資料,並且在月度、季度、年度都有覆蓋,較為全面和權威,對於社會科學的研究不要太有幫助。最關鍵的是,網站簡潔美觀,還有專門的視覺化讀物。-

CEIC -

 

http://www.ceicdata.com/zh-hans


a6f0000949fb27f31bc.jpg 

最完整的一套超過128個國家的經濟資料,能夠精確查詢GDP, CPI, 進口,出口,外資直接投資,零售,銷售,以及國際利率等深度資料。其中的“中國經濟資料庫”收編了300,000多條時間序列資料,資料內容涵蓋巨集觀經濟資料、行業經濟資料和地區經濟資料。

- wind(萬得)-

 

http://www.wind.com.cn/



a6b000099d62aed5caa.jpg 

萬得被譽為中國的Bloomberg,在金融業有著全面的資料覆蓋,金融資料的類目更新非常快,據說很受國內的商業分析者和投資人的親睞。

- 搜數網 -

 

http://www.soshoo.com/


* t/ r6 ?( q$ ]+ a* e
a6c00009557d3049ec0.jpg

已載入到搜數網站的統計資料達到7,874本,涵蓋1,761,009張統計表格和364,580,479個統計資料,彙集了中國資訊行自92年以來收集的所有統計和調查資料,並提供多樣化的搜尋功能。


- 中國統計資訊網 -

 

http://www.tjcn.org/


QQ截圖20160802144138.png

 
國家統計局的官方網站,彙集了海量的全國各級政府各年度的國民經濟和社會發展統計資訊,建立了以統計公報為主,統計年鑑、階段發展資料、統計分析、經濟新聞、主要統計指標排行等。

- 亞馬遜aws -

 

http://aws.amazon.com/cn/datasets/



QQ截圖20160802111545.png 

來自亞馬遜的跨科學雲資料平臺,包含化學、生物、經濟等多個領域的資料集。
- figshare -

 

https://figshare.com/


a680000a3af7e505110.jpg " L' D2 p( W2 [

研究成果共享平臺,在這裡你會發現來自世界的大牛們的研究成果分享,同時get其中的研究資料,內容很有啟發性,網站頗具設計感。

- github -

https://github.com/caesar


a6b000099d982d358a6.jpg

如果覺得前面的資料來源還不夠,github上的大神已經為大家整理好了一個非常全面的資料獲取渠道,包含各個細分領域的資料庫資源,自然科學和社會科學的覆蓋都很全面,簡直是做研究和資料分析的利器。隨便上幾個圖,滿滿的都是資源啊! 


a7000009425f4a1cd4d.jpg * ]% i" r, h% i& c4 m8 {
a690000a42176ff54e7.jpga6d000097f4374fc6e7.jpg

02資料交易平臺


- 優易資料 -

 

http://www.youedata.com/



a6f000094a57683f058.jpg

由國家資訊中心發起,擁有國家級資訊資源的資料平臺,國內領先的資料交易平臺。平臺有B2B、B2C兩種交易模式,包含政務、社會、社交、教育、消費、交通、能源、金融、健康等多個領域的資料資源。

資料堂 -

http://www.datatang.com/


a6b000099dd551c1ecf.jpg + A# c' X' H: `: K

專注於網際網路綜合資料交易,提供資料交易、處理和資料API服務,包含語音識別、醫療健康、交通地理、電子商務、社交網路、影象識別等方面的資料。
03網路指數

- 百度指數 -

http://index.baidu.com/

 



a6c0000955ba2e1612e.jpga6f000094a768ddfb45.jpg 

大家都很熟悉的指數查詢平臺,可以根據指數的變化檢視某個主題在各個時間段受關注的情況,進行趨勢分析、輿情預測有很好的指導作用。除了關注趨勢之外,還有需求分析、人群畫像等精準分析的工具,對於市場調研來說具有很好的參考意義。同樣的另外兩個搜尋引擎搜狗、360也有類似的產品,都可以作為參考。


- 阿里指數 -

 

https://alizs.taobao.com/



a6c0000955d7ab36329.jpg ' K* e9 x1 H5 K) H5 u# ^  ~, j
a7000009426fc14d66d.jpg 

國內權威的商品交易分析工具,可以按地域、按行業檢視商品搜尋和交易資料,基於淘寶、天貓和1688平臺的交易資料基本能夠看出國內商品交易的概況,對於趨勢分析、行業觀察意義不小。

- 艾瑞諮詢 -

http://www.iresearch.com.cn/

艾瑞作為老牌的網際網路研究機構,在資料的沉澱和資料分析上都有得天獨厚的優勢,在網際網路的趨勢和行業發展資料分析上面比較權威,艾瑞的網際網路分析報告可以說是網際網路研究的必讀刊物。

- 友盟指數 -

 

a6b000099e026a87302.jpg 

友盟在移動網際網路應用資料統計和分析具有較為全面的統計和分析,對於研究移動端產品、做市場調研、使用者行為分析很有幫助。除了友盟指數,友盟的網際網路報告同樣是瞭解網際網路趨勢的優秀讀物。

- 愛奇藝指數 -

 

http://index.iqiyi.com/



a6b000099e2b499da2d.jpg 

愛奇藝指數是專門針對視訊的播放行為、趨勢的分析平臺,對於網際網路視訊的播放有著全面的統計和分析,涉及到播放趨勢、播放裝置、使用者畫像、地域分佈、等多個方面。由於愛奇藝龐大的使用者基數,該指數基本可以說明實際情況。


- 貓眼專業版-

 

http://piaofang.maoyan.com/


a6c00009561ee96f54d.jpg
電影票房統計分析平臺,貓眼專業版有實時的票房統計,影片的排盤情況、上座率和影院資料,對於當前電影的分析是必不可少的。
04網路採集器


網路採集器是通過軟體的形式實現簡單快捷地採集網路上分散的內容,具有很好的內容收集作用,而且不需要技術成本,被很多使用者作為初級的採集工具。

- 火車採集器 -

 

http://www.locoy.com/</a>



a700000942bcb00e132.jpg 

一款專業的網際網路資料抓取、處理、分析,挖掘軟體,可以靈活迅速地抓取網頁上散亂分佈的資料資訊,並通過一系列的分析處理,準確挖掘出所需資料,最常用的就是採集某些網站的文字、圖片、資料等線上資源。介面比較齊全,支援的擴充套件比較好用,懂程式碼的話,可以使用PHP或C#開發任意功能的擴充套件。

- 八爪魚 -

 

http://www.bazhuayu.com/



a6b000099e3e583cfaf.jpg 
簡單實用的採集器,功能齊全,操作簡單,不用寫規則。特有的雲採集,關機也可以在雲伺服器上執行採集任務。


- 集搜客 -

 

http://www.   gooseeker    .com/   (中間無空格




a6c000095620f0f7ff2.jpg
一款簡單易用的網頁資訊抓取軟體,能夠抓取網頁文字、圖表、超連結等多種網頁元素,提供好用的網頁抓取軟體、資料探勘攻略、行業資訊和前沿科技等。

05網路爬蟲


             作為極客們最喜歡的資料收集方式,爬蟲高度的自由性、自主性都使其成為資料探勘的必備技能,當然精通python等語言是必要前提。利用爬蟲可以做很多有意思的事情,當然也可以獲取一些從其它渠道獲取不到的資料資源,更重要的是幫你開啟尋找和蒐集資料的思路。



- 利用爬蟲爬取網路圖片 -

a6f000094abe13da98c.jpg 

爬取的影象素材你看到某個網站上的圖片恰好是你需要的,但是量大單個下載太麻煩,那麼利用爬蟲你可以快速地進行抓取,並可以根據標籤、特徵、顏色等資訊進行分類儲存。從此不缺設計素材,不缺美女圖片,連鬥圖都多了幾分自信。 

- 利用爬蟲爬取高質量資源 -爬取的音樂資源

我們總是想快速地去搜集高質量的網路資源,但是人工查詢比對實在太麻煩,利用爬蟲你就可以輕鬆解決。比如爬取知乎點贊最多的文章列表,爬取網易雲音樂評論最多的音樂,爬取豆瓣網高評分的電影或圖書……總之,你可以從此拒絕平庸。 

- 利用爬蟲獲取輿情資料 -

a6c0000956514369537.jpg

爬取的某招聘網站職位資訊

a690000a42437559a81.jpg

比如你可以批量爬取社交平臺的資料資源,可以爬取網站的交易資料,爬取招聘網站的職位資訊等,可以用於個性化的分析研究。總之,爬蟲是非常強大的,甚至有人說天下沒有不能爬的網站,因而爬取資料也成為了很多極客的樂趣。開發出高效的爬蟲工具可以幫助我們節省很多時間,可以完全按照自己的需求來訂製,想想這個世界就太美好。

06小工具-


Web Plot Digitizer -

 

http://arohatgi.info/WebPlotDigitizer/app/


a690000a425107ec7e6.jpg 

比如我們在檢視期刊文獻的時候看到一張成型的圖表,但其本身資料是缺失的,你想獲得這個圖表的相關資料怎麼辦?有了這個小工具就非常easy了。直接上傳我們需要獲得資料的圖表,如下:

a690000a42601dee7f8.jpg
然後我們就會獲得如下的資料反饋,感覺運籌帷幄有木有,對於一些不需要十分精確的分析研究足夠使用。


a6d000097fafc851fa9.jpg 



當然並不推薦用這個作為量化分析的依賴,對於定性的分析,做ppt級的資料統計分析就足夠了。

- you-get -

 

https://you-get.org/</a>


a6d000097fb0b565013.jpg 

這是一個程式設計師基於python 3開發的專案,已經在github上面開源,支援64個網站,包括優酷、土豆、愛奇藝、b站、酷狗音樂、蝦米……總之你能想到的網站都有! 還有一個黑科技的地方,即使是名單上沒有的網站,當你輸入連結,程式也會猜測你想要下載什麼,然後幫你下載。
a6c00009568b25a1673.jpg
下載優酷視訊

a6b000099e7eaee993f.jpg 

批量下載圖片

當然you-get要在python3環境下進行安裝,用pip安裝好後,在終端輸入“you get+你想下載資源的連結”就可以等著收藏資源了。