1. 程式人生 > >有哪些網站用爬蟲爬取能得到很有價值的資料

有哪些網站用爬蟲爬取能得到很有價值的資料

0、IT桔子和36Kr在專欄文章中(http://zhuanlan.zhihu.com/p/20714713),抓取IT橘子和36Kr的各公司的投融資資料,試圖分析中國各家基金之間的互動關係。

1、知乎滄海橫流,看行業起伏,抓取並彙總所有的答案,方便大家閱讀,找出2015年最熱門和最衰落的行業。

2、汽車之家大資料畫像:寶馬車主究竟有多任性?利用論壇發言的抓取以及NLP,對各種車型的車主做畫像。

3、天貓、京東、淘寶等電商網站超越諮詢顧問的算力,在使用者理解和維護,抓取各大電商的評論及銷量資料,對各種商品(顆粒度可到款式)沿時間序列的銷量以及使用者的消費場景進行分析。甚至還可以根據使用者評價做情感分析,實時監控產品在消費者心目中的形象,對新發布的產品及時監控,以便調整策略。

4、58同城的房產、安居客、Q房網、搜房等房產網站下半年深圳房價將如何發展 ,抓取房產買賣及租售資訊,對熱熱鬧鬧的房價問題進行分析。

5、大眾點評、美團網等餐飲及消費類網站黃燜雞米飯是怎麼火起來的?抓取各種店面的開業情況以及使用者消費和評價,瞭解周邊變化的口味,所謂是“舌尖上的爬蟲”。以及各種變化的口味,比如:啤酒在衰退,重慶小面在崛起。

6、58同城等分類資訊網站花10萬買貢茶配方,貴不貴?抓取招商加盟的資料,對定價進行分析,幫助網友解惑。

7、拉勾網、中華英才網等招聘網站網際網路行業哪個職位比較有前途?抓取各類職位資訊,分析最熱門的職位以及薪水。

8、掛號網等醫療資訊網站如何評價掛號網? 抓取醫生資訊並於巨集觀情況進行交叉對比。

9、應用寶等App市場你用 Python 做過什麼有趣的資料探勘/分析專案? 對各個App的發展情況進行跟蹤及預測。(順便吹一下牛,我們這個榜單很早就發現小紅書App的快速增長趨勢以及在年輕人中的極佳口碑)

10、攜程、去哪兒及12306等交通出行類網站,對航班及高鐵等資訊進行抓取,能從一個側面反映經濟是否正在走入下行通道。

11、雪球等財經類網站抓取雪球KOL或者高回報使用者的行為,找出推薦股票

12、58同城二手車、易車等汽車類網站一年當中買車的最佳時間為何時?什麼品牌或者型號的二手車殘值高?更保值?反之,什麼型別的貶值較快? - 二手車,找出最佳的買車時間以及最保值的汽車。

13、神州租車、一嗨租車等租車類網站抓取它們列舉出來的租車資訊,長期跟蹤租車價格及數量等資訊

14、各類信託網站通過抓取信託的資料,瞭解信託專案的型別及規模

https://blog.csdn.net/weixin_40061167/article/details/78701150