python爬蟲爬取淘寶，羅蘭電鋼琴和雅馬哈電鋼琴（參考崔大）
淘寶網上有很多商品，這些商品的資訊就是一個很不錯的資料來源，於是我參考資料後依葫蘆畫瓢弄了一個爬蟲程式來爬一爬夢寐以求的電鋼琴。
宣告一下：電鋼琴和電子琴是兩種不同的琴，我在正則表示式裡面設定了只要含有電子琴這個詞語一律不抓取。同時淘寶商家的很多商品欄都是重複的，不加篩選前，我抓了1300個數據，其實只有40個左右不重複的資料。必須加名稱不重複的篩選。
最近學了selenium，這個Python庫可以用來模擬瀏覽器行為，我覺得這個庫操作起來思路很清晰，就和人一樣點選，下拉，只不過我們平常的這些動作對於程式就變成了一行行程式碼來去指示完成。
我針對了羅蘭和雅馬哈兩個品牌進行了一定的分析，分別搜尋“羅蘭電鋼琴”，“雅馬哈電鋼琴”分別得到了羅蘭的全部資料，和雅馬哈的前55頁資料（綜合排序下）。並且把這一部分資料儲存到了mongoDB非關係型資料庫裡面。
如下圖：
雅馬哈電鋼琴集合
羅蘭電鋼琴集合
然後呢，再通過左上角工具欄collection->export collecction進行匯出，匯出為csv檔案，之後再用excel表格開啟，就變成了下面這樣的表格。
羅蘭電鋼琴抓取到了35個數據，雅馬哈抓取到了60個數據，不篩選之前羅蘭電鋼琴30頁有1300個數據，其實我仔細一看全是重複的，淘寶商家一樣的東西掛了好幾個商品欄，於是加了名稱不重複篩選，結果只有35個。淘寶商家好樣的。。。
我把資料都放過來了，大家如果有想買的可以簡單參考一下。
羅蘭電鋼琴的資料
SUM是總交易額，這裡順便說一下，淘寶的付款人數是從當日往前推30天，就是近一個月。
我是按交易量來排序的。
4028410
|
SUM |
price |
deal |
title |
shop |
location |
|
843500 |
3500 |
241 |
Roland羅蘭電鋼琴FP-30FP30智慧數碼電鋼88鍵重錘電子鋼琴 |
愛樂樂器專營店 |
廣東深圳 |
|
297500 |
3500 |
85 |
Roland |
roland羅蘭皮優專賣店 |
北京 |
|
290500 |
3500 |
83 |
Roland羅蘭fp30電鋼琴數碼鋼琴88鍵重錘F20成人兒童模擬鋼FP30 |
艾威樂器專營店 |
上海 |
|
189000 |
3500 |
54 |
Roland羅蘭fp30電鋼琴88鍵重錘專業成人家用初學者數碼電子鋼琴 |
律動樂器專營店 |
北京 |
|
248160 |
5280 |
47 |
Roland羅蘭電鋼琴RP102RP-302/501智慧電鋼成人初學數碼鋼琴 |
愛樂樂器專營店 |
廣東深圳 |
|
237600 |
5280 |
45 |
Roland羅蘭電鋼琴rp102/302/50188鍵重錘專業成人初學者家用鋼琴 |
roland羅蘭皮優專賣店 |
北京 |
|
140000 |
3500 |
40 |
Roland羅蘭電鋼琴FP-30FP3088鍵重錘電子鋼琴成人家用 |
roland羅蘭悅聆專賣店 |
上海 |
|
175200 |
4380 |
40 |
Roland羅蘭電鋼琴RP30智慧88鍵重錘智慧成人兒童通用電子鋼琴 |
君思樂器專營店 |
上海 |
|
129500 |
3500 |
37 |
羅蘭電鋼琴RolandFP30FP-30成人入門專業88鍵重錘數碼電子電鋼 |
世紀音緣樂器專營店 |
北京 |
|
108500 |
3500 |
31 |
Roland羅蘭電鋼琴FP30FP-30數碼智慧鋼琴88鍵重錘成人電子鋼琴 |
啟源樂器專營店 |
廣東廣州 |
|
173710 |
5990 |
29 |
ROLAND羅蘭電鋼琴F140RRP102RP302RP501R88鍵重錘數碼電鋼琴 |
roland羅蘭悅聆專賣店 |
上海 |
|
189360 |
7890 |
24 |
ROLAND羅蘭電鋼琴HP504HP603HP60588鍵重錘數碼鋼琴電鋼琴 |
roland羅蘭悅聆專賣店 |
上海 |
|
87600 |
4380 |
20 |
羅蘭電鋼琴88鍵重錘RP30專業數碼鋼琴成人電子鋼琴初學者考級家用 |
和雅樂器專營店 |
廣東深圳 |
|
61180 |
3220 |
19 |
ROLAND羅蘭XPS10XPS30XPS-1030電子合成器61鍵電子琴編曲鍵盤 |
羅蘭超音專賣店 |
廣東深圳 |
|
95040 |
5280 |
18 |
Roland羅蘭電鋼琴RP30/RP102/RP501R藍芽88鍵重錘智慧電子鋼琴 |
羅蘭大佰專賣店 |
江蘇南通 |
|
89760 |
5280 |
17 |
Roland羅蘭電鋼琴rp102/302/50188鍵重錘智慧數碼鋼琴成人 |
羅蘭超音專賣店 |
廣東深圳 |
|
102570 |
7890 |
13 |
Roland羅蘭高階電鋼琴HP504HP605HP603電鋼琴88鍵重錘家用 |
roland羅蘭皮優專賣店 |
北京 |
|
151800 |
13800 |
11 |
吧主信譽羅蘭ROLANDHP603ADP603重錘智慧電鋼琴數碼鋼琴 |
關維厚 |
北京 |
|
43800 |
4380 |
10 |
Roland羅蘭電鋼琴RP30RP-30數碼智慧鋼琴88鍵重錘成人電子鋼琴 |
啟源樂器專營店 |
廣東廣州 |
|
47920 |
5990 |
8 |
Roland羅蘭電鋼琴RP302智慧數碼88鍵重錘帶琴蓋專業成人家用 |
知音樂器專營店 |
上海 |
|
55230 |
7890 |
7 |
順豐Roland羅蘭電鋼琴HP504603605數碼鋼琴88鍵重錘電子鋼琴 |
愛樂樂器專營店 |
廣東深圳 |
|
21120 |
5280 |
4 |
吧主信譽ROLAND羅蘭RP-102電鋼琴RP102卡哇伊KDP110 |
關維厚 |
北京 |
|
21120 |
5280 |
4 |
Roland羅蘭電鋼琴rp102/302/50188鍵重錘專業成人初學者家用鋼 |
和雅樂器專營店 |
廣東深圳 |
|
23960 |
5990 |
4 |
ROLAND羅蘭電鋼琴RP102RP302RP501RF140R88鍵重錘數碼電鋼琴 |
聆悅樂器專營店 |
上海 |
|
10500 |
3500 |
3 |
Roland羅蘭電鋼琴FP30FP-30智慧數碼88鍵成人家用初學者電子鋼琴 |
瑞立樂器專營店 |
上海 |
|
13140 |
4380 |
3 |
Roland羅蘭電鋼琴88鍵重錘rp30RP102專業成人初學家用電子電鋼 |
世紀音緣樂器專營店 |
北京 |
|
24870 |
8290 |
3 |
Roland羅蘭FP-60FP-90電鋼琴FP60FP90數碼鋼琴藍芽88鍵重錘麥克風 |
關維厚 |
北京 |
|
7000 |
3500 |
2 |
羅蘭電鋼琴FP30智慧數碼鋼琴88鍵重錘電子鋼琴成人兒童初學fp-30 |
揚威樂器專營店 |
浙江嘉興 |
|
7000 |
3500 |
2 |
羅蘭電鋼琴RolandFP-30數碼電子鋼琴88鍵重錘進口藍芽智慧fp30 |
鄭州豫華樂器專營店 |
河南鄭州 |
|
10560 |
5280 |
2 |
Roland羅蘭電鋼琴RP102智慧數碼電子鋼琴88鍵F140R初學家用RP302 |
艾威樂器專營店 |
上海 |
|
10560 |
5280 |
2 |
Roland羅蘭電鋼琴RP102RP302RP501立式數碼鋼琴88鍵重錘電鋼 |
律動樂器專營店 |
北京 |
|
10560 |
5280 |
2 |
ROLAND羅蘭電鋼琴RP501RHP504數碼電鋼琴88鍵重錘RP302RP102 |
艾威樂器專營店 |
上海 |
|
11980 |
5990 |
2 |
羅蘭電鋼琴RolandRP-501R成人專業家用88鍵重錘電子電鋼RP302 |
世紀音緣樂器專營店 |
北京 |
|
3500 |
3500 |
1 |
Roland/羅蘭電鋼琴FP3088鍵重錘智慧電子鋼琴成人家用 |
聆悅樂器專營店 |
上海 |
|
3500 |
3500 |
1 |
ROLAND羅蘭電鋼琴fp30智慧數碼電鋼琴88鍵重錘專業成人羅蘭fp30 |
龍聖樂器專營店 |
江蘇南京 |
|
5280 |
5280 |
1 |
Roland羅蘭電鋼琴RP-102RP-302數碼智慧鋼琴 |
啟源樂器專營店 |
廣東廣州 |
|
5280 |
5280 |
1 |
羅蘭RolandRP102RP302RP501RF-140R配重數碼立式電鋼琴 |
音域樂器專營店 |
廣東廣州 |
|
5990 |
5990 |
1 |
羅蘭RP302Roland電鋼琴智慧數碼鋼琴88鍵重錘包郵 |
天堂鳥樂器專營店 |
陝西西安 |
|
6980 |
6980 |
1 |
Roland羅蘭電鋼琴F140RF-140R數碼智慧鋼琴88鍵重錘電子鋼琴 |
啟源樂器專營店 |
廣東廣州 |
|
7890 |
7890 |
1 |
Roland羅蘭高階電鋼琴HP504HP603HP605電鋼琴88鍵重錘數碼鋼琴 |
眾樂樂器 |
湖北武漢 |
|
8290 |
8290 |
1 |
Roland羅蘭電鋼琴FP60/FP90行動式舞臺鋼琴成人專業智慧電鋼琴 |
roland羅蘭皮優專賣店 |
北京 |
|
9900 |
9900 |
1 |
ROLAND羅蘭F-130RFP-50FP-80HP-506HP-508RW數碼電子鋼琴電鋼 |
espm2 |
江蘇南京 |
|
14000 |
14000 |
1 |
Roland羅蘭電鋼琴FP-90fp90電鋼琴FP-60舞臺數碼電鋼88鍵重錘 |
愛樂樂器專營店 |
廣東深圳 |
|
14000 |
14000 |
1 |
Roland羅蘭電鋼琴FP-90FP60電鋼琴FP-50舞臺數碼電鋼88鍵重錘 |
羅蘭超音專賣店 |
廣東深圳 |
|
14000 |
14000 |
1 |
順豐Roland羅蘭電鋼琴FP-90fp90電鋼琴舞臺數碼電鋼88鍵重錘 |
亞倫樂器專營店 |
北京 |
|
0 |
3490 |
0 |
羅蘭mp100mp-100電鋼琴電鋼Roland數碼鋼琴電子鋼琴 |
博聯盛藝樂器商城 |
北京 |
|
0 |
3490 |
0 |
實體現貨羅蘭ROland新款電鋼琴MP100MP100秒P105PX150包郵 |
廣州兩小節樂器 |
廣東廣州 |
|
0 |
3500 |
0 |
Roland羅蘭FP-30FP30智慧數碼電子鋼琴88鍵重錘藍芽智慧款FP30 |
roland_bj |
北京 |
|
0 |
4000 |
0 |
二手電鋼琴原裝日本羅蘭ROLANDFP-288鍵進口電子鋼琴鍵盤琴 |
愛笛聲琴行 |
上海 |
|
0 |
4980 |
0 |
新款ROLAND羅蘭電子數碼鋼琴RP-501R88鍵重錘電鋼琴RP301升級302 |
龍聖樂器專營店 |
江蘇南京 |
|
0 |
5980 |
0 |
現貨羅蘭電鋼琴RP-401R電子鋼琴88鍵重錘數碼鋼琴RP301升級電鋼 |
海都樂器企業店 |
四川成都 |
|
0 |
5990 |
0 |
羅蘭Roland電鋼琴RP501R/RP-302電子數碼鋼琴88鍵重錘電鋼包郵 |
蒙特麗樂器專營店 |
上海 |
|
0 |
7300 |
0 |
Roland/羅蘭電鋼琴RP401R數碼鋼琴88鍵重錘電子鋼琴 |
wdmzsytl |
北京 |
|
0 |
19800 |
0 |
RolandRD-300NXRD-800RD-2000羅蘭電鋼琴舞臺數碼鋼琴 |
謳唱樂器專營店 |
福建廈門 |
|
0 |
19800 |
0 |
【樂音中國】Roland/羅蘭電鋼琴RD-2000舞臺便攜88鍵盤重錘RD2000 |
musicpcm |
北京 |
|
0 |
19800 |
0 |
日產羅蘭RolandRD-300NX/2000V-PIANO88鍵盤數碼舞臺電鋼琴 |
音域樂器專營店 |
廣東廣州 |
|
0 |
22800 |
0 |
羅蘭RolandLX-17LX-7舞臺電鋼琴88鍵數碼鋼琴lx17lx7新款 |
亞倫樂器專營店 |
北京 |
|
0 |
22800 |
0 |
現貨Roland羅蘭LX-1788鍵rolandlx-7舞臺電鋼琴LX17數碼鋼琴 |
roland羅蘭右任之聲專賣店 |
北京 |
|
0 |
39800 |
0 |
RolandV-Piano羅蘭家庭/舞臺電子數碼鋼琴正品包郵 |
謳唱樂器專營店 |
福建廈門 |
|
0 |
128000 |
0 |
Roland羅蘭電鋼琴GP-7三角鋼琴V-PianoGrand88鍵重錘數碼鋼琴 |
眾樂樂器 |
湖北武漢 |
|
4028410 |
下面這個是雅馬哈電鋼琴的交易記錄
|
SUM |
price |
deal |
title |
shop |
location |
|
2858289 |
3117 |
917 |
雅馬哈電鋼琴P-125B/115WH電子數碼鋼琴成人初學專業88鍵重錘電鋼 |
yamaha雅馬哈藝可專賣店 |
上海 |
|
3690431 |
4799 |
769 |
順豐YAMAHA雅馬哈YDP103R數碼88鍵重錘帶蓋進口立式智慧電子鋼琴 |
yamaha雅馬哈大佰專賣店 |
江蘇南通 |
|
233775 |
3117 |
75 |
新品雅馬哈P-125B125WH成人兒童88鍵重錘數碼電子鋼琴P115升級款 |
yamaha雅馬哈大佰專賣店 |
江蘇南通 |
|
279251 |
5699 |
49 |
雅馬哈電鋼琴YDP-143R電子鋼琴數碼鋼琴88鍵重錘成人專業順豐包郵 |
吉利樂器專營店 |
安徽合肥 |
|
115168 |
3599 |
32 |
雅馬哈KBP2000電鋼琴88鍵重錘數碼鋼琴KBP1000智慧鋼琴電子鋼琴 |
亞倫樂器專營店 |
北京 |
|
129573 |
4799 |
27 |
雅馬哈電鋼琴YDP-103R專業88鍵重錘成人家用初學智慧電子數碼鋼琴 |
廣州知音樂器專營 |
廣東廣州 |
|
93574 |
3599 |
26 |
雅馬哈電鋼琴KBP-1000/2000初學者家用88鍵重錘專業成人電子鋼琴 |
鄭州豫華樂器專營店 |
河南鄭州 |
|
990000 |
45000 |
22 |
日本原裝進口二手三角鋼琴專業演奏成人家用初學者雅馬哈C3三角琴 |
qiqi926308 |
上海 |
|
95980 |
4799 |
20 |
雅馬哈電鋼琴YDP-103R數碼鋼琴88鍵重錘成人專業順豐入戶安裝 |
yamaha暢想專賣店 |
陝西西安 |
|
59223 |
3117 |
19 |
雅馬哈P-125B125WH智慧成人兒童88鍵重錘數碼電子鋼琴P115升級款 |
國樂樂器專營店 |
江蘇南通 |
|
96883 |
5699 |
17 |
雅馬哈電鋼琴YDP-143立式家用成人專業電子88鍵重錘YDP142電鋼 |
世紀音緣樂器專營店 |
北京 |
|
105000 |
7000 |
15 |
雅馬哈數碼電鋼琴YDP-163舞臺演奏智慧88鍵重錘專業成人電子鋼琴 |
噥噥qq1024209412 |
上海 |
|
79786 |
5699 |
14 |
印尼進口雅馬哈電鋼琴YDP143b電子鋼琴88鍵重錘數碼鋼琴YDP-143wh |
揚威樂器專營店 |
浙江嘉興 |
|
238000 |
17000 |
14 |
日本原裝雅馬哈二手鋼琴初學者兒童成人家用立式YAMAHAU1H／U3H |
斬月9100 |
|