Python爬取某東羽絨服資料，用視覺化幫你挑選心儀的衣服
阿新 • • 發佈：2020-12-04
本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,如有問題請及時聯絡我們以作處理。
以下文章附帶菜J學Python ，作者J哥
剛接觸Python的新手、小白，可以複製下面的連結去免費觀看Python的基礎入門教學視訊
https://v.douyu.com/author/y6AZ4jn9jwKW
前言
前就在上，廣深的朋友估計還穿著短袖羨慕著北方的下雪氣氛。結果就在上週，廣深也迎來了降溫，大家紛紛加入“降溫群聊”。
為了幫助大家抵抗禦嚴寒，我特地爬了下京東的羽絨服資料。為啥不是天貓呢，理由很簡單，滑塊驗證有點麻煩。
資料獲取
京東網站是一個ajax動態載入的網站，只能通過解析介面或使用硒自動化測試工具去爬取。關於動態網頁爬蟲，本公眾號歷史原創文章介紹過，感興趣的朋友可以去了解一下。
本次資料獲取採用硒，由於我的谷歌瀏覽器版本更新較快，導致原來的谷歌驅動程式中斷。於是，我替換了瀏覽器自動更新，並下載了對應版本的驅動。
接著，利用硒在京東網搜尋羽絨服，手機掃碼登入，獲得了羽絨服的商品名稱，商品價格，店鋪名稱，評論人數等資訊。
from selenium import webdriver from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By from selenium.webdriver.support.ui importWebDriverWait from lxml import etree import random import json import csv import time browser = webdriver.Chrome('/菜J學Python/京東/chromedriver') wait =WebDriverWait(browser,50) #設定等待時間 url = 'https://www.jd.com/' data_list= [] #設定全域性變數用來儲存資料 keyword ="羽絨服"#關鍵詞 def page_click(page_number): try:# 滑動到底部 browser.execute_script("window.scrollTo(0, document.body.scrollHeight);") time.sleep(random.randint(1, 3)) #隨機延遲 button = wait.until( EC.element_to_be_clickable((By.CSS_SELECTOR, '#J_bottomPage > span.p-num > a.pn-next > em')) )#翻頁按鈕 button.click()#點選按鈕 wait.until( EC.presence_of_all_elements_located((By.CSS_SELECTOR, "#J_goodsList > ul > li:nth-child(30)")) )#等到30個商品都加載出來 # 滑到底部，加載出後30個商品 browser.execute_script("window.scrollTo(0, document.body.scrollHeight);") wait.until( EC.presence_of_all_elements_located((By.CSS_SELECTOR, "#J_goodsList > ul > li:nth-child(60)")) )#等到60個商品都加載出來 wait.until( EC.text_to_be_present_in_element((By.CSS_SELECTOR, "#J_bottomPage > span.p-num > a.curr"), str(page_number)) )# 判斷翻頁成功,高亮的按鈕數字與設定的頁碼一樣 html = browser.page_source#獲取網頁資訊 prase_html(html)#呼叫提取資料的函式 except TimeoutError: return page_click(page_number)
資料清洗
匯入資料
import pandas as pd import numpy as np df = pd.read_csv("/菜J學Python/京東/羽絨服.csv") df.sample(10)
重新命名列
df = df.rename(columns={'title':'商品名稱','price':'商品價格','shop_name':'店鋪名稱','comment':'評論人數'})
檢視資料資訊
df.info() ''' 1.可能存在重複值 2.商店名稱存在缺失值 3.評價人數需要清洗 ''' <class 'pandas.core.frame.DataFrame'> RangeIndex: 4950 entries, 0 to 4949 Data columns (total 4 columns): # Column Non-Null Count Dtype --- ------ -------------- ----- 0 商品名稱 4950 non-null object 1 商品價格 4950 non-null float64 2 店鋪名稱 4949 non-null object 3 評論人數 4950 non-null object dtypes: float64(1), object(3) memory usage: 154.8+ KB
刪除重複資料
df = df.drop_duplicates()
缺失值處理
df["店鋪名稱"] = df["店鋪名稱"].fillna("無名氏")
商品名稱清洗
厚度
tmp=[] for i in df["商品名稱"]: if"厚"in i: tmp.append("厚款") elif"薄"in i: tmp.append("薄款") else: tmp.append("其他") df['厚度'] = tmp
版型
for i in df["商品名稱"]: if"修身"in i: tmp.append("修身型") elif"寬鬆"in i: tmp.append("寬鬆型") else: tmp.append("其他") df['版型'] = tmp
風格
tmp=[] for i in df["商品名稱"]: if"韓"in i: tmp.append("韓版") elif"商務"in i: tmp.append("商務風") elif"休閒"in i: tmp.append("休閒風") elif"簡約"in i: tmp.append("簡約風") else: tmp.append("其他") df['風格'] = tmp
商品價格清洗
df["價格區間"] = pd.cut(df["商品價格"],[0, 100,300, 500, 700, 1000,1000000],labels=['100元以下','100元-300元','300元-500元','500元-700元','700元-1000元','1000元以上'],right=False)
評價人數清洗
import re df['數字'] = [re.findall(r'(\d+\.{0,1}\d*)', i)[0] for i in df['評論人數']] #提取數字 df['數字'] = df['數字'].astype('float') #轉化數值型 df['單位'] = [''.join(re.findall(r'(萬)', i)) for i in df['評論人數']] #提取單位（萬） df['單位'] = df['單位'].apply(lambda x:10000if x=='萬'else1) df['評論人數'] = df['數字'] * df['單位'] # 計算評論人數 df['評論人數'] = df['評論人數'].astype("int") df.drop(['數字', '單位'], axis=1, inplace=True)
店鋪名稱清洗
df["店鋪型別"] = df["店鋪名稱"].str[-3:]
視覺化
引入視覺化相關庫
import matplotlib.pyplot as plt import seaborn as sns %matplotlib inline plt.rcParams['font.sans-serif'] = ['SimHei'] # 設定載入的字型名 plt.rcParams['axes.unicode_minus'] = False# 解決儲存影象是負號'-'顯示為方塊的問題 import jieba import re from pyecharts.charts import * from pyecharts import options as opts from pyecharts.globals import ThemeType import stylecloud from IPython.display import Image
描述性統計
相關性分析
商品價格分佈直方圖
sns.set_style('white') fig,axes=plt.subplots(figsize=(15,8)) sns.distplot(df["商品價格"],color="salmon",bins=10) plt.xticks(fontsize=16) plt.yticks(fontsize=16) axes.set_title("商品價格分佈直方圖")
評論人數分佈直方圖
sns.set_style('white') fig,axes=plt.subplots(figsize=(15,8)) sns.distplot(df["評論人數"],color="green",bins=10,rug=True) plt.xticks(fontsize=16) plt.yticks(fontsize=16) axes.set_title("評論人數分佈直方圖")
評論人數與商品價格的關係
fig,axes=plt.subplots(figsize=(15,8)) sns.regplot(x='評論人數',y='商品價格',data=df,color='orange',marker='*') plt.xticks(fontsize=16) plt.yticks(fontsize=16)
羽絨服價格分佈
df2 = df["價格區間"].astype("str").value_counts() print(df2) df2 = df2.sort_values(ascending=False) regions = df2.index.to_list() values = df2.to_list() c = ( Pie(init_opts=opts.InitOpts(theme=ThemeType.DARK)) .add("", list(zip(regions,values))) .set_global_opts(legend_opts = opts.LegendOpts(is_show = False),title_opts=opts.TitleOpts(title="羽絨服價格區間分佈",subtitle="資料來源：騰訊視訊\n製圖：菜J學Python",pos_top="0.5%",pos_left = 'left')) .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}:{d}%",font_size=14)) ) c.render_notebook()
評論人數top10店鋪
df5 = df.groupby('店鋪名稱')['評論人數'].mean() df5 = df5.sort_values(ascending=True) df5 = df5.tail(10) print(df5.index.to_list()) print(df5.to_list()) c = ( Bar(init_opts=opts.InitOpts(theme=ThemeType.DARK,width="1100px",height="600px")) .add_xaxis(df5.index.to_list()) .add_yaxis("",df5.to_list()).reversal_axis() #X軸與y軸調換順序 .set_global_opts(title_opts=opts.TitleOpts(title="評論人數TOP10",subtitle="資料來源：京東 \t製圖：J哥",pos_left = 'left'), xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=11)), #更改橫座標字型大小 #yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=12)), yaxis_opts=opts.AxisOpts(axislabel_opts={"rotate":30})#更改縱座標字型大小 ) .set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right')) ) c.render_notebook()
版型
df5 = df.groupby('版型')['商品價格'].mean() df5 = df5.sort_values(ascending=True)[:2] #df5 = df5.tail(10) df5 = df5.round(2) print(df5.index.to_list()) print(df5.to_list()) c = ( Bar(init_opts=opts.InitOpts(theme=ThemeType.DARK,width="1000px",height="500px")) .add_xaxis(df5.index.to_list()) .add_yaxis("",df5.to_list()).reversal_axis() #X軸與y軸調換順序 .set_global_opts(title_opts=opts.TitleOpts(title="各版型羽絨服均價",subtitle="資料來源：中原地產 \t製圖：J哥",pos_left = 'left'), xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=11)), #更改橫座標字型大小 #yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=12)), yaxis_opts=opts.AxisOpts(axislabel_opts={"rotate":30})#更改縱座標字型大小 ) .set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right')) ) c.render_notebook()
厚度
df5 = df.groupby('厚度')['商品價格'].mean() df5 = df5.sort_values(ascending=True)[:2] #df5 = df5.tail(10) df5 = df5.round(2) print(df5.index.to_list()) print(df5.to_list()) c = ( Bar(init_opts=opts.InitOpts(theme=ThemeType.DARK,width="1000px",height="500px")) .add_xaxis(df5.index.to_list()) .add_yaxis("",df5.to_list()).reversal_axis() #X軸與y軸調換順序 .set_global_opts(title_opts=opts.TitleOpts(title="各厚度羽絨服均價",subtitle="資料來源：京東 \t製圖：J哥",pos_left = 'left'), xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=11)), #更改橫座標字型大小 #yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=12)), yaxis_opts=opts.AxisOpts(axislabel_opts={"rotate":30})#更改縱座標字型大小 ) .set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right')) ) c.render_notebook()
風格
df5 = df.groupby('風格')['商品價格'].mean() df5 = df5.sort_values(ascending=True)[:4] #df5 = df5.tail(10) df5 = df5.round(2) print(df5.index.to_list()) print(df5.to_list()) c = ( Bar(init_opts=opts.InitOpts(theme=ThemeType.DARK,width="1000px",height="500px")) .add_xaxis(df5.index.to_list()) .add_yaxis("",df5.to_list()).reversal_axis() #X軸與y軸調換順序 .set_global_opts(title_opts=opts.TitleOpts(title="各風格羽絨服均價",subtitle="資料來源：京東 \t製圖：J哥",pos_left = 'left'), xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=11)), #更改橫座標字型大小 #yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=12)), yaxis_opts=opts.AxisOpts(axislabel_opts={"rotate":30})#更改縱座標字型大小 ) .set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right')) ) c.render_notebook()