【一、專案簡介】

本文主要目標是採集淘寶的評價，找出客戶所需要的功能。統計客戶評價上面誇哪個功能多，比如防水，容量大，好看等等。

【二、專案準備工作】

1. 準備Pycharm，下載安裝等，可以參考這篇文章：Python環境搭建—安利Python小白的Python和Pycharm安裝詳細教程

2. 爬取商品地址，如下所示：

https://detail.tmall.com/item.htm?spm=a230r.1.14.1.55a84b1721XG00&id=552918017887&ns=1&abbucket=17

3. 需要下載幾個庫，如何下載呢？

開啟pycharm軟體點選File在點選setting選項，再選擇Project：你的檔名下邊的Project:Interpreter選項。

點選+號，安裝這個專案需要用的庫，例如：requests、beautifulsoup4、simplejson。

【三、專案實現】

1.匯入需要的庫

import requests
from bs4 import  BeautifulSoup as bs
import json
import csv
import re

2. 需要登入淘寶網，選擇谷歌瀏覽器選擇開發者工具或按F12有個Network選項，查詢list_detail_rate.htm?檔案

定義一個變數儲存URL地址PAGE_URL = []

定義一個生成連結列表函式，使用字串拼接形成評論的頁數

定義一個獲取評論資料函式內定義需要用到的欄位例如：使用者名稱、評論時間、顏色分類、評論，如下圖所示。

那個cookie值在在開發者工具Network有個item.htm?spm檔案有個cookie複製過來就好了。

解析JS檔案內容、將資料寫入TEXT檔案中，如下圖所示。

最後定義一個主函式爬取需要的評論頁數，如下圖所示。

最後得到的結果如圖所示：

【四、總結】

1. 本文基於Python網路爬蟲，採集了淘寶商品的評價，方法行之有效。但是建議不要抓取太多，以免對伺服器造成壓力。

2. 如果需要本文原始碼，請在公眾號後臺回覆“淘寶評論”獲取。

想學習更多前端、Python爬蟲、大資料等計算機知識，請前往：http://pdcfighting.com/