前言

今天, 帶大家採集地方官方網站的商品資料，其實這些公開的商品資料就是展示給使用者看的，只不過我們通過爬蟲採集下來可以更加方便我們看資料, 以及方便後續對資料做分析。

一起來看看吧!

本篇文章程式碼內容：

1. 分析網頁性質, 找資料請求的地址
2. json資料的資料解析
3. 如何儲存成csv

環境介紹：

• python 3.6
• pycharm
• requests
• csv

爬蟲案例實現的步驟:

1. 找資料對應的url地址
2. 傳送指定地址的請求
3. 資料的提取
4. 資料儲存

受害者地址：http://hljcg.hlj.gov.cn/

1. 找資料對應的url <統一資源定位符(連結地址)> 地址

原始表單資料

url = 'http://hljcg.hlj.gov.cn/proxy/trade-service/mall/search/searchByParamFromEs'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36'}

json_data = {"queryPage":{"platformId":20,"pageSize":28,"pageNum":1},"orderType
 
":"desc","homeType":"10","isAggregation":"true","publishType":"1","orderColumn":"saleCount","cid":1000033,"businessType":"1","cids":[]}

2. 傳送指定地址的請求

import requests  # 資料請求模組, 第三方模組
import pprint  # 格式化輸出

response = requests.post(url=url, json=json_data, headers=headers)
json_data = response.json()  #
 
 變數
pprint.pprint(json_data)

3. 資料的提取，json提取

取下每一條商品資料

result_list = json_data['data']['itemList']['resultList']
# print(result_list)

for result in result_list:
    print(result)

鍵值對取值

skuName = result['skuName']  # 商品名字
maxPrice = result['maxPrice']  # 商品價格
pictureUrl = result['pictureUrl'].replace('\n', ' | ')  # 商品圖片連結
print(skuName, maxPrice, pictureUrl)

4. 資料儲存

import csv   # 資料儲存模組, 內建模組

with open('商品資料.csv', mode='a', encoding='utf-8', newline='') as f:
    csv_write = csv.writer(f)
    csv_write.writerow([skuName, maxPrice, pictureUrl])

最後執行程式碼得到結果

​​​

​​​