python爬取華為商城所有的手機引數
阿新 • • 發佈：2022-04-10
需求分析：我們要爬取華為商城手機類別的所有手機引數。但是不要配件的。
1、按F12，隨便搜尋一個關鍵字，找到對應的介面。
找到的介面是：
Request URL: https://openapi.vmall.com/mcp/v1/search/queryPrd
Request Method: POST
Status Code: 200 OK
Remote Address: 121.36.48.86:443
Referrer Policy: strict-origin-when-cross-origin
可以看到是POST請求 ，所以我們要找到對應的引數和請求頭。後面程式碼裡面有。
2、點選下一頁，發下請求介面是一樣的，不同的是引數的請求頁數。
3、開啟一個手機的詳情頁，檢視詳情頁的請求引數。發現上面的請求連結後面的字串和第一步的介面獲取到的產品id是匹配的。
4、直接使用python requests 請求上面的連結，發現返回的資料裡面有我們想要的資料。
分析返回的引數資訊，發現當產品是手機的時候，通過bs4 獲取到的引數資訊組成的列表元素個數都超過14個。其他的基本是幾個或者是個不到，所以粗劣認為當小於10個的時候屬於手機。則開始爬取。
5、這樣我們就可以通過兩步來爬取相關的資料了。
1）先通過第1步的介面獲取到產品id。
2）通過產品id 去請求詳情頁獲取匹配資訊，然後通過bs4去解析，通過字典去儲存資料，寫入csv檔案裡面。
原始碼：
import csv
import os
import time
import requests,json
from bs4 import BeautifulSoup
headers = {
'Accept': '*/*',
'Accept-Encoding': 'gzip, deflate, br',
'Accept-Language': 'en,zh;q=0.9,zh-CN;q=0.8',
'Connection': 'keep-alive',
'Content-Length': '322',
'Content-Type': 'text/plain',
'Cookie': '_areacode=CN; locale_MS=zh_CN; HWWAFSESID=4e56b27883f4f885559c; HWWAFSESTIME=1631871756004; euid=e5087a3613b328a3828a561c0bfd5abb1e38ca8b7b6c4b33; deviceid=1dd8e0997f05274b7a7832576bacb775; TID=1dd8e0997f05274b7a7832576bacb775; sdevid=f0c5dd2caeb6deb7070c3d15846c41d263d0b576; salePortal=1; recommendflag=0; ipaddress=%E5%B9%BF%E4%B8%9C%2C%E5%B9%BF%E5%B7%9E%2C%E4%BB%8E%E5%8C%96%E5%B8%82%2C3855; ipaddressId=3853%2C3854%2C3855; cps_id=136118; cps_track_id=1631946786661_gunz7r2ohu9; CSRF-TOKEN=57EB9158F63738A7ECECDADDE2E7F2C564C8B72B8019C92B; device_data=*2k75MldkXzTmzTTFz1NZZ1OZcgcRetZT92wmpTwmzDlWQJMYNNNZOY1WimNYMM0gYYtiz0wy30mpwi34y4w1lNIkcNIQdZdwdb1YMTNddJYIVcUG5lyC05TW0wmTw2EEtyyTmpXD31kN0IZcZBYxIlMUUZVYQ4zy24G29FccAIOZMpzTzW2GTTjFGTDj2DW2kINMMRaYQUcMZMNZ4UKMNUJJNkxmSH4kWGuhT300jEyySio3nSjy5jNNNZOMNMbbVKNNMbZZTWw9Gm1aZFgJYJIY3ikwyl55mvyIzz5040hYakRNNB0NNYQYZgZbJBYMLJULpDj99TWmsGSlpSTMvjmumTT32Wm2ccIkRQNFFMF1AZAZkEGi9mT3mRJEcZ0BMTTTT3TTzD2jDTS22WD3ZMJZNYUNZNckLZJAYb4UbcMIKN2zjzHT1wWmGOFEGD2jh9zjxn2TvoNMMXMMYNcVKJRdPbNT313Dx2HUUNM1JYNJ5jwv41m59yCwo1wxhgPIcYZFMcYEFMdVIJa1JMMxJbYUXi2TClkzW2hCiw0TEuyH2mzDDzxqY5BUAk55VYIl9ZAZEkwmShlDW4YcEBZMYNDXDCDjT2SSjSSG2DDqlZNYMINNZMYNZIMY9pJMUVJZd4k3TT5ljm9NGDzl2Gy3iS99CTzxjVMMMZZMMTYQJMMVPZOl2DymDi9NFeMEzpl6yluzWYMNZNYY4bUSUMD2mh3u2ryuTlWFVVoxdtIYDzWjXQ==',
'CsrfToken': '',
'Host': 'openapi.vmall.com',
'Origin': 'https://www.vmall.com',
'Referer': 'https://www.vmall.com/',
'sec-ch-ua': '"Google Chrome";v="93", " Not;A Brand";v="99", "Chromium";v="93"',
'sec-ch-ua-mobile': '?0',
'sec-ch-ua-platform': '"Windows"',
'Sec-Fetch-Dest': 'empty',
'Sec-Fetch-Mode': 'cors',
'Sec-Fetch-Site': 'same-site',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36'
}
payload = { "PersonalizeSearch": 2,
"brandType": 0,
"country": "CN",
"keyword": 36,
"lang": "zh-CN",
"pageNum": 1,
"pageSize": 20,
"portal": 1,
"searchFlag": 1,
"searchId": "1dd8e0997f05274b7a7832576bacb775",
"searchSortField": 0,
"searchSortType": "desc",
"sid": "89cc6077cd6c88a51d9e56fe1157a0bacb195cedd0f45242",
"tid": "1dd8e0997f05274b7a7832576bacb775",
}
# 需要的資料列表，後續會根據資料列表獲取對應的資料
mylist = ['品牌','型號','傳播名','上市時間','作業系統','CPU型號','CPU核數','CPU主頻','GPU','NPU','解析度','執行記憶體（RAM）','機身記憶體（ROM）','電池容量','資料線介面']
# 初始化字典，因為不是每臺手機都保證有對應的引數,後面爬取到對應的引數會更改欄位對應的值，確保資料一致性
UP = dict()
for tkey in mylist:
UP[tkey] = ''
# 中文數字轉阿拉伯,因為手機CPU核數不會太大，所以函式簡單點
def change_num(kernel_num):
num_dict = {'零': 0, '一': 1, '二': 2, '兩': 2, '三': 3, '四': 4, '五': 5, '六': 6, '七': 7, '八': 8, '九': 9,'十': 10}
# 獲取字典的keys，用來判斷和提取對應的阿拉伯數字
key_list = list(num_dict.keys())
num = 0
for i in kernel_num:
if i == '核':
continue
elif i in key_list:
num = int(num_dict[i])+num
elif i != '核':
num = int(i)+num
return num
def get_product_id(page_num=1):
global PAGENUM
APIURL = "https://openapi.vmall.com/mcp/v1/search/queryPrd"
payload['pageNum'] = page_num
r = requests.post(APIURL,data=json.dumps(payload), headers=headers, verify=False)
data = json.loads(r.text)['resultList']
PAGENUM = json.loads(r.text)['totalCount']# 產品總量
for pro in data:
pid_list.append(pro['productId'])
time.sleep(5)# 避免太頻繁呼叫
def get_info(product_id):
url = 'https://www.vmall.com/product/%s.html'%product_id
r = requests.get(url)
soup = BeautifulSoup(r.text, 'html.parser')
# 相關引數
para_list = soup.find_all('div', class_='product-parameter-list clearfix')
if len(para_list) > 10:# 分析過手機的列表大部分都是14，其他的都是配件
for tsoup in para_list:
tpara = tsoup.find_all('li')
for tinfo in tpara:
pname = tinfo.find('label').text
para = tinfo.find('span').text
if pname in mylist:
UP[pname] = change_num(para) if pname == 'CPU核數' else para # CPU 儲存阿拉伯文字
print(UP)
save_file(UP)
else:
print(url)
time.sleep(5)
def save_file(UP):
'''儲存csv檔案'''
csv_columns = list(UP.keys())
try:
if os.path.exists(csv_file):
with open(csv_file, 'a', encoding='utf-8-sig') as file:
writer = csv.DictWriter(file, fieldnames=csv_columns, delimiter=',', lineterminator='\n')
writer.writerow(UP)
else:
with open(csv_file, 'w', encoding='utf-8-sig') as csvfile:
print("建立csv檔案")
writer = csv.DictWriter(csvfile, fieldnames=csv_columns, delimiter=',', lineterminator='\n')
writer.writeheader()
writer.writerow(UP)
except IOError as err:
print(err)
if __name__ == '__main__':
csv_file = "data.csv"
# 跨域token，這個token好像是會過期的，需要手動頁面複製
headers['CsrfToken'] = '4C2CBE8A16F79C393C8709CA32E9A6A81C0CD4C2D17B1C5E'
pid_list = []
# 獲取總頁數
get_product_id()
# print(pid_list)
total_page = (int(PAGENUM/20)+2)
for pagenum in range(2,total_page):
get_product_id(pagenum)
time.sleep(2)
for pid in pid_list:
get_info(pid)
# print(len(pid_list))