技術標籤：python

python爬取肯德基KFC全國門店

改進版

之前，參考兩位網友的程式碼，爬取全國KFC門店，發現有些許問題。在參考網友程式碼的基礎上，進行改進，最終爬取了全國KFC門店。
思路如下：
第一步：通過KFC門網頁，獲取所在KFC下的城市列表。存為列表city_list=[]。
第二部：利用city_list獲得的城市列表，逐個遍歷，最終獲得每個城市下面的KFC門店。
結果說明：
①截至2021年1月5號，KFC全國合計在608個城市中，公開設7589個店鋪。
②第二部分，kfcurl=‘http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname’中，

import requests,csv,time
from bs4 import BeautifulSoup

'''第一部分:KFC介面獲取城市列表'''
time_start=time.time()
city_list=[]
url='http://www.kfc.com.cn/kfccda/storelist/index.aspx'
head={
'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'
 
,
}
res=requests.get(url,headers=head)
soup=BeautifulSoup(res.text,'html.parser')
city_city=soup.find_all('div',class_='city_city')
for cities in city_city:
    for city in cities.find_all('a'):
        cityName=city.text.strip('')
        with open('kfc_store_from_kfc_store_list_0105_4.csv',mode='a',
 
newline='') as f:
            writer=csv.writer(f,delimiter=',')
            writer.writerow([cityName])
        city_list.append(cityName)
print(city_list)
print(f'合計獲取{len(city_list)}個城市!!!')


'''第二部分:利用第一部分的資料,逐個遍歷城市下的KFC餐廳'''
import math
totalshops=0
kfcurl='http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname'
head={
'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36',
}
for city in city_list:
    index=1     # index先設定成1，抓取到rowcount後再動態賦值
    data={
        'cname': city,
        'pid': '',
        'pageIndex': index,
        'pageSize': 10
    }
    res=requests.post(kfcurl,data=data,headers=head)
    json_data=res.json()
    rowcount=json_data['Table'][0]['rowcount']
    totalshops+=rowcount
    pageindex=math.ceil(rowcount/10)
    for i in range(pageindex):
        print(f'============正在獲取{city}，第{i+1}頁的資料============')
        data['pageIndex']=i+1
        response=requests.post(kfcurl,data=data,headers=head)
        list_data=response.json()
        for j in list_data['Table1']:
            storeName=j['storeName']
            addressDetail = j['addressDetail']
            pro=j['pro']
            provinceName=j['provinceName']
            cityName = j['cityName']
            with open('kfc_store_list_0105_4.csv',mode='a',newline='') as f:
                writer=csv.writer(f,delimiter=',')
                writer.writerow([city,storeName,addressDetail,pro,provinceName,cityName])
    print(f'============{city}的資料獲取完畢！！！合計{rowcount}個店鋪============')
time_end=time.time()
print(f'============程式執行完畢，用時{time_end-time_start}秒,合計{len(city_list)}個城市資料獲取完畢！！！合計{totalshops}個店鋪=======')

新的改變

我們對Markdown編輯器進行了一些功能拓展與語法支援，除了標準的Markdown編輯器功能，我們增加了如下幾點新功能，幫助你用它寫部落格：

1. 全新的介面設計 ，將會帶來全新的寫作體驗；
2. 在創作中心設定你喜愛的程式碼高亮樣式，Markdown 將程式碼片顯示選擇的高亮樣式 進行展示；
3. 增加了 圖片拖拽 功能，你可以將本地的圖片直接拖拽到編輯區域直接展示；
4. 全新的 KaTeX數學公式 語法；
5. 增加了支援甘特圖的mermaid語法¹ 功能；
6. 增加了 多螢幕編輯 Markdown文章功能；
7. 增加了 焦點寫作模式、預覽模式、簡潔寫作模式、左右區域同步滾輪設定 等功能，功能按鈕位於編輯區域與預覽區域中間；
8. 增加了 檢查列表 功能。

功能快捷鍵

撤銷：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜體：Ctrl/Command + I
標題：Ctrl/Command + Shift + H
無序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
檢查列表：Ctrl/Command + Shift + C
插入程式碼：Ctrl/Command + Shift + K
插入連結：Ctrl/Command + Shift + L
插入圖片：Ctrl/Command + Shift + G
查詢：Ctrl/Command + F
替換：Ctrl/Command + G

合理的建立標題，有助於目錄的生成

直接輸入1次#，並按下space後，將生成1級標題。
輸入2次#，並按下space後，將生成2級標題。
以此類推，我們支援6級標題。有助於使用TOC語法後生成一個完美的目錄。

如何改變文字的樣式

強調文字 強調文字

加粗文字 加粗文字

標記文字

刪除文字

引用文字

H₂O is是液體。

2¹⁰ 運算結果是 1024.

插入連結與圖片

連結: link.

圖片:

帶尺寸的圖片:

居中的圖片:

居中並且帶尺寸的圖片:

當然，我們為了讓使用者更加便捷，我們增加了圖片拖拽功能。

如何插入一段漂亮的程式碼片

去部落格設定頁面，選擇一款你喜歡的程式碼片高亮樣式，下面展示同樣高亮的 程式碼片.

// An highlighted block
var foo = 'bar';

生成一個適合你的列表

• 專案
  • 專案
    • 專案

1. 專案1
2. 專案2
3. 專案3

• 計劃任務
• 完成任務

建立一個表格

一個簡單的表格是這麼建立的：

設定內容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

SmartyPants

SmartyPants將ASCII標點字元轉換為“智慧”印刷標點HTML實體。例如：

建立一個自定義列表

Markdown

Text-to- HTML conversion tool

Authors

John

Luke

如何建立一個註腳

一個具有註腳的文字。²

註釋也是必不可少的

Markdown將文字轉換為 HTML。

KaTeX數學公式

您可以使用渲染LaTeX數學表示式 KaTeX:

Gamma公式展示 Γ ( n ) = ( n − 1 ) ! ∀ n ∈ N \Gamma(n) = (n-1)!\quad\forall n\in\mathbb N Γ(n)=(n−1)!∀n∈N 是通過尤拉積分

Γ ( z ) = ∫ 0 ∞ t z − 1 e − t d t   . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=∫0∞​tz−1e−tdt.

你可以找到更多關於的資訊 LaTeX 數學表示式here.

新的甘特圖功能，豐富你的文章

• 關於 甘特圖 語法，參考 這兒,

UML 圖表

可以使用UML圖表進行渲染。 Mermaid. 例如下面產生的一個序列圖：

這將產生一個流程圖。:

• 關於 Mermaid 語法，參考 這兒,

FLowchart流程圖

我們依舊會支援flowchart的流程圖：

• 關於 Flowchart流程圖 語法，參考 這兒.

匯出與匯入

匯出

如果你想嘗試使用此編輯器, 你可以在此篇文章任意編輯。當你完成了一篇文章的寫作, 在上方工具欄找到 文章匯出 ，生成一個.md檔案或者.html檔案進行本地儲存。

匯入

如果你想載入一篇你寫過的.md檔案，在上方工具欄可以選擇匯入功能進行對應副檔名的檔案匯入，
繼續你的創作。