近期忙裡偷閒，搞了幾天python爬蟲，基本可以實現常規網路資料的爬取，比如糗事百科、豆瓣影評、NBA資料、股票資料、天氣預報等的爬取，整體過程其實比較簡單，有一些HTML+CSS+DOM樹等知識就很easy，我就以天氣預報資料的爬取為例，整理出來。

需求：採用python爬取“天氣網”指定時間段及地區的天氣預報資料，並將爬取到的資料按順序寫入到本地EXCEL檔案中。

環境配置：

• python3.5
• win7 64位
• pandas（生成時間序列用到）
• urllib（獲取html）
• BeautifulSoup（解析html）
• xlsxwriter（寫入到excel）

話不多說，直接幹。。。

1、用到的庫

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
import datetime
import pandas as pd
import xlsxwriter as xlw
from urllib import request
from bs4 import BeautifulSoup as bs

2、兩種生成月份區間的方法

#  法一：datetime，先轉換為datetime型別，再做加減
def dateRange(start, end):  # start='2014-09'
    strptime, strftime = datetime.datetime.strptime, datetime.datetime.strftime
    days = (strptime(end, "%Y-%m"
 
) - strptime(start, "%Y-%m")).days
    datelist1 = [strftime(strptime(start, "%Y-%m") + datetime.timedelta(i), "%Y%m") for i in range(0, days, 1)]
    datelist = sorted(list(set(datelist1)))
    return datelist

# 法二：pandas產生時間序列
def dateRange1(start, end):
    datelist1 = [datetime.datetime.strftime(x, '%Y%m'
 
) for x in list(pd.date_range(start=start, end=end))]
    datelist = sorted(list(set(datelist1)))
    return datelist

3、爬取天氣網資料

需要注意對None值的處理，如果為None，則寫入到本地excel中會出錯，因為寫入的時候預設為str型別，因此，程式碼中對None值先做判斷，然後字串處理。

# 爬取“天氣網”天氣預報
def getCommentsById(city, start, end):  # city為字串，year為列表，month為列表
    weather_result = []
    datelist = dateRange(start, end)
    for i in datelist:
        url = 'http://lishi.tianqi.com/' + city + '/' + i + '.html'
        opener = request.Request(url)
        opener.add_header('User-Agent', 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)')
        req = request.urlopen(opener).read()
        soup = bs(req, 'html.parser')
        weather_m = soup.select('div .tqtongji2 > ul')  # .表示class; ‘#tongji’表示id等價於a[id='tongji']

        for i in weather_m[1:]:  # 因為第一個為表頭，所以篩除掉
            tt = []
            for j in range(6):
                t = i.find_all('li')[j].string
                if t is not None:  # 存在None值的進行處理，否則不能寫入到excel
                    tt.append(t)
                else:
                    tt.append('None')
            weather_result.append(tt)
    return weather_result

4、將爬取到的資料寫入到本地excel

xlsxwriter庫負責將資料寫入到excel中，效率非常高，支援流式寫入，緩解記憶體效率不足。

#  list資料寫入到本地excel中
def list_to_excel(weather_result, filename):
    workbook = xlw.Workbook('E:\\%s.xlsx' % filename)
    sheet = workbook.add_worksheet('weather_report')
    title = ['日期', '最高氣溫', '最低氣溫', '天氣', '風向', '風力']
    for i in range(len(title)):
        sheet.write_string(0, i, title[i], workbook.add_format({'bold': True}))  # 寫入表頭，字型加粗
    row, col = 1, 0
    for a, b, c, d, e, f in weather_result:
        sheet.write_string(row, col, a)
        sheet.write_string(row, col + 1, b)
        sheet.write_string(row, col + 2, c)
        sheet.write_string(row, col + 3, d)
        sheet.write_string(row, col + 4, e)
        sheet.write_string(row, col + 5, f)
        row += 1
    workbook.close()

5、大功告成，直接去E盤檢視

if __name__ == '__main__':
    data = getCommentsById('jinan', '2016-05', '2017-07')
    list_to_excel(data, '濟南天氣201605-201707')

腳註

若有錯誤，請指正交流。
蹄疾步穩，貼地而行，以行踐言！—zlg358 2017/8/23凌晨