在學習使用正則表示式、BeautifulSoup技術或Selenium技術爬取網路資料過程中，通常會將爬取的資料儲存至TXT檔案中，前面也講述過海量資料儲存至本地MySQL資料庫中，這裡主要補充BeautifulSoup爬取貴州農產品資料的過程，並存儲至本地的CSV檔案。

核心內容包括以下幾點：
    1.如何呼叫BeautifulSoup爬取網頁資料。
    2.如何儲存資料至CSV檔案。
    3.如何解決中文字元儲存的亂碼問題，UTF8編碼設定。
    4.如何定時設定爬取任務，定時截圖儲存。

基礎文章希望對大家有所幫助，尤其是剛入門學習BeautifulSoup爬蟲知識，或者是遇到如何將中文資料儲存至CSV檔案下的同學。如果文章中存在錯誤或不足之處，還請海涵~

一. Python操作CSV庫

CSV（Comma-Separated Values）是常用的儲存檔案，逗號分隔符，值與值之間用分號分隔。Python中匯入CSV擴充套件包即可使用，包括寫入檔案和讀取檔案。

1.寫入CSV檔案

# -*- coding: utf-8 -*-
import csv
c = open("test-01.csv", "wb")  #寫檔案
writer = csv.writer(c)
writer.writerow(['序號','姓名','年齡'])

tlist = []
tlist.append("1")
tlist.append("小明")
tlist.append("10")
writer.writerow(tlist)
print tlist,type(tlist)

del tlist[:]  #清空
tlist.append("2")
tlist.append("小紅")
tlist.append("9")
writer.writerow(tlist)
print tlist,type(tlist)

c.close()
 

2.讀取CSV檔案

# -*- coding: utf-8 -*-
import csv
c = open("test-01.csv", "rb")  #讀檔案
reader = csv.reader(c)
for line in reader:
    print line[0],line[1],line[2]
c.close()

序號 姓名 年齡
1 小明 10
2 小紅 9

二. BeautifulSoup爬取貴州農經網

現在需要通過BeautifulSoup獲取 產品、價格、單位、產地和釋出時間五個資訊，通過瀏覽器“審查元素”可以看到每行資料都位於<tr>節點下，其class屬性為“odd gradeX”，呼叫find_all函式即可獲取。

# -*- coding: utf-8 -*-
import urllib
from bs4 import BeautifulSoup

i = 1
while i<5:
    print "爬取第" + str(i) + "頁"
    url = "http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page=" + str(i)
    print url
    content = urllib.urlopen(url).read()
    soup = BeautifulSoup(content, "html.parser")
    print soup.title.get_text()
    
    num = soup.find_all("tr",class_="odd gradeX")
    for n in num:
        con = n.get_text()        
        num = con.splitlines()
        print num[1],num[2],num[3],num[4],num[5]
        
    i = i + 1

爬取第1頁
http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page=1
貴州農經網
龍蝦 260 元/公斤 貴陽市南明區新路口集貿市場 2017-10-30 11:28:39
豌豆 8 元/公斤 貴陽市南明區新路口集貿市場 2017-10-30 11:28:39
泥鰍 40 元/公斤 貴陽市南明區新路口集貿市場 2017-10-30 11:28:39
...
爬取第2頁
http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page=2
貴州農經網
石斑魚 60 元/公斤 貴陽市南明區新路口集貿市場 2017-10-30 11:28:39
紫菜（幹） 34 元/公斤 貴陽市南明區新路口集貿市場 2017-10-30 11:28:39
紐荷爾 14 元/公斤 貴陽市南明區新路口集貿市場 2017-10-30 11:28:39
黃鱔 70 元/公斤 貴陽市南明區新路口集貿市場 2017-10-30 11:28:39
...

# -*- coding: utf-8 -*-
"""
Created on Fri Oct 20 20:07:36 2017

@author: eastmount CSDN 楊秀璋
"""

import urllib
from bs4 import BeautifulSoup
import csv
import codecs

c = open("test.csv","wb")    #建立檔案
c.write(codecs.BOM_UTF8)     #防止亂碼
writer = csv.writer(c)       #寫入物件
writer.writerow(['產品','價格','單位','批發地','時間'])

i = 1
while i <= 4:
    print "爬取第" + str(i) + "頁"
    url = "http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page=" + str(i)
    content = urllib.urlopen(url).read()
    soup = BeautifulSoup(content,"html.parser")
    print soup.title.get_text()
    tt = soup.find_all("tr",class_="odd gradeX")
    for t in tt:
        content = t.get_text()
        num = content.splitlines()
        print num[0],num[1],num[2],num[3],num[4],num[5]
        #寫入檔案
        templist = []
        num[1] =  num[1].encode('utf-8')
        num[2] =  num[2].encode('utf-8')        
        num[3] =  num[3].encode('utf-8')
        num[4] =  num[4].encode('utf-8')
        num[5] =  num[5].encode('utf-8')
        templist.append(num[1])
        templist.append(num[2])
        templist.append(num[3])
        templist.append(num[4])
        templist.append(num[5])
        #print templist
        writer.writerow(templist)
    i = i + 1

c.close()

如果在增加一個定時機制，每天定時爬取就非常完美了。最後補充一下Anaconda製作的定時任務。

三. Python設定定時任務截圖

通常可以使用系統的任務來實現，比如WPS、QQ等軟體自動更新，或定時提醒，這裡只需要每天定時執行爬蟲程式碼即可，後面講寫一篇文章詳細介紹。
參考：http://blog.csdn.net/wwy11/article/details/51100432

下面是每隔10秒鐘開啟網頁，然後進行截圖的操作。作為線上備份的程式碼，僅供參考。

# -*- coding:utf-8 -*-
from PIL import ImageGrab
import webbrowser as web
import time
import os

#定時15分鐘
def sleeptime(hour,min,sec):
    return hour*3600 + min*60 + sec

second = sleeptime(0,0,10)
j = 1
while j==1:
    time.sleep(second)
    #開啟網頁
    url = ["https://www.gzzzb.gov.cn/","http://www.gznw.gov.cn/"]
    i = 1
    while i<=len(url):
        web.open_new_tab(url[i-1])
        time.sleep(5)
        im = ImageGrab.grab()
        im.save(str(j)+'.jpg','JPEG')#圖片儲存
        i = i+1
        j = j+1