Python爬蟲入門 | 6 將爬回來的數據存到本地
1.用Python語句存儲數據
寫文件時，我們主要用到 with open() 語句:
with open(name,mode,encoding) as file： file.write() # 註意，with open() 後面的語句有一個縮進
name：包含文件名稱的字符串，比如：‘xiaozhu.txt’; mode：決定了打開文件的模式,只讀/寫入/追加等; encoding：表示我們要寫入數據的編碼，一般為 utf-8 或者 gbk ; file：表示我們在代碼中對文件的命名。
用我們前面爬的小豬的例子來看一下，實際是什麽樣的：
from lxml import etree
import requests
import time
with open('/Users/mac/Desktop/xzzf.txt','w',encoding='utf-8') as f:
for a in range(1,6):
url = 'http://cd.xiaozhu.com/search-duanzufang-p{}-0/'.format(a)
data = requests.get(url).text
s=etree.HTML(data)
file=s.xpath('//*[@id="page_list"]/ul/li')
time.sleep(3)
for div in file:
title=div.xpath("./div[2]/div/a/span/text()")[0]
price=div.xpath("./div[2]/span[1]/i/text()")[0]
scrible=div.xpath("./div[2]/div/em/text()")[0].strip()
pic=div.xpath("./a/img/@lazy_src")[0]
f.write("{},{},{},{}\n".format(title,price,scrible,pic))
將寫入的文件名 xzzf.txt，如果沒有將自動創建。
/Users/mac/Desktop/xzzf.txt
在前面加了一個桌面的路徑，它將存在桌面，如果不加路徑，它將存在你當前工作目錄中。
w：只寫的模式，如果沒有文件將自動創建；
encoding='utf-8'：指定寫入文件的編碼為：utf-8，一般指定utf-8即可；
f.write("{} {} {} {}\n".format(title,price,scrible,pic))
#將 title,price,scrible,pic 的值寫入文件來看一下存下來的數據是怎樣的：
如果你沒有指定文件路徑，怎麽找寫在本地的文件呢？給你兩種方法：
1.在 win10 中打開小娜（cortana），搜索你的文件名即可
2.推薦軟件“everything”，查詢文件更方便快捷。
這個軟件非常小，百度很容易找到，但確實是神器用了你會回來感謝我的~
所以還是建議你在寫代碼的時候，老老實實在文件名前面加上你想存放的路徑。什麽，你連路徑怎麽寫都不知道？好吧，比如我想把文件存在桌面，那麽怎麽查看路徑？
隨便找一個文檔，比如桌面的文檔， 右鍵 >“屬性”，“位置”後面的信息，就是該文檔所在的路徑了。
2.文件存為CSV格式
當然，你也可以將文件存為 .csv 格式，在 with open() 語句後更改文件後綴即可。
from lxml import etree
import requests
import time
with open('/Users/mac/Desktop/xiaozhu.csv','w',encoding='utf-8') as f:
for a in range(1,6):
url = 'http://cd.xiaozhu.com/search-duanzufang-p{}-0/'.format(a)
data = requests.get(url).text
s=etree.HTML(data)
file=s.xpath('//*[@id="page_list"]/ul/li')
time.sleep(3)
for div in file:
title=div.xpath("./div[2]/div/a/span/text()")[0]
price=div.xpath("./div[2]/span[1]/i/text()")[0]
scrible=div.xpath("./div[2]/div/em/text()")[0].strip()
pic=div.xpath("./a/img/@lazy_src")[0]
f.write("{},{},{},{}\n".format(title,price,scrible,pic))
另外，需要註意的是：CSV 每個字段之間要用逗號隔開，所以這裏把之前的空格改為了逗號。
CSV 文件怎麽打開？
一般情況下，用記事本就可以直接打開，如果你直接用 Excel 打開，很有肯能會出現亂碼，就像下面這樣：
Excel 打開 CSV 出現亂碼怎麽辦？
在記事本中打開文件
另存為 – 選擇編碼為“ANSI”
再來看看之前的豆瓣TOP250圖書寫入文件:
from lxml import etree
import requests
import time
with open('/Users/mac/Desktop/top250.csv','w',encoding='utf-8') as f:
for a in range(10):
url = 'https://book.douban.com/top250?start={}'.format(a*25)
data = requests.get(url).text
s=etree.HTML(data)
file=s.xpath('//*[@id="content"]/div/div[1]/div/table')
time.sleep(3)
for div in file:
title = div.xpath("./tr/td[2]/div[1]/a/@title")[0]
href = div.xpath("./tr/td[2]/div[1]/a/@href")[0]
score=div.xpath("./tr/td[2]/div[2]/span[2]/text()")[0]
num=div.xpath("./tr/td[2]/div[2]/span[3]/text()")[0].strip("(").strip().strip(")").strip()
scrible=div.xpath("./tr/td[2]/p[2]/span/text()")
if len(scrible) > 0:
f.write("{},{},{},{},{}\n".format(title,href,score,num,scrible[0]))
else:
f.write("{},{},{},{}\n".format(title,href,score,num))
最後存下來的數據是這樣的：
好了，這節課就到這裏！
Python爬蟲入門 | 6 將爬回來的數據存到本地