1. 程式人生 > 其它 >Python爬蟲——將爬取的資料存入excle

Python爬蟲——將爬取的資料存入excle

本性專案從淘車網爬取資料並將爬下來的資料生成excle表格

安裝 lxml和XlsxWriter庫的時候飄紅,從Terminal和Python interpreter安裝都不行,最後試了試cmd

 

好像是先從cmd用清華映象裝,再從Python interpreter裝,剛開始Python interpreter也裝不上

 

 

# -*- codeing = utf-8 -*-
# @Time : 2022/5/6 21:42 下午
# @Auther :ywx
# @File : 爬蟲2.py
# @Software: PyCharm
import requests
import xlrd
import xlwt from lxml import etree import xlsxwriter url='https://beijing.taoche.com/landrover/' #設定請求頭 headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36 Edg/100.0.1185.50'} #通過狀態碼判斷網頁請求是否成功 def get(uel): response = requests.get(url,headers=headers)
if response.status_code==200: print("success!") else: print("false") #爬蟲部分 def parse(url): response = requests.get(url, headers=headers) #定義選擇器 selector = etree.HTML(response.text) name = selector.xpath('//a/span/text()') originalprice = selector.xpath('//i[@class="onepaynor"]/text()
') print(name,originalprice) # for i in range(len(name)): #print(name[i], originalprice[i]) #建立表格 workbook = xlsxwriter.Workbook('taoche_spider.xlsx') worksheet = workbook.add_worksheet() for i in range(len(name)): #在第i行,第1列,寫入originalprice worksheet.write(i,0,name[i]) for i in range(len(originalprice)): worksheet.write(i, 1, originalprice[i]) workbook.close() get(url) parse(url)

建立表格的程式碼執行的時候出現 IndexError: list index out of range報錯,剛開始以為是陣列下標越界,後來發現是因為呼叫len(name)只能返回name[i],再返回 originalprice的時候 originalprice不在它的範圍裡。