python爬蟲獲取文字(小說等)基礎教程
阿新 • • 發佈:2019-02-15
一個簡單的爬取文字的程式,結合前述3篇部落格,基本包括一些爬蟲基礎,希望可以互相學習
import requests from lxml import etree def get_url(): url='https://share.html5.qq.com/fx/u?r=rBHXbBC' r=requests.get(url) r.encoding = 'UTF-8' #print(r.text) html=etree.HTML(r.text) ts = html.xpath('//div[@class="item article"]/section/article/p/span/text()') #print(ts) for t in ts: # 去掉空格換行之類的 d = t.strip() print(d) save1File(d) def save1File(d): print('''儲存''') with open('F:python//test//爬蟲學習//儲存文字//datas.txt', 'a',encoding='utf-8') as fp: fp.write(d+'\n') get_url() save1File()