1. 程式人生 > >python爬蟲獲取文字(小說等)基礎教程

python爬蟲獲取文字(小說等)基礎教程

一個簡單的爬取文字的程式,結合前述3篇部落格,基本包括一些爬蟲基礎,希望可以互相學習

import requests
from lxml import etree

def get_url():
    url='https://share.html5.qq.com/fx/u?r=rBHXbBC'
    r=requests.get(url)
    r.encoding = 'UTF-8'
    #print(r.text)
    html=etree.HTML(r.text)
    ts = html.xpath('//div[@class="item article"]/section/article/p/span/text()')
    #print(ts)
    for t in ts:
        # 去掉空格換行之類的
        d = t.strip()
        print(d)
        save1File(d)
def save1File(d):
    print('''儲存''')
    with open('F:python//test//爬蟲學習//儲存文字//datas.txt', 'a',encoding='utf-8') as fp:  
        fp.write(d+'\n')    

get_url()
save1File()