提示：完整程式碼附在文末

一、需要的庫

          requests：獲得網頁請求

          BeautifulSoup：處理資料，獲得所需要的資料

二、爬取豆瓣電影Top250

          爬取內容為：豆瓣評分前二百五位電影的名字、主演、以及該電影的簡介。

        首先先進入豆瓣電影Top250，開啟審查元素，找到所要爬取的電影名、主演以及電影主頁的連結都在標籤<div class="info">中間，如下圖所示

        對於電影名和導演主演這些資訊是可以直接獲取的：

        content_list中包含所有標籤為<div class="info">的內容。

        對於電影簡介，則需要先進入該電影介面，再獲取。而進入電影主頁的連結就儲存在div下第一個a標籤的‘href’屬性中，獲取方法如下：

        得到link之後，獲取link內容，因為Top250中存在連結打不開的現象，所以我加了一個if語句，過濾掉無效的link。手動開啟任意一個link，從審查元素中定位電影簡介的位置，得知資訊儲存在<span property="v:summary">中，獲取資訊。

三、資料儲存

        我這裡建立裡一個資料夾，以每個電影名命名建立各自的TXT檔案寫入title、star、summary。

四、總結

        這個實踐時比較基礎的，但在其中也發現了BeautifulSoup庫定位時還是比較麻煩的，新手理解很快，但在實踐中還是需要眼力的。

完整程式碼：

#encoding=utf-8
import bs4
from bs4 import BeautifulSoup
import requests
import os


def get_html(url):
    try:
        header = {
        "User-Agent": "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16"}
        r = requests.get(url,timeout = 30,headers=header)
        r.raise_for_status()
        print(r.text)
        return r.text
    except :
        return "error"

def print_content(html):
    soup = BeautifulSoup(html,'html.parser')
    content_list = soup.find_all('div',attrs={'class':'info'})
    #os.mkdir(path)

    print(type(content_list))
    print(len(content_list))

    for content in content_list:
        title = content.find('span').text
        star = content.find('p').text.replace('&nbsp','').replace('    ','')
        
        link = content.a['href']
        title = content.find('span').text
        print(link)
        print(title)
        html = get_html(link)
        if(html != "error"):
            soup = BeautifulSoup(html,'lxml')
            summary = soup.find('span',{'property':'v:summary'}).text.replace(' ','')
            #print(summary)
        else:
            print("None")

        fpath = path + "\\" + title+".txt"
        with open(fpath,'w',encoding="utf-8") as f:
            f.write(title)
            f.write(star)
            f.write(summary)
        f.close()

i =0
while i<250:
    path = "E:\\Compile Tools\\python\\寫的程式放在這裡\\moive"
    url = "https://movie.douban.com/top250?start="+str(i)
    html = get_html(url)
    print_content(html)
    i = i+25