2. 程式人生 > >初試python爬蟲之：豆瓣電影爬蟲

初試python爬蟲之：豆瓣電影爬蟲

阿新 • • 發佈：2019-01-26

因為課程需要，前兩天花了一天學習python並寫了一個豆瓣電影的爬蟲。

課程要求是這樣的：

爬取豆瓣網站上，電影排名在前50名的電影，包括電影名字，電影評分，電影簡介，
爬下來的電影資料進行分類，按照不同分類儲存在資料庫/Excel中的不同表中。

python的環境安裝配置，以及語法解釋本次就不提及了。

由於本人的正則不夠熟練，所以之前在用正則寫時並沒有成功爬下來，幾次嘗試失敗之後，本人運用了beautifulSoup來爬。所以如果希望正則方式的朋友就抱歉了。

直接上程式碼。

sql:

# Host: 127.0.0.1  (Version: 5.7.17-log)
# Date: 2018-06-04 11:52:30
# Generator: MySQL-Front 5.3  (Build 4.269)

/*!40101 SET NAMES utf8 */;
drop database if exists pythontest;
create database pythontest default character set utf8;
use pythontest;

#
# Structure for table "愛情表"
#

CREATE TABLE `愛情表` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `name` varchar(30) DEFAULT NULL COMMENT '電影名',
  `score` float DEFAULT NULL COMMENT '評分',
  `review` varchar(100) DEFAULT NULL COMMENT '簡介',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

#
# Structure for table "傳記表"
#

CREATE TABLE `傳記表` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `name` varchar(30) DEFAULT NULL COMMENT '電影名',
  `score` float DEFAULT NULL COMMENT '評分',
  `review` varchar(100) DEFAULT NULL COMMENT '簡介',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

#
# Structure for table "動畫表"
#

CREATE TABLE `動畫表` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `name` varchar(30) DEFAULT NULL COMMENT '電影名',
  `score` float DEFAULT NULL COMMENT '評分',
  `review` varchar(100) DEFAULT NULL COMMENT '簡介',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

#
# Structure for table "動作表"
#

CREATE TABLE `動作表` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `name` varchar(30) DEFAULT NULL COMMENT '電影名',
  `score` float DEFAULT NULL COMMENT '評分',
  `review` varchar(100) DEFAULT NULL COMMENT '簡介',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

#
# Structure for table "兒童表"
#

CREATE TABLE `兒童表` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `name` varchar(30) DEFAULT NULL COMMENT '電影名',
  `score` float DEFAULT NULL COMMENT '評分',
  `review` varchar(100) DEFAULT NULL COMMENT '簡介',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

#
# Structure for table "犯罪表"
#

CREATE TABLE `犯罪表` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `name` varchar(30) DEFAULT NULL COMMENT '電影名',
  `score` float DEFAULT NULL COMMENT '評分',
  `review` varchar(100) DEFAULT NULL COMMENT '簡介',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

#
# Structure for table "歌舞表"
#

CREATE TABLE `歌舞表` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `name` varchar(30) DEFAULT NULL COMMENT '電影名',
  `score` float DEFAULT NULL COMMENT '評分',
  `review` varchar(100) DEFAULT NULL COMMENT '簡介',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

#
# Structure for table "紀錄片表"
#

CREATE TABLE `紀錄片表` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `name` varchar(30) DEFAULT NULL COMMENT '電影名',
  `score` float DEFAULT NULL COMMENT '評分',
  `review` varchar(100) DEFAULT NULL COMMENT '簡介',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

#
# Structure for table "家庭表"
#

CREATE TABLE `家庭表` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `name` varchar(30) DEFAULT NULL COMMENT '電影名',
  `score` float DEFAULT NULL COMMENT '評分',
  `review` varchar(100) DEFAULT NULL COMMENT '簡介',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

#
# Structure for table "驚悚表"
#

CREATE TABLE `驚悚表` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `name` varchar(30) DEFAULT NULL COMMENT '電影名',
  `score` float DEFAULT NULL COMMENT '評分',
  `review` varchar(100) DEFAULT NULL COMMENT '簡介',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

#
# Structure for table "劇情表"
#

CREATE TABLE `劇情表` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `name` varchar(30) DEFAULT NULL COMMENT '電影名',
  `score` float DEFAULT NULL COMMENT '評分',
  `review` varchar(100) DEFAULT NULL COMMENT '簡介',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

#
# Structure for table "科幻表"
#

CREATE TABLE `科幻表` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `name` varchar(30) DEFAULT NULL COMMENT '電影名',
  `score` float DEFAULT NULL COMMENT '評分',
  `review` varchar(100) DEFAULT NULL COMMENT '簡介',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

#
# Structure for table "歷史表"
#

CREATE TABLE `歷史表` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `name` varchar(30) DEFAULT NULL COMMENT '電影名',
  `score` float DEFAULT NULL COMMENT '評分',
  `review` varchar(100) DEFAULT NULL COMMENT '簡介',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

#
# Structure for table "冒險表"
#

CREATE TABLE `冒險表` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `name` varchar(30) DEFAULT NULL COMMENT '電影名',
  `score` float DEFAULT NULL COMMENT '評分',
  `review` varchar(100) DEFAULT NULL COMMENT '簡介',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

#
# Structure for table "奇幻表"
#

CREATE TABLE `奇幻表` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `name` varchar(30) DEFAULT NULL COMMENT '電影名',
  `score` float DEFAULT NULL COMMENT '評分',
  `review` varchar(100) DEFAULT NULL COMMENT '簡介',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

#
# Structure for table "同性表"
#

CREATE TABLE `同性表` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `name` varchar(30) DEFAULT NULL COMMENT '電影名',
  `score` float DEFAULT NULL COMMENT '評分',
  `review` varchar(100) DEFAULT NULL COMMENT '簡介',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

#
# Structure for table "喜劇表"
#

CREATE TABLE `喜劇表` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `name` varchar(30) DEFAULT NULL COMMENT '電影名',
  `score` float DEFAULT NULL COMMENT '評分',
  `review` varchar(100) DEFAULT NULL COMMENT '簡介',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

#
# Structure for table "懸疑表"
#

CREATE TABLE `懸疑表` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `name` varchar(30) DEFAULT NULL COMMENT '電影名',
  `score` float DEFAULT NULL COMMENT '評分',
  `review` varchar(100) DEFAULT NULL COMMENT '簡介',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

#
# Structure for table "音樂表"
#

CREATE TABLE `音樂表` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `name` varchar(30) DEFAULT NULL COMMENT '電影名',
  `score` float DEFAULT NULL COMMENT '評分',
  `review` varchar(100) DEFAULT NULL COMMENT '簡介',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

#
# Structure for table "災難表"
#

CREATE TABLE `災難表` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `name` varchar(30) DEFAULT NULL COMMENT '電影名',
  `score` float DEFAULT NULL COMMENT '評分',
  `review` varchar(100) DEFAULT NULL COMMENT '簡介',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

#
# Structure for table "戰爭表"
#

CREATE TABLE `戰爭表` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `name` varchar(30) DEFAULT NULL COMMENT '電影名',
  `score` float DEFAULT NULL COMMENT '評分',
  `review` varchar(100) DEFAULT NULL COMMENT '簡介',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

本人貪方便並且本次核心不在資料庫，所以資料庫表是用中文建立的。如果各位有要求的話可以自行修改。

python:

#!/usr/bin/env python
# _*_coding:utf-8_*_
import requests
import pymysql
import sys
from bs4 import BeautifulSoup
downUrl = 'http://movie.douban.com/top250/'
def grapInFo(pra):
    soup = BeautifulSoup(pra, 'html.parser')
    ol = soup.find('ol', class_='grid_view')
    name = []  # 名字
score = []  # 評分

 
reviewList = []  # 短評
categoryList = [] # 類別
reload(sys)
    # Unicode編碼與ASCII編碼的不相容
sys.setdefaultencoding('utf - 8')
    for i in ol.find_all('li'):
        detail = i.find('div', attrs={'class': 'hd'})
        movieName = detail.find(
            'span', attrs={'class': 'title'}).get_text()  # 電影名字

 
scoreList = i.find(
            'span', attrs={'class': 'rating_num'}).get_text()  # 評分
review = i.find('span', attrs={'class': 'inq'})  # 短評
category = i.find('div', attrs={'class' : 'bd'}).find('p').get_text() #類別
category = str(category[category.rfind('/')+2 : len(str(category))].replace(' ', '').strip())
        if review:  # 判斷是否有短評
reviewList.append(review.get_text())
        else:
            reviewList.append('無')
        score.append(scoreList)
        name.append(movieName)
        categoryList.append(category)
    page = soup.find('span', attrs={'class': 'next'}).find('a')  # 獲取下一頁
if page:
        return name, score, reviewList, categoryList, downUrl + page['href']
    return name, score, reviewList, categoryList, None
def main():
    url = downUrl
    name = []
    score = []
    review = []
    category = []
    i = 1
headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36'
}

    while i < 3:
        pra = requests.get(url, headers=headers).content
        movie, scoreNum, reviewList, categoryList, url = grapInFo(pra)
        name = name + movie
        score = score + scoreNum
        review = review + reviewList
        category = category + categoryList
        i = i + 1
# 開啟資料庫連線
db = pymysql.connect("127.0.0.1", "root", "", "pythontest", charset="utf8")
    # 使用cursor()方法獲取操作遊標
cursor = db.cursor()


    for (i, o, r, c) in zip(name, score, review, category):
        print i , " ", o, " ", r, " ", c
        j = 0
while j < len(c.decode('utf-8')):
            print c.decode('utf-8')[j: j+2].encode('utf-8')
            j += 2
sql =  "INSERT INTO %s (name, \
           score, review) \
           VALUES ('%s', '%f', '%s')" % \
           (c.decode('utf-8')[j: j+2].encode('utf-8') + '表', str(i), float(o), str(r))
            print sql
            try:
                cursor.execute(sql)
                db.commit()
            except:
                db.rollback()
    db.close()
if __name__ == '__main__':
    main()

py2:

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import requests
import sys
import pymysql
from bs4 import BeautifulSoup

url = "https://movie.douban.com/top250"
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko'}

# 解析網頁
def praseHtml( url, headers):
    currenturl = url
    i = 1  # 序號
page = 1 #頁數
    # 開啟資料庫連線
db = pymysql.connect("127.0.0.1", "root", "", "pythontest", charset="utf8")
    # 使用cursor()方法獲取操作遊標
cursor = db.cursor()

    while currenturl:
        html = requests.get(currenturl, headers=headers).content # 獲取網頁原始碼
soup = BeautifulSoup(html, 'html.parser') # 解析當前頁，獲取想要的內容
moveList = soup.find('ol', class_='grid_view')

        reload(sys)
        sys.setdefaultencoding('utf8')
        for moveLi in moveList.find_all('li'):
            movieName = moveLi.find('span', attrs={'class': 'title'}).get_text() #電影名字
star = moveLi.find('span', attrs={'class' : 'rating_num'}).get_text() #星級
summary = moveLi.find('span', attrs={'class' : 'inq'}).get_text() # 簡介
category = moveLi.find('div', attrs={'class' : 'bd'}).find('p').get_text() #類別
category = str(category[category.rfind('/')+2 : len(str(category))].replace(' ', '').strip())
            print str(i) + ": " + movieName + " " + star + " " + summary + " " + category
            j = 0
while j < len(category.decode('utf-8')):
                print category.decode('utf-8')[j: j + 2].encode('utf-8')

                sql = "INSERT INTO %s (name, \
              score, review) \
              VALUES ('%s', '%f', '%s')" % \
                (category.decode('utf-8')[j: j + 2].encode('utf-8') + '表', str(movieName), float(star), str(summary))
                print sql
                try:
                    cursor.execute(sql)
                    db.commit()
                except:
                    db.rollback()
                j += 2
i += 1
# 下一頁
nextpage = soup.find('span', attrs={'class': 'next'}).find('a')
        # next = nextpage['href']   #這樣寫報錯：NoneType object is not subscriptable
if nextpage:
            currenturl = url + nextpage['href']
        else:
            currenturl = None
page += 1
if page==3:
            break
db.close()


praseHtml( url, headers)

本人寫了兩種。原理是一樣的，大家可以自行檢視。

本次爬蟲輸入入門級別比較簡單，所以也不做過多解釋了。

給大家提及一下，本次難點在於豆瓣電影的分類中。由於在相應li中沒有分類的標籤，而是將分類標籤與其他資訊混合起來。


所以對這些字串的處理比較複雜，因為本人習慣用java以及眾多內庫，初學python不太適應，所以本次處理可能有更好的方式。如果各位有更簡潔的方式，不妨留下讓本人學習。

然後是執行結果:


爬蟲挺有趣也挺實用的。之後空閒還會接著學習以及嘗試各種爬蟲。

相關推薦

初試python爬蟲之：豆瓣電影爬蟲

因為課程需要，前兩天花了一天學習python並寫了一個豆瓣電影的爬蟲。課程要求是這樣的：爬取豆瓣網站上，電影排名在前50名的電影，包括電影名字，電影評分，電影簡介，爬下來的電影資料進行分類，按照不同分類儲存在資料庫/Excel中的不同表中。python的環境安裝配置，以及語法

案例學python——案例三：豆瓣電影資訊入庫 一起學爬蟲——通過爬取豆瓣電影top250學習requests庫的使用

　 閒扯皮 昨晚給高中的妹妹微信講題，函式題，小姑娘都十二點了還迷迷糊糊。今天凌晨三點多，被連續的警報聲給驚醒了，以為上海拉了防空警報，難不成地震，空襲？難道是樓下那個車主車子被堵了，長按喇叭？開窗看看，好像都不是。好鬼畜的警報聲，家裡也沒裝報警器啊，莫不成家裡煤氣漏了？起床循聲而查，報警

零基礎Python爬蟲實戰：豆瓣電影TOP250

我們曾經抓取過貓眼電影TOP100，並進行了簡單的分析。但是眾所周知，豆瓣的使用者比較小眾、比較獨特，那麼豆瓣的TOP250又會是哪些電影呢？ 我在整理程式碼的時候突然發現一年多以前的爬蟲程式碼竟然還能使用……那今天就用它來演示下，如何通過urllib+BeautifulSoup來快

python爬蟲之獲取豆瓣電影資訊

此次是師哥給佈置的任務，所以這幾天就在研究如何完成獲取https://movie.douban.com/top250這個網站裡面250部電影的資訊。 主要就是應用了python的urllib2與beautifulsoup的結合使用，也是我第一次使用爬蟲，當然現在看也是基礎的

Python2.7 爬蟲實踐：豆瓣電影影評分析

  #避免uncode出現在雲圖，所以我直接將結果儲存為str     for i in range(10):         num = i + 1         if pageNum >0 :             start =(num-1) * 20         else:      

Python爬蟲小案例：豆瓣電影TOP250

原始碼： #!/usr/bin/python3 # -*-coding: UTF-8-*- from urllib import request import re class MovieTop250(object): def __init

初學python：用簡單的爬蟲爬取豆瓣電影TOP250的排名

一開始接觸到python語言，對它沒什麼瞭解。唯一知道的就是它可以用來寫爬蟲，去爬取網路上的資源。爬蟲是一種按照一定的規則，自動地抓取網路上的資訊的程式或者指令碼。所以當我對python有一定的瞭解後，我就想個寫個爬蟲來試試手。於是就有了這篇文章，用簡單的爬蟲爬取豆瓣電影TO

python爬蟲練習1:豆瓣電影TOP250

import ria fff python top font beautiful code pen 項目1:實現豆瓣電影TOP250標題爬取: 1 from urllib.request import urlopen 2 from bs4 import Beaut

用Python爬蟲爬取豆瓣電影、讀書Top250並排序

更新：已更新豆瓣電影Top250的指令碼及網站 概述 經常用豆瓣讀書的童鞋應該知道，豆瓣Top250用的是綜合排序，除使用者評分之外還考慮了很多比如是否暢銷、點選量等等，這也就導致了一些近年來評分不高的暢銷書在這個排行榜上高高在上遠比一些經典名著排名還高，於是在這裡打算重新給To

python實踐2——利用爬蟲抓取豆瓣電影TOP250資料及存入資料到MySQL資料庫

這次以豆瓣電影TOP250網為例編寫一個爬蟲程式，並將爬取到的資料（排名、電影名和電影海報網址）存入MySQL資料庫中。下面是完整程式碼：Ps：在執行程式前，先在MySQL中建立一個數據庫"pachong"。import pymysql import requests imp

（7）Python爬蟲——爬取豆瓣電影Top250

利用python爬取豆瓣電影Top250的相關資訊，包括電影詳情連結,圖片連結,影片中文名,影片外國名,評分,評價數,概況,導演,主演,年份,地區,類別這12項內容，然後將爬取的資訊寫入Excel表中。基本上爬取結果還是挺好的。具體程式碼如下： #!/us

python爬蟲——爬取豆瓣電影top250資訊並載入到MongoDB資料庫中

最近在學習關於爬蟲方面的知識，因為剛開始接觸，還是萌新，所以有什麼錯誤的地方，歡迎大家指出 from multiprocessing import Pool from urllib.request import Request, urlopen import re, pymongo index

豆瓣電影爬蟲+分析

豆瓣電影爬蟲和分析 引言 最近做了一個豆瓣電影的爬蟲並且進行了簡單的資料分析，我會在部落格裡面記錄下來。其實之前也做過一些爬蟲，但一直沒有寫部落格的習慣，太懶了。所以決定以後寫得一些小爬蟲或者什麼demo都記錄下來。 1.程式環境 本文使用Python 3，用到了re，request

Python網路爬蟲之requests庫Scrapy爬蟲比較

requests庫Scrapy爬蟲比較 相同點： 都可以進行頁面請求和爬取，Python爬蟲的兩個重要技術路線 兩者可用性都好，文件豐富，入門簡單。 兩者都沒有處理JS，提交表單，應對驗證碼等功能（可擴充套件） 想爬取有驗證碼的，換需要學習別的庫知識。 不同點： Scrapy,非同

Python網路爬蟲之股票資料Scrapy爬蟲例項介紹，實現與優化！（未成功生成要爬取的內容！）

結果TXT文本里面竟然沒有內容！cry~ 編寫程式： 步驟： 1. 建立工程和Spider模板 2. 編寫Spider 3. 編寫ITEM Pipelines 程式碼：成功建立 D:\>cd pycodes D:\pycodes>

Golang語言快速上手到綜合實戰(Go語言、Beego框架、高併發聊天室、豆瓣電影爬蟲) 下載

  Go是Google開發的一種編譯型，可並行化，並具有垃圾回收功能的程式語言。2015，Go迎來了全迸發的一年。時隔一年，回頭再看，Go已躋身主流程式語言行列。在國內，Go的熱度更是不凡。七牛雲、百度、滴滴等一線網際網路公司正在逐步將Go應用到自身的專案之中。 講師本人之前在滴滴從事後臺開發時，

php爬蟲爬取豆瓣電影top250內容

檢視豆瓣api文件 我們直接選擇top250之後往下翻閱可以看到引數需求，有兩個引數，start和count，分別代表請求開始的起始地址，這裡是從0開始的，count代表請求的數目。<br/><br/> 返回資料

Python爬蟲系列：京東商品爬蟲

需求：爬取京東手機頻道的手機商品資訊：名稱、價格、評論數、商家名稱等 這裡涉及2個問題需要解決。 1、手機圖片的爬取和儲存 2、手機價格的爬取與儲存（因為手機價格是非同步載入的，無法從網頁原始碼中直接獲取） 圖片的爬取和儲存 import re

python學習 爬取豆瓣電影名稱 及評分

import requests from bs4 import BeautifulSoup import bs4 import re def getHTMLText(url): try: r = requests.get(url)

Python開發簡單爬蟲之靜態網頁抓取篇：爬取“豆瓣電影 Top 250”電影數據

模塊 歲月 python開發 IE 女人 bubuko status 公司 使用 目標：爬取豆瓣電影TOP250的所有電影名稱，網址為：https://movie.douban.com/top250 1）確定目標網站的請求頭： 打開目標網站，在網頁空白處點擊鼠標右鍵，