2. 程式人生 > >python爬蟲-beautifulsoup匹配

python爬蟲-beautifulsoup匹配

阿新 • • 發佈：2018-12-21

一、beautifulsoup匹配 

BeautifulSoup是Python的一個庫，最主要的功能就是從網頁匹配我們需要的資料。

BeautifulSoup將html解析為物件進行處理，全部頁面轉變為字典或者陣列，相對於正則表示式的方式，可以大大簡化處理過程。

安裝：pip3 install beautifulsoup4

Beautifulsoup和xpath的使用結構大同小異

 1.beautifulsoup匹配步驟 

匯入模組：from bs4 import BeautifulSoup

（1）構建beautifulsoup例項

# coding:utf-8
import requests
from bs4 import BeautifulSoup

html = '''
<html>
    <head>
        <title>test</title>
    </head>
    <body>
        <div>
           <ul>
             <li name="suner" class="one"><a>suner</a></li>
             <li name="wjk" class="two">wjk</li>
           <li name="wang" class="three">wang</li>
           <li name="karry" class="four">karry</li>
           </ul>
        </div>
    </body>
</html>
'''
 
soup = BeautifulSoup(html,"lxml")

① 第一個引數是要匹配的內容
② 第二個引數是beautifulsoup要採用的模組
     # html.parser  Python內建的結構匹配方法，但是效率不如lxml所以不常用
     # lxml 使用 lxml模組
     # xml 使用 xml模組
     # html5lib  該模組可以將內容轉換HTML5物件
     # 但是我們要想用以上功能就要具備對應模組，比如你用lxml就要安裝lxml

（2）查詢元素的值

在bs4當中有n多種匹配方法，但是最常用的是兩種

▲ find 查詢一次

① find查詢

soup = BeautifulSoup(html,"lxml")
# 查詢第一個li元素的值
li_one = soup.find("li")
print(li_one)
print(li_one.text)
print(li_one.attrs)
 <li class="one" name="suner"><a>suner</a></li>
suner
{'class': ['one'], 'name': 'suner'}

② 通過屬性值查詢

soup = BeautifulSoup(html,"lxml")
# find 可以通過屬性=值的方法進行select
# class 屬性匹配要加上下劃線
li = soup.find(class_="two")
print(li)
<li class="two" name="wjk">wjk</li>

③ select查詢

soup = BeautifulSoup(html,"lxml")
# 在進行層級查詢我們可以用select
li_one = soup.select("li a")
print(li_one)

[<a>suner</a>]

④ findall 查詢所有

soup = BeautifulSoup(html,"lxml")
# 查詢所有li元素的值
li_list = soup.find_all("li")
for li in li_list:
    print("----------------------")
    print(li)
    print(li.text)
    print(li.attrs)
 ----------------------
<li class="one" name="suner"><a>suner</a></li>
suner
{'class': ['one'], 'name': 'suner'}
----------------------
<li class="two" name="wjk">wjk</li>
wjk
{'class': ['two'], 'name': 'wjk'}
----------------------
<li class="three" name="wang">wang</li>
wang
{'class': ['three'], 'name': 'wang'}
----------------------
<li class="four" name="karry">karry</li>
karry
{'class': ['four'], 'name': 'karry'}

⑤ soup本身返回

soup = BeautifulSoup(html,"lxml")
print("--------------")
print(soup.title)
print("--------------")
print(soup.head)
print("--------------")
print(soup.li)
 --------------
<title>test</title>
--------------
<head>
<title>test</title>
</head>
--------------
<li class="one" name="suner"><a>suner</a></li>

相關推薦

python爬蟲-beautifulsoup匹配

一、beautifulsoup匹配  BeautifulSoup是Python的一個庫，最主要的功能就是從網頁匹配我們需要的資料。 BeautifulSoup將html解析為物件進行處理，全部頁面轉變為字典或者陣列，相對於正則表示式的方式，可以大大簡化處理過程。 安裝：

Python 爬蟲-BeautifulSoup

nbsp des 字典 ren 轉換成 comment 第一個 cnblogs color 2017-07-26 10:10:11 Beautiful Soup可以解析html 和 xml 格式的文件。 Beautiful Soup庫是解析、遍歷、維護“標簽樹”的功能庫。使

python爬蟲-lxml匹配

一、lxml匹配 lxml 是python三方的結構匹配模組, lxml是python的一個解析庫，支援HTML和XML的解析，支援XPath解析方式，而且解析效率非常高 1.lxml匹配步驟 （1）匯入模組： from lxml import etree （2）l

Python 爬蟲 BeautifulSoup +requests 第一次使用

import requests import sys import re from bs4 import BeautifulSoup response=requests.get(‘***’) 訪問的地址 output = sys.stdout o

python爬蟲——BeautifulSoup基礎操作

安裝好BeautifulSoup4和Jupyter之後，在cmd中輸入jupyter notebook 執行，會直接跳轉到網頁jupyter編輯器中。 import requests newsur

[python爬蟲] BeautifulSoup爬取+CSV儲存貴州農產品資料

在學習使用正則表示式、BeautifulSoup技術或Selenium技術爬取網路資料過程中，通常會將爬取的資料儲存至TXT檔案中，前面也講述過海量資料儲存至本地MySQL資料庫中，這裡主要補充Beau

python爬蟲beautifulsoup

操作 部分 parse import str 屬性字符串 parser bs4 demo 1、BeautifulSoup庫，也叫beautifulsoup4或bs4 　　功能：解析HTML/XML文檔 2、HTML格式 　　成對尖括號構成 3、庫引用 #bs4為簡寫，Be

python爬蟲--BeautifulSoup的簡單用法

#coding=utf-8   import urllib import urllib2 import cookielib from bs4 import BeautifulSoup import re   url ="http://www.baidu.com"   try:     request = ur

Python爬蟲 BeautifulSoup抓取網頁資料 並儲存到資料庫MySQL

最近剛學習Python，做了個簡單的爬蟲，作為一個簡單的demo希望幫助和我一樣的初學者 程式碼使用python2.7做的爬蟲  抓取51job上面的職位名，公司名，薪資，釋出時間等等 直接上程式碼，程式碼中註釋還算比較清楚 ，沒有安裝mysql需要遮蔽掉相關程式碼：#!/u

python爬蟲從入門到放棄（六）之 BeautifulSoup庫的使用

src 表達 支持 正則表達 必須 這樣的 com 子節點 prettify 上一篇文章的正則，其實對很多人來說用起來是不方便的，加上需要記很多規則，所以用起來不是特別熟練，而這節我們提到的beautifulsoup就是一個非常強大的工具，爬蟲利器。 beautifulS

Python爬蟲利器：BeautifulSoup庫

環境 內容 python網絡 tag ret bsp 標準 requests for Beautiful Soup parses anything you give it, and does the tree traversal stuff for you. Beautif

Python爬蟲之利用BeautifulSoup爬取豆瓣小說（三）——將小說信息寫入文件

設置 one 行為 blog 應該 += html uil rate 1 #-*-coding:utf-8-*- 2 import urllib2 3 from bs4 import BeautifulSoup 4 5 class dbxs: 6 7

python爬蟲--解析網頁幾種方法之BeautifulSoup

first div xml html find 抓取 XML 格式 速度慢 析取 一.解析器概述 soup=BeautifulSoup(response.body) 對網頁進行析取時，並未規定解析器，此時使用的是python內部默認的解析器“html.parser”

使用Python的BeautifulSoup庫實現一個可以爬取1000條百度百科數據的爬蟲

otto 提取數據 tps summary 簡介 標題格式 段落 字典 如果 BeautifulSoup模塊介紹和安裝 BeautifulSoup BeautifulSoup是Python的第三方庫，用於從HTML或XML中提取數據，通常用作於網頁的解析器 Beauti

python 爬蟲（一） requests+BeautifulSoup 爬取簡單網頁代碼示例

utf-8 bs4 rom 文章 都是 Coding man header 文本 以前搞偷偷摸摸的事，不對，是搞爬蟲都是用urllib，不過真的是很麻煩，下面就使用requests + BeautifulSoup 爬爬簡單的網頁。 詳細介紹都在代碼中註釋了，大家可以參閱。

python 爬蟲 requests+BeautifulSoup 爬取巨潮資訊公司概況代碼實例

pan 字符 selenium 5.0 target 自我 color list tails 第一次寫一個算是比較完整的爬蟲，自我感覺極差啊，代碼low，效率差，也沒有保存到本地文件或者數據庫，強行使用了一波多線程導致數據順序發生了變化。。。 貼在這裏，引以為戒吧。 #

Python爬蟲【解析庫之beautifulsoup】

close **kwargs contents pip and lac 代碼 ide num 解析庫的安裝 pip3 install beautifulsoup4 初始化 BeautifulSoup(str,"解析庫") from bs4 import B

python 爬蟲之BeautifulSoup 庫的基本使用

rip data lin value 訪問 pytho 輕松 register tex import urllib2url = ‘http://www.someserver.com/cgi-bin/register.cgi‘values = {}values[‘name‘]

python爬蟲之BeautifulSoup學習

1. Beautiful Soup的簡介 簡單來說，Beautiful Soup是python的一個庫，最主要的功能是從網頁抓取資料。官方解釋如下： Beautiful Soup提供一些簡單的、python式的函式用來處理導航、搜尋、修改分析樹等功能。它是一個工具箱，通過解析文件為使

自學python爬蟲（五）BeautifulSoup庫的介紹

一、概念 BeautifulSoup是靈活又方便的網頁解析庫，處理高效。支援多種直譯器。利用它可以不用編寫正則表示式即可方便地實現網頁資訊的提取。 二、解析庫 三、例項講解 下面用到的程式碼 html = """<html> <head>