2. 程式人生 > >BeautifulSoup模組詳解

BeautifulSoup模組詳解

阿新 • • 發佈：2018-11-08
  BeautifulSoup是一個模組，該模組用於接收一個HTML或XML字串，然後將其進行格式化，之後遍可以使用他提供的方法進行快速查詢指定元素，從而使得在HTML或XML中查詢指定元素變得簡單。   官方文件： http://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/   1.安裝匯入 pip install bs4 pip install lxml    # 解析模組 from bs4 import BeautifulSoup
 soup = BeautifulSoup(html, features='lxml')   2.基本使用 # 找到第一個div標籤 soup.find(name='div')   # 找到所有的div標籤 soup.find_all(name='div')   # 找到id為importdiv的標籤 soup.select('#importdiv')
   3.具體使用 ###### 1.name 標籤名稱 ######   html = '<html><body><a>我是一個兵</a></body></html>' soup = BeautifulSoup(html, 'lxml') tag = soup.find('a')   print(tag)            # <a>我是一個兵</a>
print(tag.name)        # a tag.name = 'div'     # 設定標籤 print(tag)            # <div>我是一個兵</div> print(tag.name)        # div     ###### 2.attr 標籤屬性 ######   html = '<html><body><a href="xxx" class="xxx">我是一個兵</a></body></html>' soup = BeautifulSoup(html, 'lxml') tag = soup.find('a')   # 獲取屬性 print(tag.attrs)    # {'href': 'xxx', 'class': ['xxx']}   # 設定屬性 tag.attrs = {'href': 'sss'} print(tag.attrs)    # {'href': 'sss'}     ###### 3.children 所有子標籤 ######   tag = soup.find('div')    # 找第一個div標籤 tag.children    # 找div下的所有子標籤     ###### 4.descendants 所有子子孫孫標籤 ######   tag = soup.find('div')    # 找第一個div標籤 tag.descendants    # 找div下的所有的子子孫孫標籤   ###### 5.clear 清空子標籤 ######   html = '<html><body><a href="xxx" class="xxx">我是一個兵</a></body></html>' soup = BeautifulSoup(html, 'lxml') tag = soup.find('body')   tag.clear()   # 將body下的所有內容及標籤清空 print(tag)    # <body></body>     ###### 6.decompose 遞迴刪除所有標籤 ######   tag = soup.find('body')   tag.decompose() print(tag)    # <None></None>     ###### 7.extract 遞迴刪除所有標籤，並獲取 ######   html = '<html><body><a href="xxx" class="xxx">我是一個兵</a></body></html>' soup = BeautifulSoup(html, 'lxml') tag = soup.find('body')    # 遞迴刪除所有的標籤，並獲取刪除的標籤   delect_tags = tag.extract() print(tag)    # <None></None> print(delect_tags)    # <body><a class="xxx" href="xxx">我是一個兵</a></body>     ###### 8.decode和decode_contents ######   # decode(): 轉換為字串（包含當前標籤） # decode_contents(): 轉換為字串（不包含當前標籤）   print(tag.decode())    # <body><a class="xxx" href="xxx">我是一個兵</a></body> print(tag.decode_contents())    # <a class="xxx" href="xxx">我是一個兵</a>     ###### 9.encode和encode_contents ######   # encode(): 轉換為位元組（包含當前標籤） # encode_contents(): 轉換為位元組（不包含當前標籤）   print(tag.encode())    # b'<body><a class="xxx" href="xxx">\xe6\x88\x91\xe6\x98\xaf\xe4\xb8\x80\xe4\xb8\xaa\xe5\x85\xb5</a></body>' print(tag.encode_contents())    # b'<a class="xxx" href="xxx">\xe6\x88\x91\xe6\x98\xaf\xe4\xb8\x80\xe4\xb8\xaa\xe5\x85\xb5</a>'     ###### 10.find 獲取匹配的第一個標籤 ######   html = '<html><body><a class="xxx">我是一個兵</a></body></html>' soup = BeautifulSoup(html, 'lxml') tag = soup.find(name='a', attrs={'class', 'xxx'}, text='我是一個兵', recursive=True)     ###### 11.find_all 獲取匹配的所有標籤 ######   # 普通查詢 soup.find_all('a')   # 限制查詢條數 soup.find_all('a', limit=1)   # 使用列表來查詢 soup.find_all(name=['a', 'img'])    # 查詢標籤名為a和img的，[<a class="xxx">我是一個兵</a>, <img/>, <a></a>] soup.find_all(attrs={'class': ['xxx', 'yyy']})    # 查詢屬性為xxx和yyy的，[<a class="xxx">我是一個兵</a>, <img class="yyy"/>] # 也可適用於text，id，href等等   # 使用正則來查詢 pattern = re.compile('^x')    # 匹配以x開頭class的標籤 tag = soup.find_all(attrs={'class': pattern}) # 正則可以用於name；id；href等等   # 方法篩選 def foo(tag):     return tag.has_attr('class') and tag.has_attr('id') soup.find_all(name=foo)   # get方法獲取屬性標籤 tag = soup.find('a') print(tag.get('class'))    # ['xxx']     ###### 12.has_attr 檢查標籤是否具有該屬性 ######   tag = soup.find('a') print(tag.has_attr('id'))    # False     ###### 13.get_text 獲取標籤文字內容 ######   tag = soup.find('a') print(tag.get_text())    # 我是一個兵     ###### 14.index 獲取標籤在某標籤中的索引位置 ######   tag = soup.find('body') print(tag.index(tag.find('a')))    # 0   tag = soup.find('body') for k, v in enumerate(tag):     print(k, v)     # k為索引；v為標籤和內容     ###### 15.is_empty_element 是否是空標籤或者自閉合標籤 ######   tag = soup.find('img') print(tag.is_empty_element)   # True     ###### 16.當前標籤的關聯標籤 ######   soup.next soup.next_element soup.next_elements soup.next_sibling soup.next_siblings   tag.previous tag.previous_element tag.previous_elements tag.previous_sibling tag.previous_siblings   tag.parent tag.parents     ###### 17.查詢某標籤的關聯標籤 ######   tag.find_next(...) tag.find_all_next(...) tag.find_next_sibling(...) tag.find_next_siblings(...)   tag.find_previous(...) tag.find_all_previous(...) tag.find_previous_sibling(...) tag.find_previous_siblings(...)   tag.find_parent(...) tag.find_parents(...) # 引數同find_all     ###### 18.select, select_one, CSS選擇器 ######   tag = soup.select('div > a.xxx')    # 選擇div下的class為xxx的a標籤 tag = soup.select('div, a')    # 選擇div或a標籤 soup.select('a[href*=".com/el"]')    # 正則匹配   from bs4.element import Tag def default_candidate_generator(tag):     for child in tag.descendants:         if not isinstance(child, Tag):             continue         if not child.has_attr('href'):             continue         yield child tags = soup.find('body').select("a", _candidate_generator=default_candidate_generator, limit=1) print(type(tags), tags)     ###### 19.更改標籤的內容 ######   html = '<html><body><a class="xxx">我是一個兵</a></body></html>' soup = BeautifulSoup(html, 'lxml') tag = soup.find('a')   print(tag.string)    # 獲取文字內容:我是一個兵 tag.string = '我不是一個兵'    # 設定值 print(soup)    # <html><body><a class="xxx">我不是一個兵</a></body></html>   tag = soup.find('body') # 遞迴內部獲取所有標籤的文字 print(tag.stripped_strings  )    # <generator object stripped_strings at 0x0137FC60>     ###### 20.append 在當前標籤內部追加一個標籤 ######   tag = soup.find('a') tag.append(soup.find('img')) print(soup) # <html><body><a class="xxx">我是一個兵<img/></a></body></html>   tag = soup.find('a') from bs4.element import Tag obj = Tag(name='span', attrs={'id': 'id_1'}) obj.string = 'span標籤' tag.append(obj) print(soup)    # <html><body><a class="xxx">我是一個兵<span id="id_1">span標籤</span></a></body></html>     ###### 21.insert 在當前標籤內部指定位置插入一個標籤 ######   obj = soup.find('img') tag = soup.find('a') tag.insert(0, obj)  # 插入最前邊 print(soup)    # <html><body><a class="xxx"><img/>我是一個兵</a></body></html>     ###### 22.insert_after, insert_before 在當前標籤前面或後面插入 ######   obj = soup.find('img') tag = soup.find('a') tag.insert_after(obj) tag.insert_before(obj)     ###### 23.replace_with 當前標籤替換為指定標籤 ######   obj = soup.find('img') tag = soup.find('a') tag.replace_with(obj)     ###### 24.setup 建立標籤之間的關係 ######   obj = soup.find('img') tag = soup.find('a') tag.setup(next=a) print(tag.next)     ###### 25.wrap 用指定標籤把當前標籤包裹起來 ######   obj = soup.find('img') tag = soup.find('a') tag.wrap(obj)   tag = soup.find('a') tag.wrap(soup.find('img'))     ###### 26.unwrap 去掉當前標籤，將保留其包裹的標籤 ######   tag = soup.find('a') tag.unwrap()      

相關推薦

BeautifulSoup模組詳解

  BeautifulSoup是一個模組，該模組用於接收一個HTML或XML字串，然後將其進行格式化，之後遍可以使用他提供的方法進行快速查詢指定元素，從而使得在HTML或XML中查詢指定元素變得簡單。   官方文件： http:/

python-random模組詳解

0.摘要 本文主要介紹random模組的各種方法，並用python3做功能展示。   1.random.random() 產生一個位於[0,1)區間的隨機數。 random.random() #產生一個[0,1)的數 10 * random.random() #產生一個

python~time模組詳解

time模組  在開始之前，首先要說明這幾點：     在Python中，通常有這幾種方式來表示時間：1）時間戳 2）格式化的時間字串 3）元組（struct_time）共九個元素。由於Python的time模組實現主要呼叫C庫，所以各個

python裡面的xlrd模組詳解

本篇內容轉自：https://www.cnblogs.com/insane-Mr-Li/p/9092619.html，並對原文一些模糊不清的地方進行修正，若有非議，請在文末留言，謝謝！   那我就以下幾個問題對xlrd模組進行學習一下： 1.什麼是xlrd模組？ &n

Python 正則表示式模組詳解

由於最近需要使用爬蟲爬取資料進行測試，所以開始了爬蟲的填坑之旅，那麼首先就是先系統的學習下關於正則相關的知識啦。所以將下面正則方面的知識點做了個整理。語言環境為Python。主要講解下Python的Re模組。 下面的語法我就主要列出一部分，剩下的在python官網直接查閱即可：docs.python.org

超詳細Ansible安裝及模組詳解

簡介：ansible是新出現的自動化運維工具，基於Python開發，集合了眾多運維工具(puppet、cfengine、chef、func、fabric)的優點，實現了批量系統配置、批量程式部署、批量執行命令等功能。 ansible是基於模組工作的，本身沒有批量部署的能力。真正具有批量部署的是ansible

Python爬蟲學習必備知識點：正則表示式模組詳解

一、基礎語法總結 1.1、匹配單個字元 a . d D w W s S [...] [^...] 匹配單個字元（.） 規則：匹配除換行之外的任意字元 In [24]: re.findall("f.o","foo is not fao") Out[24]: ['foo',

Ansible常用模組詳解

Ansible可以使用命令列方式進行自動化管理，且ansible的命令列管理工具都是由一系列模組、引數支援的，我們可以通過ansible-doc工具檢視模組幫助資訊。本篇博文將詳細講述ansible模組功能及操作。 Ansible命令引數： -v：輸出詳細資訊（可以使用多個v） -i PATH

python datetime模組詳解

datetime是python當中比較常用的時間模組，用於獲取時間，時間型別之間轉化等，下文介紹兩個實用類。 一、datetime.datetime類： datetime.datetime.now()：返回系統當前時間（2018-09-18 18:39:55.921602） datetime.datet

python裡面的xlrd模組詳解 ♦ python解決open()函式、xlrd.open_workbook()函式檔名包含中文，sheet名包含中文報錯的問題

那我就一下面積個問題對xlrd模組進行學習一下： 1.什麼是xlrd模組？ 2.為什麼使用xlrd模組？ 3.怎樣使用xlrd模組？ 1.什麼是xlrd模組？ 　　♦python操作excel主要用到xlrd和xlwt這兩個庫，即xlrd是讀excel，xlwt是寫ex

logging模組詳解以及常見程式碼

1.在django中獲取客戶端IP地址: if 'HTTP_X_FORWARDED_FOR' in request.META: ip = request.META['HTTP_X_FORWARDED_FOR'] else: ip = request.META['REMOTE_ADDR']

Python的內建模組詳解

一、什麼是模組 　　模組就是封裝了一些列功能的py檔案，我們使用的時候直接匯入這個檔案，通過傳入引數的方式使用其他檔案的功能函式 二、模組有哪些 內建模組 自定義模組 第三方模組 三、如何匯入模組 　　匯入模組分為4種： 1 #匯入模組 2 import mode_tes

python中socket模組詳解

socket模組簡介 網路上的兩個程式通過一個雙向的通訊連線實現資料的交換，這個連線的一端稱為一個socket。socket通常被叫做“套接字”，用於描述IP地址和埠，是一個通訊鏈的控制代碼，可以用來實現不同虛擬機器或不同計算機之間的通訊。在Internet上的主機一般運行了多個服務

python獲取系統資訊模組詳解

python是跨平臺語言，有時候我們的程式需要執行在不同系統上，例如：linux、MacOs、 Windows，為了使程式有更好通用性，需要根據不同系統使用不同操作方式。我們可以使用platform模組來獲取系統資訊。platform是python自帶模組，我們可以直接使用，下面來介紹這個模組：首先匯入模組：

一看就懂，Python 日誌模組詳解及應用

日誌概述 百度百科的日誌概述： Windows網路作業系統都設計有各種各樣的日誌檔案，如應用程式日誌，安全日誌、系統日誌、Scheduler服務日誌、FTP日誌、WWW日誌、DNS伺服器日誌等等，這些根據你的系統開啟的服務的不同而有所不同。我們在系統上進行一些操作時，這些日誌檔案通常會記錄下我們操作的一些

python3中argparse模組詳解

python標準庫sys模組 sys模組 用於提供對Python直譯器相關的操作： sys.argv #命令列引數List，第一個元素是程式本身路徑 sys.exit(n) #退出程式，正常退出時exit(0) sys.version

python tkinker庫模組詳解

1、指令碼名稱不能命名為模組名，否則會報： Traceback (most recent call last):   File "C:/Users/Administrator/PycharmProjects/untitled/python/web/tkinter.py", line 1

python pprint模組詳解

pprint模組:打印出任何python資料結構類和方法    indent --- 縮排，width --- 一行最大寬度，     depth --- 列印的深度，這個主要是針對一些可遞迴的物件，如果超出指定depth

datetime 模組詳解（基本的日期和時間型別）

datetime 模組詳解 -- 基本的日期和時間型別 datetime 模組提供了各種類用於操作日期和時間，該模組側重於高效率的格式化輸出在 Python 中，與時間處理有關的模組包括：time，datetime 以及 calendardatetime 模組定義了兩個常量： da

timeit 模組詳解（準確測量小段程式碼的執行時間）

timeit 模組詳解 -- 準確測量小段程式碼的執行時間 timeit 模組提供了測量 Python 小段程式碼執行時間的方法。它既可以在命令列介面直接使用，也可以通過匯入模組進行呼叫。該模組靈活地避開了測量執行時間所容易出現的錯誤。 以下例子是命令列介面的使用方法： $ python