bs4爬蟲的一點心得----坑
bs4 裏提取a標簽裏的坑啊
今天遇到了一個很坑的事情
使用bs4(全稱:BeautifulSoup)提取一個網頁裏所有a標簽裏的href屬性
比較坑的地方是這個網頁裏有的a標簽裏沒有href屬性,所以一運行循環提取a標簽的href就可勁的報錯,搞得人很焦灼
我嘗試用控制循環的次數和字符串的替換來跳過這個坑。
你懂的
都失敗了
最後
我將提取href的方式從[‘href’]改為get(‘href’)就逃過這個坑!!!!!!
這個bug!!!好坑!!!
bs4爬蟲的一點心得----坑
相關推薦
bs4爬蟲的一點心得----坑
soup eth 嘗試 BE 字符串 遇到 運行循環 section 屬性 bs4 裏提取a標簽裏的坑啊 今天遇到了一個很坑的事情 使用bs4(全稱:BeautifulSoup)提取一個網頁裏所有a標簽裏的href屬性 比較坑的地方是這個網頁裏有的a標簽裏沒有hr
關於動態代理的一點心得
ade his ref logs urn err over 關於 pre 剛學習的時候總是搞不明白動態代理中哪個是代理對象,哪個是原來的對象,最近搞明白了,特地來記錄下,很淺顯,希望能夠幫助大家 一. 先寫一個接口,就叫Function,包括睡覺和吃飯方法 pack
JAVAOO一點心得體會
狀況 內容 了解 我們 沒有 邏輯 部分 掌握 是我 JAVAOO學到現在,從基本數據類型到基本語句,再到一些語言特性,再到 IO 操作,網絡操作。 學的並不算特別好,尤其是反射那部分還有不少不懂的地方,但是卻有一種豁然開朗的感覺,因為我對基本語言學習完成之後的兩個方向軟
關於jquery全選反選 批量刪除的一點心得
批量刪除 rem cnblogs success 需要 rip 多說 reac == 廢話不多說直接上代碼: 下面是jsp頁面的html代碼: <table id="contentTable" class=""> <thead>
Python 爬蟲常見的坑和解決方法
gpo 爬蟲 nic 詳細 true wow user html encoding 1.請求時出現HTTP Error 403: Forbidden headers = {‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; WOW64;
最近摸索arcgis的一點心得,希望對初來著有些幫助
是把 phi pan nts rest bootstra mas 圖片 creates 最近突然想寫點東西,記錄一下對軟件開發上的一些學習心得(其實一直以來都想寫點東西,慰藉自己在這些年踩過的坑留點)。 主要寫三個大方面: 1、 arcgis 記錄arcgis for
淺談API測試與UI Auomation一點心得
API測試 自動化測試 background:最近兩個月被分配做UI automation,原因是換了一套平臺,需要重新部署,有些業務需求改了case都跑不過了,我的任務是debug case,把case都跑通。工具是Robot Framework。當時感覺task相對輕松,因為業務相對簡單,只是Ca
記錄自己對EventLoop和性能問題處理的一點心得【轉】
設計 三方 性能 行修改 rtsp 基本 自己 actor模型 ima 轉自:http://www.cnblogs.com/lanyuliuyun/p/4483384.html 1、EventLoop 這裏說的EventLoop不是指某一個具體的庫或是框架,而是指一種程
[轉]關於編寫Nios II的延時函數的一點心得
RoCE x11 小時 軟件 arc pla sys return tro 平臺 硬件:nios/f 100MHz 軟件: 內容 0 一點說明 本文僅討論所述平臺的一點心得,若其他等級的nios或優化,請自行研究。 1 usleep()有多準 參考[筆記].怎樣使用
Vuex 實際使用中的一點心得 —— 一刷新就沒了
store 點心 需要 一點 con app patch 介紹 很多 問題 在開發中,有一些全局數據,比如用戶數據,系統數據等。這些數據很多組件中都會使用,我們當然可以每次使用的時候都去請求,但是出於程序員的“潔癖”、“摳”等等優點,還是希望一次請求,到處使用。 這時候很自
初學ajax的一點心得
寫下自己對ajax初學時認為是要背下來的東西 首先ajax是可以和jquer一起要用的 eg: <script type="text/javascript"> //ajax時間是在JS中的 $.ajax({//注意$符號
關於A*演算法的一點心得
思路來源 https://blog.csdn.net/haolexiao/article/details/70302848 https://www.cnblogs.com/yyf0309/p/8438849.html 心得 啟發式搜尋,聽上去挺高階的, 這也是我入acm界一年多沒
關於搭建直播系統平臺的一點心得經驗和建議
選擇 關於 產品 fps 高清 而在 必須 處理 就是 如今的直播發展如此迅猛,不管是短視頻APP還是購物APP都開通了直播功能,下面根據我個人的從業經驗講一下,希望和大家一起學習和提高。就直播的整個業務邏輯來說,主要分為“采集、前處理、編碼、傳輸、解碼、渲染”這幾個環節,
爬蟲新手心得
這兩天開始瞭解和學習爬蟲,在學習過程中,有以下幾個細節需要記錄: 1.由於所看的視訊老師使用的是python2版本來編寫程式碼的,而我一直使用的是Python3版本,在這兩個版本中,最大的區別的是 urllib這個模組的使用。 在python2中,ur
bs4爬蟲入門
1 # -*- coding: utf-8 -*- 2 """ 3 Created on Fri Nov 16 13:35:33 2018 4 5 @author: zhen 6 """ 7 import urllib 8 import urllib.request 9 from b
tar命令的 --exclude引數的一點‘小坑’
今天構建一個專案後,發現一些 js、css 檔案不見了( xxx/xxx/dist/xxx.js ), 於是懷疑構建語句中 tar 打包語句的 --exclude=dist 引數有問題: [email protected]:/data/logs$ tar zcvf dist/a.tar
對計算機網路學習的一點心得2之對心得1的辨證學習
對於上一篇博文“計算機網路學習的一點心得1”,我不知道有多少是對了,又錯了多少,也許整篇博文,除了OSI的各層名稱寫對了外,其餘的便全是錯的。 經過一段時間的專案中的對HTTP協議的使用,讓我對網路協議的分層有了一點點的感覺和理解 —— 在網路傳輸中,除了應用層的協議的資料格式有差別,應用層以下
學習Java的引用型別時的一點心得二之引用變數
上篇我寫到類的靜態成員屬性(域、變數)是所有此類物件的共同特性,為此類所有的物件所共享;物件的成員屬性為每個用此類創建出的物件所獨有,不為其它物件所有。 那在這裡,我們多次提到一個詞——物件。首先在java中,物件是什麼呢?想在我所讀過的所有的書中都說過這樣一句話:一切皆物件。 我在這裡真有
對計算機網路學習的一點心得1之網路整體協議架構理解
網路整體協議架構理解 我們都知道,在學習《計算機網路》這門課時,RFC文件把OSI(開放系統互連參考模型 - Open System Interconnect )分為了七層,它們從現實世界到網路世界再到計算機世界分別是——物理層、資料鏈路層、網路層、傳輸層、會話層、表示層、
學習Java的引用型別時的一點心得
一、對Java中的變數的心得 在一個java類中,首先根據變數修飾符的不同,可以把變數分為兩類——類變數(靜態變數)和例項變數(物件變數);其次是可以根據變數被宣告時所在位置的不同也可分為兩類——即成員變數和區域性變數。 那這個類中的變數我們都知道,這個東西有什麼好說的呢? 在這裡,我就