爬蟲1.2-資料解析
目錄
爬蟲-資料解析
1. xpath和正則表示式心得
0)推薦安裝谷歌瀏覽器外掛xpath helper(谷歌應用商店,需要FQ,後面會提到其缺陷,但初學時效果極佳)
1)xpath獲取某標籤下的文字使用/text()函式 例如//div/p/text()
2)xpath獲取標籤中屬性的值使用/@href 或/@src 類似寫法 例如//div/ul/li/a/@href
3)xpath獲取節點下所有標籤中的所有文字使用//text() 例如標籤下有很多
標籤,而文字全在p標籤下,此時使用/span//text()效果拔群
4)xpath獲取語法後跟[1] 可以選擇多個相同標籤中需要的那一個 例如/div[1]
5)xpath可以先找到一個大標籤,在大標籤中再次尋找需要的小標籤
6)谷歌瀏覽器xpath helper外掛中使用的xpath語法找到的文字不一定在程式碼中可行,原因在於谷歌瀏覽器訪問時有特殊標識,返回的html程式碼不一樣,另外ajax資料因為被瀏覽器解析了,所以也可以被xpath找到,但程式碼中得到是html程式碼,所以程式碼中可能出現找不到的情況,一定不能完全迷信xpath helper。
一個檢查方法是右鍵檢查網頁原始碼,然後搜尋想要找的資訊,看能不能找到,如果能找到,程式碼中基本也能。
7)正則表示式的貪婪模式和非貪婪模式一定要注意
8)
titles = re.findall(r'<div class="cont">.*?<b>(.*?)</b>', response_text,re.DOTALL)
正則表示式的findall函式非常好用,findall函式會找到符合正則模式的所有字元,其中加入括號後,以列表的形式返回括號中的值,這個正則的意思就是class=cont的<div>標籤後面的<b>標籤中間的值。 (.*?)代表非貪婪模式下,找到兩個標籤間的所有字元,而加入re.DOTALL引數,是因為兩個標籤之間可能有換行,而.不能表示轉義字元,所以加入這個引數才能取出值,另外用re.DOTALL的縮寫re.S也可以
9)text = re.sub(r'<.*?>', "", text).strip()
sub函式用於替換,這裡將所有標籤替換成空,並用srip函式去除\n和空格等。
2. xpath語法詳解
xpath語法建議在w3school或其他部落格學習 http://www.w3school.com.cn/xpath/index.asp,這裡不再複述。
lxml 是 一個HTML/XML的解析器,主要的功能是如何解析和提取 HTML/XML 資料。
lxml和正則一樣,也是用 C 實現的,是一款高效能的 Python HTML/XML 解析器,我們可以利用之前學習的XPath語法,來快速的定位特定元素以及節點資訊。
舉例一些xpath語法
//div/h3/text()
//div[@id='course']/ul/li[1]/text()
//div[@id='course']/ul/li[position()>2]
xpath雖然強大,但是某些時候也不是全能的,需要結合程式碼中的方法提取想要的值。
TODO
3. 正則表示式
正則表示式需要用到python自帶的re模組,以下示例程式碼中均已匯入re模組。
3.1 點(.)匹配任意的字元:
text = "ab"
ret = re.match('.',text)
print(ret.group())
>> a
但是點(.)不能匹配不到換行符。示例程式碼如下:
text = "ab"
ret = re.match('.',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'
3.2 \d匹配任意的數字:
text = "123"
ret = re.match('\d',text)
print(ret.group())
>> 1
3.3 \D匹配任意的非數字:
text = "a"
ret = re.match('\D',text)
print(ret.group())
>> a
而如果text是等於一個數字,那麼就匹配不成功了。示例程式碼如下:
text = "1"
ret = re.match('\D',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'
3.4 \s匹配的是空白字元(包括:\n,\t,\r和空格):
text = "\t"
ret = re.match('\s',text)
print(ret.group())
>> 空白
3.5 \w匹配的是a-z
和A-Z
以及數字和下劃線:
text = "_"
ret = re.match('\w',text)
print(ret.group())
>> _
而如果要匹配一個其他的字元,那麼就匹配不到。示例程式碼如下:
text = "+"
ret = re.match('\w',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute
3.6 \W匹配的是和\w相反的:
text = "+"
ret = re.match('\W',text)
print(ret.group())
>> +
而如果你的text是一個下劃線或者英文字元,那麼就匹配不到了。示例程式碼如下:
text = "_"
ret = re.match('\W',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute
3.7 []組合的方式,只要滿足中括號中的某一項都算匹配成功:
text = "0731-88888888"
ret = re.match('[\d\-]+',text)
print(ret.group())
>> 0731-88888888
之前講到的幾種匹配規則,其實可以使用中括號的形式來進行替代:
- \d:[0-9]
- \D:[0-9]
- \w:[0-9a-zA-Z]
- \W:[^0-9a-zA-Z]
3.8 匹配多個字元:
*
:可以匹配0或者任意多個字元。示例程式碼如下:text = "0731" ret = re.match('\d*',text) print(ret.group()) >> 0731
以上因為匹配的要求是
\d
,那麼就要求是數字,後面跟了一個星號,就可以匹配到0731這四個字元。+
:可以匹配1個或者多個字元。最少一個。示例程式碼如下:text = "abc" ret = re.match('\w+',text) print(ret.group()) >> abc
因為匹配的是
\w
,那麼就要求是英文字元,後面跟了一個加號,意味著最少要有一個滿足\w
的字元才能夠匹配到。如果text是一個空白字元或者是一個不滿足\w的字元,那麼就會報錯。示例程式碼如下:text = "" ret = re.match('\w+',text) print(ret.group()) >> AttributeError: 'NoneType' object has no attribute
?
:匹配的字元可以出現一次或者不出現(0或者1)。示例程式碼如下:text = "123" ret = re.match('\d?',text) print(ret.group()) >> 1
{m}
:匹配m個字元。示例程式碼如下:text = "123" ret = re.match('\d{2}',text) print(ret.group()) >> 12
{m,n}
:匹配m-n個字元。在這中間的字元都可以匹配到。示例程式碼如下:text = "123" ret = re.match('\d{1,2}',text) prit(ret.group()) >> 12
如果text只有一個字元,那麼也可以匹配出來。示例程式碼如下:
text = "1" ret = re.match('\d{1,2}',text) prit(ret.group()) >> 1
3.9 小案例:
驗證手機號碼:手機號碼的規則是以
1
開頭,第二位可以是34587
,後面那9位就可以隨意了。示例程式碼如下:text = "18570631587" ret = re.match('1[34587]\d{9}',text) print(ret.group()) >> 18570631587
而如果是個不滿足條件的手機號碼。那麼就匹配不到了。示例程式碼如下:
text = "1857063158" ret = re.match('1[34587]\d{9}',text) print(ret.group()) >> AttributeError: 'NoneType' object has no attribute
驗證郵箱:郵箱的規則是郵箱名稱是用
數字、數字、下劃線
組成的,然後是@
符號,後面就是域名了。示例程式碼如下:text = "[email protected]" ret = re.match('\[email protected]\w+\.[a-zA-Z\.]+',text) print(ret.group())
驗證URL:URL的規則是前面是
http
或者https
或者是ftp
然後再加上一個冒號,再加上一個斜槓,再後面就是可以出現任意非空白字元了。示例程式碼如下:text = "http://www.baidu.com/" ret = re.match('(http|https|ftp)://[^\s]+',text) print(ret.group())
驗證身份證:身份證的規則是,總共有18位,前面17位都是數字,後面一位可以是數字,也可以是小寫的x,也可以是大寫的X。示例程式碼如下:
text = "3113111890812323X" ret = re.match('\d{17}[\dxX]',text) print(ret.group())
3.10 ^(脫字號):表示以...開始:
text = "hello"
ret = re.match('^h',text)
print(ret.group())
如果是在中括號中,那麼代表的是取反操作.
3.11 $:表示以...結束:
# 匹配163.com的郵箱
text = "[email protected]"
ret = re.search('\[email protected]\.com$',text)
print(ret.group())
>> [email protected]
3.12 |:匹配多個表示式或者字串:
text = "hello|world"
ret = re.search('hello',text)
print(ret.group())
>> hello
3.13 貪婪模式和非貪婪模式:
貪婪模式:正則表示式會匹配儘量多的字元。預設是貪婪模式。
非貪婪模式:正則表示式會盡量少的匹配字元。
示例程式碼如下:
text = "0123456"
ret = re.match('\d+',text)
print(ret.group())
# 因為預設採用貪婪模式,所以會輸出0123456
>> 0123456
可以改成非貪婪模式,那麼就只會匹配到0。示例程式碼如下:
text = "0123456"
ret = re.match('\d+?',text)
print(ret.group())
3.14 案例:匹配0-100
之間的數字:
text = '99'
ret = re.match('[1-9]?\d$|100$',text)
print(ret.group())
>> 99
而如果text=101
,那麼就會丟擲一個異常。示例程式碼如下:
text = '101'
ret = re.match('[1-9]?\d$|100$',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'
3.15 轉義字元和原生字串:
在正則表示式中,有些字元是有特殊意義的字元。因此如果想要匹配這些字元,那麼就必須使用反斜槓進行轉義。比如$
代表的是以...結尾,如果想要匹配$
,那麼就必須使用\$
。示例程式碼如下:
text = "apple price is \$99,orange paice is $88"
ret = re.search('\$(\d+)',text)
print(ret.group())
>> $99
原生字串:
在正則表示式中,\
是專門用來做轉義的。在Python中\
也是用來做轉義的。因此如果想要在普通的字串中匹配出\
,那麼要給出四個\
。示例程式碼如下:
text = "apple \c"
ret = re.search('\\\\c',text)
print(ret.group())
因此要使用原生字串就可以解決這個問題:
text = "apple \c"
ret = re.search(r'\\c',text)
print(ret.group())
4. re模組中常用函式:
4.1 match:
從開始的位置進行匹配。如果開始的位置沒有匹配到。就直接失敗了。示例程式碼如下:
text = 'hello'
ret = re.match('h',text)
print(ret.group())
>> h
如果第一個字母不是h
,那麼就會失敗。示例程式碼如下:
text = 'ahello'
ret = re.match('h',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'
如果想要匹配換行的資料,那麼就要傳入一個flag=re.DOTALL
,就可以匹配換行符了。示例程式碼如下:
text = "abc\nabc"
ret = re.match('abc.*abc',text,re.DOTALL)
print(ret.group())
4.2 search:
在字串中找滿足條件的字元。如果找到,就返回。說白了,就是隻會找到第一個滿足條件的。
text = 'apple price $99 orange price $88'
ret = re.search('\d+',text)
print(ret.group())
>> 99
4.3 分組:
在正則表示式中,可以對過濾到的字串進行分組。分組使用圓括號的方式。
group
:和group(0)
是等價的,返回的是整個滿足條件的字串。groups
:返回的是裡面的子組。索引從1開始。group(1)
:返回的是第一個子組,可以傳入多個。
示例程式碼如下:
text = "apple price is $99,orange price is $10"
ret = re.search(r".*(\$\d+).*(\$\d+)",text)
print(ret.group())
print(ret.group(0))
print(ret.group(1))
print(ret.group(2))
print(ret.groups())
4.4 findall:
找出所有滿足條件的,返回的是一個列表。
text = 'apple price $99 orange price $88'
ret = re.findall('\d+',text)
print(ret)
>> ['99', '88']
4.5 sub:
用來替換字串。將匹配到的字串替換為其他字串。
text = 'apple price $99 orange price $88'
ret = re.sub('\d+','0',text)
print(ret)
>> apple price $0 orange price $0
sub
函式的案例,獲取拉勾網中的資料:
html = """
<div>
<p>基本要求:</p>
<p>1、精通HTML5、CSS3、 JavaScript等Web前端開發技術,對html5頁面適配充分了解,熟悉不同瀏覽器間的差異,熟練寫出相容各種瀏覽器的程式碼;</p>
<p>2、熟悉運用常見JS開發框架,如JQuery、vue、angular,能快速高效實現各種互動效果;</p>
<p>3、熟悉編寫能夠自動適應HTML5介面,能讓網頁格式自動適應各款各大小的手機;</p>
<p>4、利用HTML5相關技術開發移動平臺、PC終端的前端頁面,實現HTML5模板化;</p>
<p>5、熟悉手機端和PC端web實現的差異,有移動平臺web前端開發經驗,瞭解移動網際網路產品和行業,有在Android,iOS等平臺下HTML5+CSS+JavaScript(或移動JS框架)開發經驗者優先考慮;6、良好的溝通能力和團隊協作精神,對移動網際網路行業有濃厚興趣,有較強的研究能力和學習能力;</p>
<p>7、能夠承擔公司前端培訓工作,對公司各業務線的前端(HTML5\CSS3)工作進行支撐和指導。</p>
<p><br></p>
<p>崗位職責:</p>
<p>1、利用html5及相關技術開發移動平臺、微信、APP等前端頁面,各類互動的實現;</p>
<p>2、持續的優化前端體驗和頁面響應速度,並保證相容性和執行效率;</p>
<p>3、根據產品需求,分析並給出最優的頁面前端結構解決方案;</p>
<p>4、協助後臺及客戶端開發人員完成功能開發和除錯;</p>
<p>5、移動端主流瀏覽器的適配、移動端介面自適應研發。</p>
</div>
"""
ret = re.sub('</?[a-zA-Z0-9]+>',"",html)
print(ret)
4.6 split:
使用正則表示式來分割字串。
text = "hello world ni hao"
ret = re.split('\W',text)
print(ret)
>> ["hello","world","ni","hao"]
4.7 compile:
對於一些經常要用到的正則表示式,可以使用compile
進行編譯,後期再使用的時候可以直接拿過來用,執行效率會更快。而且compile
還可以指定flag=re.VERBOSE
,在寫正則表示式的時候可以做好註釋。示例程式碼如下:
text = "the number is 20.50"
r = re.compile(r"""
\d+ # 小數點前面的數字
\.? # 小數點
\d* # 小數點後面的數字
""",re.VERBOSE)
ret = re.search(r,text)
print(ret.group())