go語言正則表達式-實踐教程
阿新 • • 發佈:2018-01-22
port ner 中文字符 正則表達式語法 hang ear 使用 獲取 rim 正則表達式處理使用到的庫
regexp
使用到regexp庫函數有
MustCompile 和 Compile
MustCompile 的作用和 Compile 一樣, 將正則表達式編譯成一個正則對象(使用 PERL 語法)。
該正則對象會采用“leftmost-first”模式。選擇第一個匹配結果.如果正則表達式語法錯誤,則返
回錯誤信息。不同的是,當正則表達式 str 不合法時,MustCompile 會拋出異常,而 Compile 僅返回一個 error 值
FindString
返回匹配上正則表達式最左邊的一個字符串,如果沒有匹配上會返回空字符串
實踐
例1 獲取下面文本中的company(公司名稱)、address(地址)、telephone(電話)
<ul class="t3">
<li class="company">山東東阿阿膠股份有限公司</li>
<li class="address">山東省東阿縣阿膠街78號</li>
<li class="telephone">0635-3262315</li>
</ul>
正則表達式
<li class="company">(.+)</li> <li class="company">(.+)</li> <li class="telephone">(.+)</li>
代碼實現
package ... import ( ... "regexp" ... ) ... var ( company = regexp.MustCompile(`<li class="company">(.+)</li>`) address = regexp.MustCompile(`<li class="address">(.+)</li>`) telephone = regexp.MustCompile(`<li class="telephone">(.+)</li>`) ) var ( respBody = ` <ul class="t3"> <li class="company">山東東阿阿膠股份有限公司</li> <li class="address">山東省東阿縣阿膠街78號</li> <li class="telephone">0635-3262315</li> </ul>` ) companyMatches := company.FindString(respBody) companyRst := strings.TrimSpace(strings.Trim(strings.Trim(companyMatches,`<li class="company">`),`</`)) addressMatches := address.FindString(respBody) addressRst := strings.TrimSpace(strings.Trim(strings.Trim(addressMatches,`<li class="address">`),`</`)) telephoneMatches := telephone.FindString(respBody) telephoneRst := strings.TrimSpace(strings.Trim(strings.Trim(telephoneMatches,`<li class="telephone">`),`</`))
講解:
其中正則表達式 `<li class="company">(.+)</li>` 的意思是匹配以<li class="company">開頭,以</li>結尾,中間匹配一次或多次除換行符之外的任何字符
‘.‘ 匹配除換行符(\n、\r)之外的任何單個字符。要匹配包括 ‘\n‘ 在內的任何字符,請使用像"(.|\n)"的模式。
‘+‘ 匹配前面的子表達式一次或多次。例如,‘zo+‘ 能匹配 "zo" 以及 "zoo",但不能匹配 "z"。+ 等價於 {1,}。
例2 將HTML標簽全轉換成小寫
re, _ := regexp.Compile("\\<[\\S\\s]+?\\>")或者
re, _ = regexp.Compile(`\<[\S\s]+?\>`)
respBody = re.ReplaceAllStringFunc(respBody, strings.ToLower)
講解:
匹配以‘<‘開頭,以’\>‘結尾,中間匹配一個或多個任意字符,而且盡可能少的匹配所搜索到的字符,因為?標示非貪婪模式
舉個例子:
正則表達式`\<[\S\s]+?\>處理下面字符串 ’<test1\> nice<test2\>‘,返回結果’<test1\>‘
而正則表達式`\<[\S\s]+\>處理下面字符串 ’<test1\> nice<test2\>‘,返回接’<test1\> nice<test2\>‘
?當該字符緊跟在任何一個其他限制符 (*, +, ?, {n}, {n,}, {n,m}) 後面時,匹配模式是非貪婪的。非貪婪模式盡可能少的匹配所搜索的字符串,而默認的貪婪模式則盡可能多的匹配所搜索的字符串。例如,對於字符串 "oooo",‘o+?‘ 將匹配單個 "o",而 ‘o+‘ 將匹配所有 ‘o‘。
\s 匹配任何空白字符,包括空格、制表符、換頁符等等。等價於 [ \f\n\r\t\v]。
\S 匹配任何非空白字符。等價於 [^ \f\n\r\t\v]。
例3 去除STYLE
re, _ = regexp.Compile("\\<style[\\S\\s]+?\\</style\\>")或者
re, _ = regexp.Compile(`\<style[\S\s]+?\</style\>`)
respBody = re.ReplaceAllString(respBody, "")
講解:
同例2
例4 去除SCRIPT
re, _ = regexp.Compile("\\<script[\\S\\s]+?\\</script\\>") 或者
re, _ = regexp.Compile(`\<script[\S\s]+?\</script\>`)
respBody = re.ReplaceAllString(respBody, "")
講解:
同例3
例5 去除所有尖括號內的HTML代碼,並換成換行符
re, _ = regexp.Compile("\\<[\\S\\s]+?\\>")
respBody = re.ReplaceAllString(respBody, "\n")
講解:
同例3
例6 去除連續的換行符
re, _ = regexp.Compile("\\s{1,}")
respBody = re.ReplaceAllString(respBody, "\n")
講解:
{n,} n 是一個非負整數。至少匹配n 次。例如,‘o{2,}‘ 不能匹配 "Bob" 中的 ‘o‘,但能匹配 "foooood" 中的所有 o。‘o{1,}‘ 等價於 ‘o+‘。‘o{0,}‘ 則等價於 ‘o*‘。
例7 查找下面尾頁數字15
<a target=‘_self‘ href=‘/search/不孕癥-p15/‘ class=‘last‘>尾頁</a>
代碼:
allPage = regexp.MustCompile(`<a target=‘_self‘ href=‘/search/[.\x{4e00}-\x{9fa5}0-9]+-p[0-9]/‘[ ]*class=‘last‘>尾頁</a>`)
allPagePrefix = regexp.MustCompile(`<a target=‘_self‘ href=‘/search/[.\x{4e00}-\x{9fa5}0-9]+-p`)
allPageSuffix = regexp.MustCompile(`/‘[ ]*class=‘last‘>\x{5c3e}\x{9875}</a>`)
numPage = allPage.FindString(body)
numPage = allPagePrefix.ReplaceAllString(numPage, "")
numPage = allPageSuffix.ReplaceAllString(numPage, "")
匹配詳解:
正則表達式<a target=‘_self‘ href=‘/search/[.\x{4e00}-\x{9fa5}0-9]+-p[0-9]/‘[ ]*class=‘last‘>尾頁</a>:
匹配以"<a target=‘_self‘ href=‘/search/"開頭,以class=‘last‘>尾頁</a>結尾,中間匹配若幹個除換行外的任意字符或者中文字符
簡易爬蟲實戰項目代碼路徑:https://github.com/KenmyZhang/medicine-manual-spider
go語言正則表達式-實踐教程