昨天我們一起爬取珍愛網首頁，拿到了城市列表頁面，接下來在返回體城市列表中提取城市和url，即下圖中的a標籤裡的href的值和innerText值。

提取a標籤，可以通過CSS選擇器來選擇，如下：

$('#cityList>dd>a');就可以獲取到470個a標籤：

這裡只提供一個思路，go語言標準庫裡沒有CSS解析庫，通過第三方庫可以實現。具體可以參考文章：

https://my.oschina.net/2xixi/blog/488811

http://liyangliang.me/posts/2016/03/zhihu-go-insight-parsing-html-with-goquery/

這兩篇文章都是用goquery解析 HTML，用到了庫：

https://github.com/PuerkitoBio/goquery

也可以用xpath去解析html，可以參考：

https://github.com/antchfx/xquery

xpath和goquery相比還是比較麻煩的，通過以下這張圖可以看出來goquery要活躍的多：

我們這裡不用xpath，也不用goquery提取，用更加通用的正則表示式來提取。

從上圖可以看出，返回體中的a標籤裡都是這種形式，XXX表示城市拼音，XX表示城市中文，其他的都一樣。

<a href="http://www.zhenai.com/zhenghun/XXX"
                      class="">XX</a>
 

所以可以寫出以下的正則表示式來匹配：

compile := regexp.MustCompile(`<a href="http://www.zhenai.com/zhenghun/[0-9a-z]+"[^>]*>[^<]+</a>`)

正則表示式說明：

1、href的值都類似http://www.zhenai.com/zhenghun/XX
2、XX可以是數字和小寫字母,所以[0-9a-z],+表示至少有一個
3、[^>]*表示匹配不是>的其他字元任意次
4、[^<]+表示匹配不是<的其他字元至少一次

然後利用分組獲取url和城市，程式碼如下：

func printAllCityInfo(body []byte){

 //href的值都類似http://www.zhenai.com/zhenghun/XX
 //XX可以是數字和小寫字母,所以[0-9a-z],+表示至少有一個
 //[^>]*表示匹配不是>的其他字元任意次
 //[^<]+表示匹配不是<的其他字元至少一次
 compile := regexp.MustCompile(`<a href="(http://www.zhenai.com/zhenghun/[0-9a-z]+)"[^>]*>([^<]+)</a>`)

 submatch := compile.FindAllSubmatch(body, -1)

 for _, matches := range submatch {
   //列印
   fmt.Printf("City:%s URL:%s\n", matches[2], matches[1])
 }

 //可以看到匹配個數為470個
 fmt.Printf("Matches count: %d\n", len(submatch))
}

那麼提取URL和City的完整程式碼如下：

package main

import (
 "fmt"
 "io/ioutil"
 "net/http"
 "golang.org/x/text/transform"
 //"golang.org/x/text/encoding/simplifiedchinese"
 "io"
 "golang.org/x/text/encoding"
 "bufio"
 "golang.org/x/net/html/charset"
 "regexp"
)

func main() {

 //返送請求獲取返回結果
 resp, err := http.Get("http://www.zhenai.com/zhenghun")

 if err != nil {
   panic(fmt.Errorf("Error: http Get, err is %v\n", err))
 }

 //關閉response body
 defer resp.Body.Close()

 if resp.StatusCode != http.StatusOK {
   fmt.Println("Error: statuscode is ", resp.StatusCode)
   return
 }

 //utf8Reader := transform.NewReader(resp.Body, simplifiedchinese.GBK.NewDecoder())
 utf8Reader := transform.NewReader(resp.Body, determinEncoding(resp.Body).NewDecoder())
 body, err := ioutil.ReadAll(utf8Reader)

 if err != nil {
   fmt.Println("Error read body, error is ", err)
 }

 printAllCityInfo(body)
 //列印返回值
 //fmt.Println("body is ", string(body))
}

func determinEncoding(r io.Reader) encoding.Encoding {

 //這裡的r讀取完得保證resp.Body還可讀
 body, err := bufio.NewReader(r).Peek(1024)

 if err != nil {
   fmt.Println("Error: peek 1024 byte of body err is ", err)
 }

 //這裡簡化,不取是否確認
 e, _, _ := charset.DetermineEncoding(body, "")
 return e
}

func printAllCityInfo(body []byte){

 //href的值都類似http://www.zhenai.com/zhenghun/XX
 //XX可以是數字和小寫字母,所以[0-9a-z],+表示至少有一個
 //[^>]*表示匹配不是>的其他字元任意次
 //[^<]+表示匹配不是<的其他字元至少一次
 compile := regexp.MustCompile(`<a href="(http://www.zhenai.com/zhenghun/[0-9a-z]+)"[^>]*>([^<]+)</a>`)

 /*matches := compile.FindAll(body, -1)

 //matches是二維陣列[][]byte
 for _, m := range matches {
   fmt.Printf("%s\n", m)
 }
 */

 submatch := compile.FindAllSubmatch(body, -1)

 //submatch是三維陣列[][][]byte
/*  for _, matches := range submatch {

   //[][]byte
   for _, m := range matches {
     fmt.Printf("%s ", m)
   }

   fmt.Println()
 }*/

 for _, matches := range submatch {

   //列印
   fmt.Printf("City:%s URL:%s\n", matches[2], matches[1])

 }

 //可以看到匹配個數為470個
 fmt.Printf("Matches count: %d\n", len(submatch))

 //列印abc
 //fmt.Printf("%s\n", []byte{97,98,99})
}

執行後，可以看到輸出了URL和City：

今天我們完成了URL和城市的提取，明天我們將利用URL，來進一步分析城市的男女性個人資訊。

---

---

本公眾號免費提供csdn下載服務，海量IT學習資源，如果你準備入IT坑，勵志成為優秀的程式猿，那麼這些資源很適合你，包括但不限於java、go、python、springcloud、elk、嵌入式 、大資料、面試資料、前端 等資源。同時我們組建了一個技術交流群，裡面有很多大佬，會不定時分享技術文章，如果你想來一起學習提高，可以公眾號後臺回覆【2】，免費邀請加技術交流群互相學習提高，會不定期分享程式設計IT相關資源。

---

掃碼關注，精彩內容第一時間推給你

相關推薦