go實用小技能-遍歷html元素

阿新 • • 發佈：2019-01-07

我們在編寫爬蟲軟體或者抓取某一個單一網頁的時候，一般都是使用正則表示式技術獲取需要的內容。這種方式比較靈活，但是使用門檻較高，而且效率不高，很多不瞭解正則表示式語法的小夥伴面對一連串符號看起來就是像在看天書一樣。

今天給大家分享的是golang官方開源的net/html包，這個包給我們封裝瞭解析的html元素用到的基礎方法。下載地址 https://github.com/golang/net

不能直接使用git clone 的方式下載原始碼，必須使用go get 命令獲取

<!DOCTYPE html>
<html>
<head>
    <title 
>This is a demo</title>
</head>
<body>
這是body下面的示例一

<a href="http://shang.qq.com/wpa/qunwpa?idkey=1720f7b75f19d952b80e10549ce35c6cc922c25b6505cd6f6680ac4fc7259484">
歡迎加入 dogo 技術交流群：437274005 點選右側按鈕快捷加入
</a>
<img src="https://github.com/wuciyou/dogo/blob/master/example/web/static/img/dogo.png" 
>

這是body下面的示例二
</body>
</html>

package main

import (
    "golang.org/x/net/html"
    "log"
    "os"
)

func main() {
    f, err := os.Open("./demo.html")
    if err != nil {
        log.Panic(err)
    }
    doc, err := html.Parse(f)
    if err != nil {
        log.Panic(err)
    }

    // log.Printf 
("doc:%+v \n ", doc)
    var parse func(*html.Node)
    parse = func(n *html.Node) {
        // log.Printf("node type:%d  ", n.Type)
        // switch n.Type {
        // case html.ErrorNode:
        //  log.Printf("ErrorNode(%p):%+v", n, n)
        // case html.TextNode:
        //  log.Printf("TextNode(%p):%+v", n, n)
        // case html.DocumentNode:
        //  log.Printf("DocumentNode(%p):%+v", n, n)
        // case html.ElementNode:
        //  log.Printf("ElementNode(%p):%+v", n, n)
        // case html.CommentNode:
        //  log.Printf("CommentNode(%p):%+v", n, n)
        // case html.DoctypeNode:
        //  log.Printf("DoctypeNode(%p):%+v", n, n)
        // }

        if n.Type == html.ElementNode && n.Data == "a" {
            if n.FirstChild != nil && n.FirstChild.Type == html.TextNode {
                log.Printf("href:%s, text:%s \n", n.Attr[0].Val, n.FirstChild.Data)
            } else {
                log.Printf("href:%s \n", n.Attr[0].Val)
            }

        }

        for c := n.FirstChild; c != nil; c = c.NextSibling {
            parse(c)
        }
    }
    parse(doc)
}

歡迎加入 dogo 技術交流群：437274005 點選右側按鈕快捷加入

go實用小技能-遍歷html元素

我們在編寫爬蟲軟體或者抓取某一個單一網頁的時候，一般都是使用正則表示式技術獲取需要的內容。這種方式比較靈活，但是使用門檻較高，而且效率不高，很多不瞭解正則表示式語法的小夥伴面對一連串符號看起來就是像在看天書一樣。今天給大家分享的是golang官方開源的net

循環遍歷html所有元素

循環遍歷html所有元素 function loadNode(node){ for(var i=0;i<node.childNodes.length;i++){ if(node.childNodes[i].nodeType === 1 &&

Python 通過lxml遍歷html xpath

items ted windows cli XML sleep -a header Coding #coding:utf-8 ‘‘‘ Created on 2017年10月9日 @author: li.liu ‘‘‘ from selenium import webdr

在python中遍歷字典元素

字典是python的一種資料結構，由{‘鍵’：‘值’}對組成。第一種利用字典自身的方法dict.items()遍歷 mydict = { "key1": 10.00, "key2": "This is string", "key3": [

jquery 遍歷父元素、子元素、兄弟元素

尋找父元素 1. parent()方法，只返回被選元素的直接父元素，只遍歷到上一級的父元素，返回的是一個元素。 2. parents()方法，返回被選元素的所有父元素，一直向上遍歷，直到文件的根元素為止，返回父元素的集合。 3. parentsUntil()方法,a.parentsUntil(

八：go陣列及資料遍歷

go陣列及陣列遍歷初始化陣列 array := [5]int(1,2,3,4,5) 陣列長度：arrLength := len(array) 元素訪問： for i := 0; i < len(array); i++{ fmt.PrintIn(array[

遍歷陣列元素（foreach）

foreach 語法結構提供了遍歷陣列的簡單方式。 foreach 僅能夠應用於陣列和物件，如果嘗試應用於其他資料型別的變數，或者未初始化的變數將發出錯誤資訊。有兩種語法： <1>foreach (array_expression as $value

jQuery之元素的遍歷和元素的過濾

jQuery 遍歷函式包括了用於篩選、查詢和串聯元素的方法。向下遍歷方法 .children() 獲得匹配元素集合中每個元素的所有子元素； .find() 獲得當前匹配元素集合中每個元素的後代，由選擇器進行篩選； style.css

微信小程式遍歷迴圈中點選新增樣式

.wxml中： <view class='section'> <scroll-view id='sv' scroll-y style="width:150rpx;height:{{hei}}px;"> <block wx:for="{{left

使用流載入和儲存HTML內容&遍歷html的資訊存入一個ini檔案&使用MSHTML分析HTML程式碼

使用流載入和儲存HTML內容&遍歷html的資訊存入一個ini檔案&使用MSHTML分析HTML程式碼使用流載入和儲存HTML內容本文的部分內容翻譯自MSDN文章Loading HTML content from a StreamIPersist* 介面，

C++ map遍歷陣列元素

#include <iostream> #include <map> using namespace std; int main(void) { int i; int a[] = { 1, 2, 3, 4, 5, 5, 5 };

iOS 陣列遍歷刪除元素的問題

今天寫程式碼的時候，又是從實際中由問題引起而學到的新知識。很多時候，我們會用集合儲存物件，會根據業務需求，有時候需要遍歷集合，找出特定的物件，並把這個物件從集合中刪除。可能以為不會出什麼問題，結果小問題不斷啊，不過這些問題對我來說，可以是小細節的問題，問題再小，也是慢慢進步

android 通過正則表示式遍歷html中所有的img標籤

String reg = "<img.*?>"; Pattern pattern = Pattern.compile(reg); Matcher matcher = pattern.matcher(sendString);//sendString為網

STL中用ERASE()方法遍歷刪除元素

用完。clear() STL中的容器按儲存方式分為兩類，一類是按以陣列形式儲存的容器（如：vector 、deque)；另一類是以不連續的節點形式儲存的容器（如：list、set、map）。在使用erase方法來刪除元素時，需要注意一些問題。在使用 l

dom4j 遍歷所有元素和屬性

Dom4j是java中常用讀取xml檔案的工具，就方便性和效能方面，一定程度要優於JDK中Domcument和SAX解析的。package Test; import org.dom4j.Attribute; import org.dom4j.Document; impo

js遍歷子元素

跨瀏覽器遍歷某元素的所有子元素 1.遍歷所有子元素（法一） // 遍歷所有子元素 1 var child = element.firstChild; var last = element.lastChild; while(child != last) { if(c

使用foreach遍歷集合元素

1 程式碼示例 import java.util.*; public class ForeachTest { public static void main(String[] args) {

記錄angular遍歷的元素隱藏顯示修改

<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> <sc

遍歷集合元素的三種方式

方式一： Iterator iterator = list.iterator(); while(iterator.hasNext()){ System.out.println(iterato

jquery 使用each 遍歷標籤元素，修改標籤內容

go實用小技能-遍歷html元素

相關推薦