【資料抓取】HTML解析

阿新 • • 發佈：2019-02-12

背景

通過模擬登陸，我獲取了相應網頁資訊，接下來要做的就是解析html，從裡面篩選出自己需要的內容

這個流程很清晰，獲取資料-篩選資料-儲存資料-顯示資料

功能說明

對html程式碼進行解析，篩選出需要的內容

ps.本次用的是上次模擬登陸儲存的html文字，這兩個模組還沒有組合

程式碼

html程式碼

<html>
    <head>
        <title>事件屬性</title>
        <link href="/resource.ashx/635709062375475691/3/css/page.css" 
 rel="stylesheet" />
        <script src="//resource.ashx/635709062375475691/3/javascript/common.js"></script>
    </head>
    <body>
        <form method="post" action="eventdialog.aspx?eventId=2046" id="form1">
            <div class="aspNetHidden">
                <input 
 type="hidden" name="__VIEWSTATE" id="__VIEWSTATE" value="/wEPDwUKMTA1MzY5OTk4Nw9kFgICAQ9kFgxmDw8WAh4EVGV4dAUG5rWP6KeIZGQCAQ8PFgIfAAUJMjAxNy8yLzIyZGQCAg8PFgIfAAUJ5p2O6Z2S5p2+ZGQCAw8PFgIfAAUIMTg6NDM6MDBkZAIEDw8WAh8ABSxQYXRoOiAKCVtGaWxlVmlzdGEt5rWL6K+V5Yy6XTpc5a2m5pyv6LWE5paZCmRkAgUPDxYCHwAFBuehruiupGRkZJsHJooEt4hg7kT8NGuc6OGX0d3tGhbCt6nnrpHoXyhd" 
 />
            </div>

            <div class="aspNetHidden">
                <input type="hidden" name="__EVENTVALIDATION" id="__EVENTVALIDATION" value="/wEWAwKhuZq6DQKAtdPXAQKM54rGBumKkbiesZBA0vTMtI/UD5TTngaEDnEb6xk9TvAzVzh2" />
            </div>

            <table cellpadding="0" cellspacing="10" border="0" style="width: 100%">
                <tr>
                    <td style="width: 50px">型別:</td>
                    <td><span id="LabelType">瀏覽</span></td>
                    <td style="width: 50px">日期:</td>
                    <td><span id="LabelDate">2017/2/22</span></td>
                </tr>
                <tr>
                    <td>使用者:</td>
                    <td><span id="LabelUser">李小明</span></td>
                    <td>時間:</td>
                    <td><span id="LabelTime">18:43:00</span></td>
                </tr>
                <tr>
                    <td colspan="4">
                        描述:<br />
                        <textarea name="TextBoxDescription" rows="2" cols="20" wrap="off" readonly="readonly" id="TextBoxDescription" style="width: 360px; height: 150px; resize:none">
Path: 
    [222伺服器]:\Java資料
                        </textarea>
                    </td>
                </tr>
            </table>
            <div class="gt-formBottom"><input type="submit" name="Button1" value="確認" onclick="elementDialog.close(); return false;" id="Button1" style="width: 80px" /></div>
        </form>
    </body>
</html>

後臺程式碼

static void Main(string[] args)
{
    //讀取html文字
    StreamReader sr = new StreamReader("E:\\【Project】\\資料抓取\\html文字.txt", Encoding.Default);
    String htmltxt = sr.ReadToEnd();
    sr.Close();

    //HtmlDocument載入html文字
    HtmlDocument htmldoc = new HtmlDocument();
    htmldoc.LoadHtml(htmltxt);

    //提取html中的需要欄位
    HtmlNode type_node = htmldoc.DocumentNode.SelectSingleNode("/html/body/table/tr[1]/td[2]/span");
    HtmlNode date_node = htmldoc.DocumentNode.SelectSingleNode("/html/body/table/tr[1]/td[4]/span");
    HtmlNode user_node = htmldoc.DocumentNode.SelectSingleNode("/html/body/table/tr[2]/td[2]/span");
    HtmlNode time_node = htmldoc.DocumentNode.SelectSingleNode("/html/body/table/tr[2]/td[4]/span");
    HtmlNode path_node = htmldoc.DocumentNode.SelectSingleNode("/html/body/table/tr[3]/td/textarea");

    //輸出提取的欄位
    Console.WriteLine(date_node.InnerText);
    Console.WriteLine(time_node.InnerText);
    Console.WriteLine(user_node.InnerText);
    Console.WriteLine(type_node.InnerText);
    Console.WriteLine(path_node.InnerText.Replace("\r", "").Replace("\n", "").Replace("\t", "")); 
    Console.ReadKey();
}

問題 & 解決

小結

隨著獲取資料的成功，接下來的工作就是處理、儲存、顯示
技術點實現之後，重新整理需求，再合併模組，優化整個系統
關於html解析，現在嘗試的就這些，根據系統需求後面繼續研究吧

【資料抓取】HTML解析

背景通過模擬登陸，我獲取了相應網頁資訊，接下來要做的就是解析html，從裡面篩選出自己需要的內容這個流程很清晰，獲取資料-篩選資料-儲存資料-顯示資料功能說明對htm

【資料抓取】EChart圖表展示

$(document).ready(function () { //圖表1-顯示資料的使用情況 var myChart1 = echarts.init(document.getElementById('chart1')); // 顯示標題，圖例和空的座

【Python入門只需20分鐘】從安裝到資料抓取、儲存原來這麼簡單

基於大眾對Python的大肆吹捧和讚賞，作為一名Java從業人員，看了Python的書籍之後，決定做一名python的腦殘粉。作為一名合格的腦殘粉（標題黨 (ノ◕ω◕)ノ），為了發展我的下線，接下來我會詳細的介紹 Python 的安裝到開發工具的簡單介紹，並編寫一個抓

【PHP-網頁內容抓取】抓取網頁內容的兩種常用方法

說到網頁內容的抓取，最常用的兩種方式： 1.利用file_get_contents()函式，簡簡單單； 2.CURL抓取工具。CURL是一個非常強大的開源庫，支援很多協議，包括HTTP、FTP、TEL

【Android 學習記錄】JsonObject解析JSON資料

public class JsonObject { private static final String TAG = "JsonObject"; private void send

有哪些好用的網際網路資料抓取，資料採集，頁面解析工具？

1、網際網路剛興起的時候，資料索引是個大問題，當時Yahoo的分類頁面著實火了一陣子。 2、隨著網際網路資料量越來越大，Google，百度等搜尋引擎火了起來。這個階段，幾乎沒有比搜尋引擎更火的技術了，連帶分詞技術都火得一塌糊塗。緊接著， Nutch等開源搜

C#簡單爬取資料（.NET使用HTML解析器ESoup和正則兩種方式匹配資料）

一、獲取資料想弄一個數據庫，由於需要一些人名，所以就去百度一下，然後發現了360圖書館中有很多人名然後就像去複製一下，發現複製不了，需要登陸此時f12檢視原始碼是可以複製的，不過就算可以複製想要插入資料也是很麻煩的。既然複製走不通，於是我抱著探索知識的精神，打開了Visual Studio 首先我

【抓取】6-DOF GraspNet 論文解讀

# 【抓取】6-DOF GraspNet 論文解讀 **【注】：本文地址：[【抓取】6-DOF GraspNet 論文解讀](https://www.cnblogs.com/hatimwen/p/6dofgraspnet.html )** **若轉載請於明顯處標明出處。** ## 前言這篇關於生成

XML文件解析【安卓7】——SAX解析

try 讀取資源文件結束文件解析簡單 put log 空間 img XML文件解析 XML解析：XML技術是Android平臺的應用基礎，　 Android提供了多種解析XML的方式：SAX解析、DOM解析、PULL解析 SA

【2018-01-23】HTML-iframe框架

-i char png 技術 targe bubuko pre alt com 框架 iframe寬度 width高度 height顯示的網頁路徑 href滾動條 onscroll="true" 標題欄小圖標：<link rel="shortcut icon" ty

【2018-01-23】HTML-插入視頻、音樂，簡單滾動效果

視頻 embed blog 默認 loop alternate idt 方向範圍插入視頻：在優酷等視頻網站，找到分享位置，復制html代碼，貼入網頁中自動播放：swf後面?VideoIDS=XNDA3OTM4NA=&isAutoPlay=true&isS

【2018-01-28】HTML-css樣式表分類、選擇器

set html span ima meta class選擇器優先 sheet har 樣式表，css:層疊式樣式表style後綴名：css 分類：內聯：寫在標記的屬性位置，優先級最高，重用性最差內嵌：寫在頁面的head中，優先級第二，重用性一般外部：寫在一個以css結尾

【2018-01-28】HTML-常用樣式屬性

背景色 mar 範圍 text nbsp vertica 邊界 bold visible 樣式：　　大小：　　　　width 寬度　　　　height：高度　　背景：　　　　background-color 背景色　　　　background-image 背景圖

【2018-01-28】HTML-布局

html clas htm fixed fix ott bsp relative 布局位置：　　position：fixed 固定　　　　　　 absolute 絕對位置　　　　　　 relative 相對位置　　top 　　right　　　　　　bott

【資料搜集】Python學習

OS pan span blog cor pos ati http pytho python學習手冊 | 演道網 http://dev.go2live.cn/python/python%e5%ad%a6%e4%b9%a0%e6%89%8b%e5%86%8c.html 【資

【資料搜集】DirectX學習

.sh 資料指南 c++ tor 動漫 light Go pos 【網站推薦：】GameRes遊資網-遊戲開發者門戶 http://www.gameres.com/ 【基礎知識：】《遊戲編程》第一部基礎篇 - GameRes.com http://dev.gamere

Educational Codeforces Round 53 (Rated for Div. 2) C. Vasya and Robot 【二分 + 尺取】

任意門：http://codeforces.com/contest/1073/problem/C C. Vasya and Robot time limit per test 1 second memory limit per test

【資料視覺化】25個即時改進資料視覺化設計的技巧

資料視覺化不是關於顯示資料; 它是以更容易理解的方式顯示資料 - 這就是真正的價值所在。如果你想真正“看到”我們的意思，請看一下這個快速視訊：視訊地址：https://vimeo.com/29684853 不幸的是，很多人認為將幾張圖表放在一起意味著您正在進行資料視覺

QueryList免費線上網頁採集資料抓取工具-toolfk.com

本文要推薦的[ToolFk]是一款程式設計師經常使用的線上免費測試工具箱，ToolFk 特色是專注於程式設計師日常的開發工具，不用安裝任何軟體，只要把內容貼上按一個執行按鈕,就能獲取到想要的內容結果。ToolFk還支援 BarCode條形碼線上

【資料結構--Heap】堆

堆（英語：Heap）是電腦科學中的一種特別的樹狀資料結構。若是滿足以下特性，即可稱為堆：“給定堆中任意節點 P 和 C，若 P 是 C 的母節點，那麼 P 的值會小於等於（或大於等於） C 的值”。若母節點的值恆小於等於子節點的值，此堆稱為最小堆（英語：min heap）；反之，若母節點的值

【資料抓取】HTML解析

背景

功能說明

程式碼

html程式碼

後臺程式碼

問題 & 解決

小結

相關推薦