網路輿情的資訊採集

網路輿情分析，廣義上包括從網路輿情的資訊採集開始到最後輿情資訊服務這一系列流程，首先是從網際網路上採集輿情資訊，對採集得到的web頁面進行資訊預處理，在預處理的基礎上進行關鍵資訊的抽取，然後利用關鍵資訊對輿情資訊進行內容上的分析，最後將分析結果提供給使用者。

網路資訊自動採集一般分為資料抓取與資料儲存兩部分。

網路資訊的分類及其抽取

網頁內容的自動分類

文字自動分類，一般是先把一組預先定義類別的文件作為訓練集，然後對訓練集進行分析，並得到分類器。這種分類器通常需要一定的測試過程，再經過不斷的訓練。在實際中，隨著爬取網頁的增多，分類器可以進一步的學習，豐富原有的型別詞彙矢量表。

一般把文字分類方法分為以下三類：

詞匹配法。可以分為簡單詞匹配和同義詞匹配

基於領域專家知識的方法。實施將困難。

統計學習法。基本思路是先收集一些與待分類文件同處於一個領域的文件作為訓練集，這些訓練集由專家進人工分類，保證分類的準確性。然後從中挖掘類別的統計特性，再利用已有指導學習方法將待分類文件分到最可能的類別中去。在分類過程中，定期或不定期的對訓練集更新。此種方法，目前較實用。

文字分類中常用演算法：

簡單向量距離演算法

KNN

資訊抽取即直接從自然語言文字中抽取事實資訊，並以結構化的形式描述資訊，供資訊查詢，文字深層挖掘，自動問答等。Web資訊抽取，處理物件為半結構化的網頁資訊。

被抽取出的資訊被轉換為結構化，語義更為清晰的格式。

Web資訊抽取技術：

基於自然語言理解的方式。

基於包裝器的歸納的方式，包裝器是一種軟體構件，有一系列的抽取規則以及應用這些規則的程式程式碼組成，負責將資料由一種模式轉換成另一種模式。通常，一個包裝器只能處理一種特定的資訊源。從幾個不同的資訊源中抽取資訊，需要一系列的包裝器程式庫。包裝器一般包括規則庫，規則執行模組，資訊轉換模組。使用包裝器的缺點：可擴充套件性差，可重用性差，缺乏對頁面的主動理解。

基於本體的方式。資訊抽取系統中被分析的文件通常是針對某個特定的領域，該領域的文件典型的包含一些特定的待抽取成分。通過分析這些成分的特殊詞法語義形態，就能相對準確抽取這些成分。

基於HTML結構的方式。該類方法是根據web頁面的結構定位資訊。在資訊抽取之前通過解析器將web文件解析成語法樹，通過自動或半自動的方式產生抽取規則，將資訊抽取轉化為對語法樹的操作實現資訊抽取。

話題檢測與跟蹤技術

是一種檢測輿情新出現的話題並追蹤該話題發展動態的資訊智慧獲取技術，其實質是主題搜尋引擎技術。面向專業主題的搜尋引擎是對網路中某個主題的資訊進行採集，索引並整合，然後抽取出需要的資料進行處理後再以某種滿足使用者個性化需求的形式返回給使用者。

構造主題搜尋引擎的核心是面向主題的爬行技術。主題爬蟲會分析每個頁面的連結，判斷哪些連結指向的頁面可能是和預定主題相關，對這些連結進行優先爬行，和主題無關的連結則選擇放棄。

參考書目：

網路輿情分析技術 王蘭成 著 國防工業出版社