問題導讀

1.什麼網站日誌挖掘的目的是什麼？
2.網站分析資料主要有哪三種收集方式？
3.web日誌挖掘包含哪些流程？



收集web日誌的目的 Web日誌挖掘是指採用資料探勘技術，對站點使用者訪問Web伺服器過程中產生的日誌資料進行分析處理，從而發現Web使用者的訪問模式和興趣愛好等，這些資訊對站點建設潛在有用的可理解的未知資訊和知識，用於分析站點的被訪問情況，輔助站點管理和決策支援等。 1、以改進web站點設計為目標，通過挖掘使用者聚類和使用者的頻繁訪問路徑，修改站點的頁面之間的連結關係，以適應使用者的訪問習慣，並且同時為使用者提供有針對性的電子商務活動和個性化的資訊服務，應用資訊推拉技術構建智慧化Web站點。 2、以分析Web站點效能為目標，主要從統計學的角度，對日誌資料項進行粗略的統計分析，得到使用者頻繁訪問頁、單位時間的訪問數、訪問數量隨時間分佈圖等。現有的絕大多數的Web日誌分析工具都屬於此類。 3、以理解使用者意圖為目標，主要是通過與使用者互動的過程收集使用者的資訊，Web伺服器根據這些資訊對使用者請求的頁面進行裁剪，為使用者返回定製的頁面，其目的就是提高使用者的滿意度和提供個性化的服務。 收集方式 網站分析資料主要有三種收集方式：Web日誌、JavaScript標記和包嗅探器。 1. Web日誌 web日誌處理流程：  1.png (213.18 KB, 下載次數: 0)
下載附件  [url=]儲存到相簿[/url] 
10 小時前 上傳


從上圖可以看出網站分析資料的收集從網站訪問者輸入URL向網站伺服器發出http請求就開始了。網站伺服器接收到請求後會在自己的Log檔案中追加一條記錄，記錄內容包括：遠端主機名(或者是IP地址)、登入名、登入全名、發請求的日期、發請求的時間、請求的詳細(包括請求的方法、地址、協議)、請求返回的狀態、請求文件的大小。隨後網站伺服器將頁面返回到訪問者的瀏覽器內得以展現。 2. JavaScript標記 JavaScript標記處理流程：  2.png (232.63 KB, 下載次數: 0)
下載附件  [url=]儲存到相簿[/url] 
10 小時前 上傳


上圖所示JavaScript標記同Web日誌收集資料一樣，從網站訪問者發出http請求開始。不同的是，JavaScript標記返回給訪問者的網頁程式碼中會包含一段特殊的JavaScript程式碼，當頁面展示的同時這段程式碼也得以執行。這段程式碼會從訪問者的Cookie中取得詳細資訊(訪問時間、瀏覽器資訊、工具廠商賦予當前訪問者的userID等)併發送到工具商的資料收集伺服器。資料收集伺服器對收集到的資料處理後存入資料庫中。網站經營人員通過訪問分析報表系統檢視這些資料。 3. 包嗅探器 通過包嗅探器收集分析的流程：  3.png (236.22 KB, 下載次數: 0)
下載附件  [url=]儲存到相簿[/url] 
10 小時前 上傳


上圖可以看出網站訪問者發出的請求到達網站伺服器之前，會先經過包嗅探器，然後包嗅探器才會將請求傳送到網站伺服器。包嗅探器收集到的資料經過工具廠商的處理伺服器後存入資料庫。隨後網站經營人員就可以通過分析報表系統看到這些資料。 web日誌挖掘過程 整體流程參考下圖：  4.png (23.7 KB, 下載次數: 0)
下載附件  [url=]儲存到相簿[/url] 
10 小時前 上傳


1、資料預處理階段 
    根據挖掘的目的，對原始Web日誌檔案中的資料進行提取、分解、合併、最後轉換為使用者會話檔案。該階段是Web訪問資訊挖掘最關鍵的階段，資料預處理包括:關於使用者訪問資訊的預處理、關於內容和結構的預處理。 2、會話識別階段 
    該階段本是屬於資料預處理階段中的一部分，這裡將其劃分成單獨的一個階段，是因為把使用者會話檔案劃分成的一組組使用者會話序列將直接用於挖掘演算法，它的精準度直接決定了挖掘結果的好壞，是挖掘過程中最重要的階段。 3、模式發現階段 
    模式發現是運用各種方法和技術從Web同志資料中挖掘和發現使用者使用Web的各種潛在的規律和模式。模式發現使用的演算法和方法不僅僅來自資料探勘領域，還包括機器學習、統計學和模式識別等其他專業領域。 模式發現的主要技術有：統計分析（statistical analysis）、關聯規則（association rules）、聚類（clustering）、歸類（classification）、序列模式（sequential patterns）、依賴關係（dependency）。 （1）統計分析（statistical analysis）：常用的統計技術有：貝葉斯定理、預測迴歸、對數迴歸、對數-線性迴歸等。可用來分析網頁的訪問頻率，網頁的訪問時間、訪問路徑。可用於系統性能分析、發現安全漏洞、為網站修改、市場決策提供支援。 （2）關聯規則（association rules）：關聯規則是最基本的挖掘技術，同時也是WUM最常用的方法。在WUM中常常用在被訪問的網頁中，這有利於優化網站組織、網站設計者、網站內容管理者和市場分析，通過市場分析可以知道哪些商品被頻繁購買，哪些顧客是潛在顧客。 （3）聚類（clustering）：聚類技術是在海量資料中尋找彼此相似物件組，這些資料基於距離函式求出物件組之間的相似度。在WUM中可以把具有相似模式的使用者分成組，可以用於電子商務中市場分片和為使用者提供個性化服務。 （4）歸類（classification）：歸類技術主要用途是將使用者資料歸入某一特定類中，它與機器學習關係很緊密。可以用的技術有：決策樹（decision tree）、K-最近鄰居、Naïve Bayesian classifiers、支援向量機（support vector machines）。 （5）序列模式（sequential patterns）：給定一個由不同序列組成的集合，其中，每個序列由不同的元素按順序有序排列，每個元素由不同專案組成，同時給定一個使用者指定的最小支援度閾值，序列模式挖掘就是找出所有的頻繁子序列，即子序列在序列集中的出現頻率不低於使用者指定的最小支援度閾值。 （6）依賴關係（dependency）：一個依賴關係存在於兩個元素之間，如果一個元素A的值可以推出另一個元素B的值，則B依賴於A。 4、模式分析階段 
    模式分析是Web使用挖掘最後一步，主要目的是過濾模式發現階段產生的規則和模式，去除那些無用的模式，並把發現的模式通過一定的方法直觀的表現出來。由於Web使用挖掘在大多數情況下屬於無偏向學習，有可能挖掘出所有的模式和規則，所以不能排除其中有些模式是常識性的，普通的或終端使用者不感興趣的，故必須採用模式分析的方法使得挖掘出來的規則和知識具有可讀性和最終可理解性。常見的模式分析方法有圖形和視覺化技術、資料庫查詢機制、數理統計和可用性分析等。 收集資料包括 收集的資料主要包括： 全域性UUID、訪問日期、訪問時間、生成日誌項的伺服器的IP地址、客戶端試圖執行的操作、客戶端訪問的伺服器資源、客戶端嘗試執行的查詢、客戶端連線到的埠號、訪問伺服器的已驗證使用者名稱稱、傳送伺服器資源請求的客戶端IP地址、客戶端使用的作業系統、瀏覽器等資訊、操作的狀態碼（200等）、子狀態、用[email protected]使用的術語表示的操作的狀態、點選次數。 使用者識別 對於網站的運營者來說，如何能夠高效精確的識別使用者非常關鍵，這會對網站運營帶來極大的幫助，如定向推薦等。 使用者識別方法如下：  5.png (34.04 KB, 下載次數: 0)
下載附件  [url=]儲存到相簿[/url] 
10 小時前 上傳


使用HDFS儲存 資料收集到伺服器之後，根據資料量可以考慮將資料儲存在hadoop的HDFS中。 如果不熟悉HDFS，可以參考： 在現在的企業中，一般情況下都是多臺伺服器生成日誌，日誌包括nginx生成的，也包括在程式中使用log4j生成的自定義格式的。 通常的架構如下圖：  6.png (86.65 KB, 下載次數: 0)
下載附件  [url=]儲存到相簿[/url] 
10 小時前 上傳


使用mapreduce分析nginx日誌 nginx預設的日誌格式如下：

• 222.68.172.190 - - [18/Sep/2013:06:49:57 +0000] "GET /images/my.jpg HTTP/1.1" 200 19939
• "http://www.angularjs.cn/A00n" "Mozilla/5.0 (Windows NT 6.1)
• AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.66 Safari/537.36"
  

複製程式碼

變數的解釋如下：

• remote_addr: 記錄客戶端的ip地址, 222.68.172.190
• remote_user: 記錄客戶端使用者名稱稱, –
• time_local: 記錄訪問時間與時區, [18/Sep/2013:06:49:57 +0000]
• request: 記錄請求的url與http協議, “GET /images/my.jpg HTTP/1.1″
• status: 記錄請求狀態,成功是200, 200
• body_bytes_sent: 記錄傳送給客戶端檔案主體內容大小, 19939
• http_user_agent: 記錄客戶瀏覽器的相關資訊, “Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.66 Safari/537.36″
  

可以直接使用mapreduce來進行日誌分析：  7.png (9.59 KB, 下載次數: 0)
下載附件  [url=]儲存到相簿[/url] 
10 小時前 上傳


在hadoop中計算後定時匯入到關係型資料庫中進行展現。 要明細的分析可以參考這篇： 也可以使用hive來代替mapreduce進行分析。 總結 web日誌收集是每個網際網路企業必須要處理的過程，當收集上來資料，並且通過適當的資料探勘之後，會對整體網站的運營能力及網站的優化帶來質的提升，真正的做到資料化分析和資料化運營。 來源：http://www.cnblogs.com/skyme/p/4316057.html