使用者行為分析研究之資料採集
1.1使用者行為分析的重要性
使用者行為分析的重要性，我想做個網站的人都會用很清晰的認識，本來我想談談自己想法，但感覺自己畢竟還是做技術的，很難清晰的從商業價值的角度來分析它的重要性，因此放棄了想闡述自己意見的想法。當我第一次見到百度統計，和谷歌分析網站，就有那種驚鴻一瞥的激動，很想自己也能寫出一套這樣的網站，這也是我持續研究使用者行為分析的初衷。
我估計還是有很多童鞋對“使用者行為分析”的概念比較陌生，這裡將百度百科裡的解釋在這裡貼出來，拋磚引玉，希望能有更多的志同道合者跟我一起研究這個主題，百度百科的地址如下：
好了，廢話不多說了，馬上就進入正題。
1.2 設計優秀的資料採集系統
對於大型網站而言，網站響應速度是網站是否優秀一個重要衡量標準，下面我引用一些權威機構的統計資料來說明網站響應速度的重要性：
使用者行為分析的前提就是能準確的採集到使用者的相關資料，這就需要我們在網站頁面裡新增採集資料的程式碼，如果我們的採集程式碼寫的不好，一定會對網站的效能產生一定的影響，更有甚者還會影響到網站的穩定性。因此設計一套效能卓越，安全性好，耦合度很低的日誌採集程式是非常重要的。
這裡我提供一套採集資料方案，方案詳情如下：
我是做java的程式設計師，經常使用到的web應用伺服器是tomact，jboss，weblogic等等，我這裡為什麼不使用這些我非常熟悉的web應用伺服器，而去選擇功能相對單一的apache或者是nginx呢？理由非常簡單，因為apache和nginx速度更快，更加輕量級，這個經驗來源於我做網站的經驗，大型網站的服務端設計是很複雜的，但基本都有一個共同的原則：當用戶一個請求提交到了服務端，服務端會先判斷這個請求，如果請求的是一些對靜態資源的訪問（比如圖片，不會變化的文字等），請求會直接提交到響應的靜態資源伺服器叢集，這樣速度會更快，而這些靜態資源伺服器基本都是apache或者是像nginx這樣的輕量級web伺服器叢集。
1.3 採集系統之服務端
本地開發，我就不去搭建叢集了，有興趣的童鞋可以在網上查查相關的資料。本地開發我就搭建一個apache伺服器。
伺服器的開發非常簡單，只要修改下apache下的conf檔案（注意：我的開發平臺是window7），程式碼如下：
<IfModule log_config_module> LogFormat "%h %l %u %t [%{%Y-%m-%d %T}t] \"%r\" [%q] [%U] %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined LogFormat"%h %l %u %t [%{%Y-%m-%d %T}t] \"%r\" [%q] [%U] %>s %b" common <IfModule logio_module> # You need to enable mod_logio.c to use %I and %O LogFormat "%h %l %u %t [%{%Y-%m-%d %T}t] \"%r\" [%q] [%U] %>s %b \"%{Referer}i\" \"%{User-Agent}i\" %I %O" combinedio </IfModule>
在htdocs資料夾裡新增如下檔案：
1) a.gif。（1*1畫素的透明檔案）
2) click.html。（用於記錄點選日誌）
3) error.html。（記錄錯誤資訊日誌）
啟動apache伺服器，我們在瀏覽器錄入如下地址：
在logs資料夾裡找到2012_06_26.access.log檔案，開啟檔案，我們會看到如下日誌：
127.0.0.1 - - [26/Jun/2012:11:37:07 +0800] [2012-06-26 11:37:07] "GET /a.gif?name=sharpxiajun&msg=test HTTP/1.1" [?name=sharpxiajun&msg=test] [/a.gif] 200 43
訪問請求被完整的記錄下來了。
1.4 採集系統之客戶端
採集系統的核心還是客戶端的採集指令碼，這裡我會貼出完整的採集指令碼以及測試頁面，程式碼的詳細解析我會在以後的部落格裡進行闡述。
我的採集指令碼可以記錄使用者訪問的日誌，還能記錄使用者的點選日誌，不過點選日誌一般包含業務含義需要使用者根據自己的需求去定義。程式碼如下：
up_beacon.js:
View Code
install_up_beacon.js檔案，這個檔案對外提供：
(function(window,document,undefined){ /*安裝採集指令碼的js程式*/ // upLogger物件是採集指令碼對外提供的操作物件 if (window.upLogger){//如果不為空，直接返回，避免重複安裝 return; } var cookieUtil = {//cookie操作工具類 setCookie:function(sName,sValue,oExpires,sPath,sDomain,bSecure){ var currDate = new Date(), sExpires = typeof oExpires == 'undefined'?'':';expires=' + new Date(currDate.getTime() + (oExpires * 24 * 60 * 60* 1000)).toUTCString(); document.cookie = sName + '=' + sValue + sExpires + ((sPath == null)?'':(' ;path=' + sPath)) + ((sDomain == null)?'':(' ;domain=' + sDomain)) + ((bSecure == true)?' ; secure':''); }, getCookie:function(sName){ var regRes = document.cookie.match(new RegExp("(^| )" + sName + "=([^;]*)(;|$)")); return (regRes != null)?unescape(regRes[2]):'-'; } }; var btsVal = cookieUtil.getCookie('b_t_s'),//b_t_s的cookie作用1.標識該頁面是否已經安裝了採集指令碼；2.記錄採集指令碼的有效期 startTime = 0, intervalTime = 3 * 24 * 60 * 60 * 1000, currIntervalTime = new Date().getTime() - 1200000000000, domainHead = (document.URL.substring(0,document.URL.indexOf('://'))) + '://'; if (btsVal != '-' && btsVal.indexOf('t') != -1){ var getBtsTime = btsVal.substring(btsVal.indexOf('t') + 1,btsVal.indexOf('x')); getCurrInterVal = currIntervalTime - getBtsTime; if (getCurrInterVal > intervalTime){ startTime = currIntervalTime; cookieUtil.setCookie('b_t_s',btsVal.replace('t' + getBtsTime + 'x', 't' + currIntervalTime + 'x'), 10000, '/'); }else{ startTime = getBtsTime; } }else{ if (btsVal == '-'){ cookieUtil.setCookie('b_t_s','t' + currIntervalTime + 'x', 10000, '/'); }else{ cookieUtil.setCookie('b_t_s',btsVal + 't' + currIntervalTime + 'x', 10000, '/'); } startTime = currIntervalTime; } document.write('<script src="' + domainHead + '127.0.0.1/up_beacon.js?' + startTime + '"><\/script>');//安裝採集指令碼 })(window,document);
下面是測試頁面;
第一個測試頁面：testbeacon.html，程式碼如下：
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<title>beacon test page</title>
</head>
<script type="text/javascript" src="install_up_beacon.js"></script>
<body>
<h1>日誌測試</h1>
<input type="button" value="Click Button" id="clickBtn" name="clickBtn" onclick="clickLog('testClickBtn','MyTest')"/>
</body>
</html>
<script type="text/javascript">
// 使用者行為統計程式碼
function recordStaticLogerr(authId,type,msg){
if (window.upLogger){
upLogger.authId = authId;
upLogger.clickLog('type=' + type + '&clickTarget=' + msg);
}
}
// 記錄click日誌的方法
function clickLog(clog_msg,clog_type){
var clog_authId = 'sharpxiajun';
recordStaticLogerr(clog_authId,clog_type,clog_msg);
}
</script>
第二個測試頁面：parent.html，程式碼如下：
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> <title>parent html</title> </head> <body> <a href="testbeacon.html" target="_self">child.html</a> </body> </html>
1.5 測試結果
測試地址：
我們檢視cookies資訊，如下圖：
日誌資訊如下：
127.0.0.1 - - [26/Jun/2012:10:01:52 +0800] [2012-06-26 10:01:52] "GET /parent.html HTTP/1.1" [] [/parent.html] 304 -
127.0.0.1 - - [26/Jun/2012:10:01:54 +0800] [2012-06-26 10:01:54] "GET /testbeacon.html HTTP/1.1" [] [/testbeacon.html] 304 -
127.0.0.1 - - [26/Jun/2012:10:01:54 +0800] [2012-06-26 10:01:54] "GET /install_up_beacon.js HTTP/1.1" [] [/install_up_beacon.js] 304 -
127.0.0.1 - - [26/Jun/2012:10:01:54 +0800] [2012-06-26 10:01:54] "GET /up_beacon.js?140675524644 HTTP/1.1" [?140675524644] [/up_beacon.js] 304 -
127.0.0.1 - - [26/Jun/2012:10:01:54 +0800] [2012-06-26 10:01:54] "GET /a.gif?logUrl={/localhost/testbeacon.html}&logHisRefer={http://localhost/parent.html}&logParams={subIsNew=0}&logQuery={pageId=1340676114790-42900296489937289847295051780050&title=beacon%20test%20page&charset=UTF-8&sr=1280*1024}&ver=140675524644&time=1340676114791 HTTP/1.1" [?logUrl={/localhost/testbeacon.html}&logHisRefer={http://localhost/parent.html}&logParams={subIsNew=0}&logQuery={pageId=1340676114790-42900296489937289847295051780050&title=beacon%20test%20page&charset=UTF-8&sr=1280*1024}&ver=140675524644&time=1340676114791] [/a.gif] 200 43
127.0.0.1 - - [26/Jun/2012:10:02:01 +0800] [2012-06-26 10:02:01] "GET /click.html?type=MyTest&clickTarget=testClickBtn&pageId=1340676114790-42900296489937289847295051780050&authId=sharpxiajun&ver=140675524644&time=1340676121252 HTTP/1.1" [?type=MyTest&clickTarget=testClickBtn&pageId=1340676114790-42900296489937289847295051780050&authId=sharpxiajun&ver=140675524644&time=1340676121252] [/click.html] 200 310
大家看到了吧，請求都被記錄下來，下面我們只要好好分析這些日誌檔案的資訊就行了。