欄位解釋
accessDate    //訪問時間，精確到日期，String格式


accessTime  //訪問時間，精確到毫秒，int格式


accessHour   //訪問小時，區間為0-23，int格式 


requestMethod   //請求方式（get post 統計的時候沒用到），String格式


requestProtocal   //請求協議（http https，統計的時候沒用到），String格式


requestUrl   //請求URL地址，
e.g.：http://it18zhang.com/news/view?news_id=26，格式為String


requestIp   //請求IP地址，e.g.：192.168.1.1，String格式


returnStatus   //返回狀態（不瞭解，統計的時候沒用到），String格式


referUrl   //上一跳URL地址，
e.g.：http://www.baidu.com/s?wd=ggg&xxxx, 格式為String


referDomain   //上一跳域名，e.g.： baidu.com，String格式


userOrigin   //使用者入口地址，e.g.：http://www.baidu.com， 格式為String
（這個不太瞭解，但是根據originWord覺得應該是搜尋引擎）


originWord   //入口關鍵字，e.g.：it18zhangit18zhang，格式為String


browser   //瀏覽器，e.g.：FirefoxChrome，格式為String


browserVersion   //瀏覽器版本，e.g.：51.050.1，格式為String


operateSystem   //作業系統，e.g.：Windows10macOSUbuntu，格式為String


ipNumber   //IP數，（這個不瞭解，統計時候沒用到），int格式


userProvince   //使用者省份，String格式


screenSize   //螢幕尺寸，e.g.：1366x768，String格式


screenColor   //螢幕顏色，e.g.：redbluegreen，String格式


pageTitle   //頁面標題，e.g.：Python，BigData，String格式


siteType   //站型，（不太瞭解，預設為0），String格式


userFlag   //使用者標示，從cookie中提取，相當於userID，String格式


visitFlag   //訪問標示， 從cookie中提取，相當於sessionID，String格式


sFlag   //（不太清楚是做什麼的，統計沒有用到，分為1和0），String格式


timeOnPage//頁面停留時間，精確到毫秒，int格式








以access_day（進入時間）為分割槽表，建立外部表
create external table users(
accessDate    string,
accessTime  int,
accessHour   int,
requestMethod   string,
referUrl   string,
requestProtocal   string,
returnStatus   string,
requestUrl   string,
referDomain   string,
userOrigin   string,
originWord   string,
browser   string,
browserVersion   string,
operateSystem   string,
requestIp   string,
ipNumber   int,
userProvince   string,
screenSize   string,
screenColor   string,
pageTitle   string,
siteType   string,
userFlag   string,
visitFlag   string,
sFlag   string,
timeOnPage int)
partitioned by (access_day string)
row format delimited
fields terminated by ' '

stored as textfile;

load data local inpath '/home/hadoop/data/20160101.txt'  overwrite into table users partition (access_day='20160101');
load data local inpath '/home/hadoop/data/20160601.txt'  overwrite into table users partition (access_day='20160601');
load data local inpath '/home/hadoop/data/20170601.txt'  overwrite into table users partition (access_day='20170601');
load data local inpath '/home/hadoop/data/20170101.txt'  overwrite into table users partition (access_day='20170101');

統計方法
PV統計
1、按天統計PV
select accessdate ,count(1) from users where access_day='20160601' group by accessdate;
2、按小時統計PV
select accesshour, count(1) from users where access_day='20160601' group by accesshour;
3、統計每天每個省份PV
select accessdate, userprovince, count(1) from users where access_day='20160601' group by accessdate,userprovince;
4、每天每個省份 每個小時統計
select accessdate, userprovince, accesshour, count(1) from users where access_day='20160601' group by accessdate, userprovince, accesshour;
5、統計每天每個頁面的訪問量
select accessdate, requesturl, count(1) from users where access_day='20160601' group by accessdate, requesturl ;
UV統計
1、統計總的訪問人數，即訪客（UV）
select access_day,count (distinct requestIp) from users group by access_day;
2、統計當天平均訪問頁面數（頁/人=PV/UV）
select count(1) pvSta, count(distinct requestIp) uvSta from users where access_day='20160601';


select count(1)/count(distinct requestIp)  from users where access_day='20160601';


3、統計每個頁面訪客數和最早時間和最晚時間
Select requesturl, count(distinct requestIp) visitCount, min(accessTime) firstAccessTime, max(accessTime) recentAccessTime from users where access_day='20160601' group by  requestUrl order by  visitCount desc;
網站停留時間統計
平均網站停留時間=網站總停留時間/會話的數量(訪次)
//注意，本時間資料型別為int，為了方便講解業務，故直接把兩時間資料進行相減，具體業務還需實現使用者自定義函式（UDF）把int轉換為時間資料並進行相關操作。
1、每個訪客每天的網站停留時間=最後一次時間-首次訪問時間
create view pageTime (id,visitKeepTime) as select requestIp, ceil((max(accessTime) - min(accessTime))/1000) visitKeepTime from users where access_day='20170601' group by requestIp;  bug
select * from pageTime;
2、根據第一步的資料，統計分析網站的使用者平均停留時間
select avg(visitKeepTime) from pageTime;
客戶裝置相關資訊統計
1、瀏覽器比例分析,訪問量。統計每個瀏覽器對應的版本有多少人訪問
select browser, browserVersion, count(distinct requestIp) staCount from users e where siteType='0' and access_day='20160601' group by browser,browserVersion order by browser,browserVersion;
2、作業系統統計，訪問量。統計每個操作有多少人使用
select operateSystem,count(distinct userflag) from users where siteType='0' and  access_day='20160601' group by operateSystem order by operateSystem
3、螢幕顏色統計，訪問量。有多少人使用
Select screenColor,count(distinct userflag) from users where siteType='0' and  access_day='20160601' group by screenColor order by screenColor
4、螢幕尺寸，訪問量。有多少人使用
Select screenSize,count(distinct userflag) from users where siteType='0' and  access_day='20160601' group by screenSize order by screenSize
來源統計
1、來源關鍵字統計。統計每個關鍵字使用的次數
select originWord, count(1) staCount from users where siteType='0' and  access_day='20160601' and originWord!='-' group by originWord order by staCount desc;
2、熱門入口網站地址。
select userOrigin, count(1) staCount from users where siteType='0' and  access_day='20160601' group by userOrigin order by staCount desc;
3、熱門標題統計
select pageTitle, count(1) staCount from users where siteType='0' and  access_day='20160601' group by pageTitle order by staCount desc;
使用者地區訪問量分佈
1、主要統計每個省份的訪問量
Select userprovince, count(1) from users where siteType='0' and access_day='20160601' group by userProvince;
2、統計每個省份訪客數
select userprovince, count(distinct requestIp) from users where siteType='0' and access_day='20160601' group by userProvince;




使用者訪問相關資訊 留存率 
1、當日回訪人數佔比
即一天內多次訪問網站（產生了多個會話session）的獨立訪客數。
select count(distinct requestIp) from (select requestIp, count(requestIp) visitNum from users where siteType='0' and access_day='20160601' group by requestIp) a where a.visitNum > 1;
2、訪客平均訪問頻度
平均每個獨立訪客一天內訪問網站的次數(產生的session個數)，訪客平均訪問頻度=訪問次數/獨立訪客。
select requestIp, count(1)/count(distinct requestIp)  from users where siteType='0' and access_day='20160601' group by requestIp;
3、獨立使用者平均訪問時長
平均每次訪問(會話)在網站上的停留時間。平均訪問時長=訪問時長/訪問次數。體現網站對訪客的吸引程度。
select sum(visitKeepTime)/count(distinct requestIp) from (select requestIp, ceil((max(accessTime) - min(accessTime))/1000) visitKeepTime from users where access_day='20170601' group by requestIp) a ;  session 
4、平均訪問深度   
平均每次訪問(會話)產生的PV。平均訪問深度=瀏覽次數/訪問次數。體現網站對訪客的吸引程度。
select a.pv/b.visitNum from (select count(1) pv from users where access_day='20160601') a ,(select count(distinct requestIp) visitNum from users  where access_day='20160601') b;
5、人均瀏覽頁面
select a.pv/b.userNum from (select count(1) pv from users where access_day='20160601') a ,(select count(distinct requestIp) userNum from users  where access_day='20160601') b;
6、新增獨立訪客
select count(distinct requestIp) from (select requestIp, min(cast(accessDate as int)) edate from users group by requestIp) a where a.edate = 20160601 And Flag=1;


select count(distinct requestIp) from users where sFlag=1; 


7.來路域名
  select referUrl,count(*) from users group by referUrl;