1、生產場景

OA非結構化日誌通過kafka傳來，已有一程式實現將其結構化並存放至Hdfs上，並且在Hive中之於這個檔案做了外表關聯。需要通過對kylin 的二次開發，實現其每天的日誌分析需求。

2、問題剖析

OA日誌結構化通過kylin來分析，和之前的OA資料匯入還是有區別的，首先每天只需要刷一天的資料，不需要擔心或者處理之前的資料，其次Refresh功能也只是針對當日的資料，過了今日就不會對之前的資料進行refresh了。理清了這兩點，發現問題並沒有之前的那麼棘手了，之前還有segment忙時等待設計，現在我只要讓kylin定時的刷那個segment，就不需要刻意的記錄什麼了。

3、方案設計

①方案設計一

根據系統時間定時，segment按天來，且均為當日的零點到次日零點，比如要刷今天了，segment的時間區間為：2016-10-07 08:00:00~2016-10-08 08:00:00,每隔一個小時刷一次，每次刷，先去向kylin請求，看日誌對應的cube中是否存在今天的segment，沒有就去hive中查，看當天的資料是否來了，來了則去刷，並且是add操作，資料沒來則不去刷，非第一次刷，且有資料則進行refresh操作，當初這樣設計的，是想著業務上可能到23:00:00後就沒資料了（後來證明，小夥子想的挺美的哈），因為oa日誌資料是人觸發的，通過點選生成，23:00:00不就早下班了嘛，後來老大提醒了我，萬一加到23:59:59分了，對哦，確實忽視了，所以方案一撲街

②方案設計二

方案設計二，不基於系統時間，而是基於oa日誌的最大時間，有兩份配置檔案，其中一份配置檔案存放兩列，第一列為cube名稱，第二列為最近一批更新的oa日誌的最大時間，還有一份配置檔案有三列，第一列為cube名，第二列為對應的主表名，第三列為主表對應的時間欄位。

具體設計思路如下，存放最大時間的配置檔案每次會更新，每處理完一批日誌，把處理的這批日誌中的最大時間覆蓋更新至該配置檔案。與Hive互動的有兩條SQL，第一條用來查詢hive中存放的資料中大於配置檔案中最大時間的資料，並以（yyyy-MM-dd）格式存放至Set集合中，第二條用來存放，當前hive中的最大時間，並以（yyyy-MM-dd hh:mm:ss）格式寫入配置檔案中。

查詢需要重新整理資料的SQL語句：

<span style="font-family:Microsoft YaHei;font-size:14px;">String queryPeriodTime="select distinct(substr("+timeColumn+",0,10)) from "+ tableName+ " where substr("+timeColumn+",0,19) > "+'\"'+lastMaxTime+'\"';</span>

<span style="font-family:Microsoft YaHei;font-size:14px;">	String queryMaxTime = "select MAX(substr("+timeColumn+",0,19)) from "+ tableName;</span>

總體業務邏輯：

<span style="font-family:Microsoft YaHei;font-size:14px;">/**
 * 擬定每30分鐘執行一次
 */
public void run(){
			OaLog oa = new OaLog();
			JavaHive jh = new JavaHive();
			cubeSet=rw.readConfigFile(PropertyUtil.prop.getProperty("configFile"));
			rw.readTimeFile(PropertyUtil.prop.getProperty("timeFile"));
			StringBuffer  newMaxTimeBuf = new StringBuffer();
				for(String cubeName:cubeSet){
					System.out.println(cubeName);
					jh.queryDataTime(cubeName,rw.cubeMax.get(cubeName), rw.cubeTime.get(cubeName),rw.cubeTable.get(cubeName),PropertyUtil.prop.getProperty("hiveIp"));
					newMaxTimeBuf=jh.queryMaxTime(cubeName,rw.cubeTime.get(cubeName),rw.cubeTable.get(cubeName),PropertyUtil.prop.getProperty("hiveIp"));
					Map<String,LogTime> logTimeMap=jh.initMap.get(cubeName);
					  if (logTimeMap!=null) {
					      Set<String> logTimeSet=logTimeMap.keySet();
					      for (String logTime1:logTimeSet) {
								if(je.isSegmentExist(oa.refreshCube(logTime1,time.getNextDate(logTime1),cubeName,PropertyUtil.prop.getProperty("kylinIp")).toString())){
									oa.addSegment(logTime1,time.getNextDate(logTime1),cubeName,PropertyUtil.prop.getProperty("kylinIp"));
							}	  
					      }
					  }
					}	
				if(newMaxTimeBuf.toString()!="\t\r\n"){
				  rw.writeToFile(PropertyUtil.prop.getProperty("timeFile"),newMaxTimeBuf.toString());
				}
		}</span>

4、優化設計

較之前資料匯入那塊，將資料匯入以及守護程序的檢測j錯誤狀態的job分為兩個project，執行時比較繁瑣，對於OA日誌結構化，採取的是通過任務排程，開闢兩個執行緒，守護程序擬定8分鐘執行一次，整合到了對接kylin的程式中。