背景：通過hive操作，瞭解hadoop的hdfs、mapreduce。 場景：hadoop雙機叢集、hive 版本：hadoop和hive的版本搭配最和諧的是什麼，目前沒有定論，每種版本的搭配都會有一些bug出現。           本例中版本：hadoop-1.0.3   hive-0.10.0-bin 實現：將本地的網路訪問日誌檔案匯入到hive中。 hive demo command list step1：登入hive建立表 [[email protected] conf]# hive
hive> create table dq_httplog                                                                                
         (ipdz string,
          ll string,
          sj string,
          khd string,
          fwq string,
          ym  string,
          urlmc string
          )
         row format delimited
         fields terminated by '\t' lines terminated by '\n'
         stored as textfile; step2：匯入本地txt檔案資料； hive> load data local inpath '/httplog.txt' into table dq_httplog;             可以用hive QL語句檢視資料和表結構            檢視資料的過程就是hive將hive QL語句轉換成mapreduce語句在hadoop中執行。                       查看錶結構： hive> describe dq_httplog;  hive中建立的表是以檔案的形式儲存在hdfs中的 在hadoop中查詢 [[email protected] ~]# hadoop dfs -lsr /user/hive/warehouse
在hive中查詢 hive> dfs -lsr /user/hive/warehouse
step3：建立分割槽表 create table dq_httplog_part (ll string,
 khd string,
fwq string,
ym  string,
urlmc string
)  partitioned by (ipdz string,sj string comment 'this is login time')   row format delimited
fields terminated by '\t' lines terminated by '\n'
stored as textfile; 注：分割槽欄位必須放在最後面； 匯入資料時可以指定分割槽，也可以動態分割槽匯入資料，動態分割槽先要設定動態分割槽的引數； hive> set hive.exec.dynamic.partition=true; hive> set hive.exec.dynamic.partition.mode=nonstrict; 設定完動態分割槽的引數後，可以動態匯入資料，匯入過程會按資料情況自動分割槽； hive> insert into table dq_httplog_part partition(ipdz,sj) select ll,khd,fwq,ym,urlmc,ipdz,sj from dq_httplog;
同樣可以檢視到表資料檔案和表結構等等； hive> dfs -lsr /user; hive>show partitions dq_httplog_part; step4：hive web介面 hive web介面可以利用瀏覽器訪問網路介面，完成資料庫及表結構的查詢，hive查詢，系統診斷等； [[email protected] bin]# hive --service hwi
登入http://master:9999/hwi  可以使用webui和hive互動 資料庫查詢：     表結構查詢：     系統診斷： step5：hive中的查詢和計算 建表和匯入資料完成後就可以在hive中進行復雜查詢和計算了，並可以將結果已多種形式儲存。 常見錯誤： 1、Hadoop叢集安全模式未關閉，檢視建立檔案時報錯： mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/hive/warehouse. Name node is in safe mode.
bin/hadoop dfsadmin -safemode leave   關閉安全模式就可以了；
hadoop的安全模式簡介：http://mazd1002.blog.163.com/blog/static/66574965201111304657632/ 2、啟動hive時： WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files.  但不影響使用。 解決方法：將hive/conf的template檔案copy一份，便於個性化配置；

1. cp hive-default.xml.template hive-default.xml   
2. cp hive-default.xml.template hive-site.xml  
3. cp hive-env.sh.template hive-env.sh  
4. cp hive-log4j.properties.template hive-log4j.properties

將hive-log4j.properties中將log4j.appender.EventCounter的值修改為 org.apache.hadoop.log.metrics.EventCounter， 這樣就不會報WARNING了。 # log4j.appender.EventCounter=org.apache.hadoop.metrics.jvm.EventCounter
   log4j.appender.EventCounter=org.apache.hadoop.log.metrics.EventCounter 3、copy完hive配置檔案後，重新啟動hadoop或者執行hive時：

1. hive-site.xml:180:3: The element type "description" must be terminated by the matching end-tag "</description>".  
2. Exception in thread "main" java.lang.RuntimeException: org.xml.sax.SAXParseException: The element type "description" must be terminated by the matching end-tag "</description>".  

     解決方法：根據提示的行數，修改hive_site.xml檔案。上面的報錯就是hive_site.xml的180行沒有</description>結尾。 4、啟動hive的web介面服務hwi時：hive-site.xml not found on CLASSPATH       解決方法：需要配置haddoop的hadoop_env.sh，                如下新增$HADOOP_CLASSPATH，hive/conf,hive/bin,hive/lib export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/hive-0.10.0-bin/conf/:                                                          /hive-0.10.0-bin/bin:/hive-0.10.0-bin/lib