Hive 操作資料庫語句總結

轉載地址：http://blog.csdn.net/xiaoshunzi111/article/details/48727831

1、建立一個表，欄位之間用 \t 分隔；

Hive>create table student (id int, name string) row format delimited fields terminated by '\t' ;

2、將本地一個數據提交到hive裡去

hive>load data local inpath '/home/student.txt' into table student ;

2.1 增加分割槽表資料

alter table ZHIYOUBAO.CHECK_RECORD add partition (years='xxxx',months='xx',days='xx') location '/ZYB/CHECK_RECORD/yy=xxxx/mm=xx/dd=xx/';

3、查詢表裡的資料：

hive>select * from student ;

4、只查詢前兩條：

hive>select * from student limit 2 ;

5、統計一個表的行數：

hive>select count(*) from student ;

6、求一個表id欄位的id 之和：

hive>select sum(id) from student ;

7、建立外部表：

hive>create external table ext_student (id int, name string) row format delimited fields terminated by ' \t ' location ' /data ' ; //這樣就不必將檔案放到hive裡去就可以對其進行操作了，只需要將檔案放到hdfs上的/data目錄下面。

8、內部表先有表後有資料；外部表先有資料後有表。

9、建立分割槽表：
        hive>create external table beauties (id bigint, name string, size double) partitioned by (nation string) row format delimited fields terminated by '\t' location '\beauty' ;
        hive>load data local inpath '/home/b.c' into table beauties partition(nation='China') ;
        hive>alter table beauties add partition (nation='Japan') ;
        hive>select * from beauties ;

hive>select * from beauties where nation='China' ; //查詢某一分割槽的資料內容；

10、多表關聯：

hive>select t . account , u . name , t . income , t . expenses , t . surplus from user_info u join (select account , sum(income) as income , sum(expenses) as expenses , sum(income-expenses) as surplus from

trade_detail group by account) t on u . account = t . account ;

11、儲存過程沒有返回值，函式有返回值

12、在linux環境下一次訪問hive：

[[email protected] ~]$ hive -e "selcte * from mytable limit 3" ;

13、[[email protected] ~]$ hive -f 1.hql

14、打印表的欄位資訊：

hive>describe yourtable ;

15、建立資料庫：
hive>create database financials ;

hive>create database if not exists financials ;

16、過濾資料庫：

hive>show databases like " f . * " ;

17、新增描述資訊：
hive> create database test092302 with dbproperties ('creator'='Mark', 'date'='2015-09-23');

hive> describe database extended test092302;

18、刪除資料庫：
hive> drop database if exists human_resources; 或者

hive> drop database human_resources;

19、刪除存在表的資料庫：

hive> drop database test0923 cascade; //在後面加上cascade關鍵字

20、建立資料庫時新增描述資訊：

hive> create database test092302 comment 'Holds all test tables'; //使用comment，建立表時也可以用

21、去重查詢：group by的使用

hive>select * from mytable group by uid ;

22、獨立UID總數：

hive>select count(distinct(uid)) from mytable ; （高效）或者 hive>select count(*) from(select * from mytable group by uid) a ;

23、查詢頻度排名（頻度最高的前50）：

hive> select keyword,count(*) as cnt from sogou_1w group by keyword order by cnt desc limit 50;

24、將查詢的結果放入另一個表中：
hive> create table uid_cnt (uid string, cnt int) row format delimited fields terminated by '\t'; //先建立臨時表 uid_cnt

hive> insert overwrite table sogou.uid_cnt select uid,count(*) from sogou_1w group by uid; //再將查詢的資料結果放入臨時表中

25 修改列名：
hive> alter table test
    > column ·stuname· name string;“ · ”右上角的~鍵

describe test;

26 增加列：
hive> alter table test add columns(
    > height int);

hive>describe test;

27替換列：
hive> alter table test replace columns(
    > id int,
    > name string,
    > age int);

28 為表新增屬性：
hive> alter table test set tblproperties (
    > 'note'='hello welcome');

show create table test;
========================================
29 建立帶有分割槽的內部表：
hive> create table testpar(
    > id int,
    > name string,age int) PARTITIONED BY (day string)
    > ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
    > location '/testpar';

30 為帶有分割槽的內部表載入資料：
hive> load data local inpath '/home/test' into table testpar
    > partition (day='0925');

31 新增防止刪除的保護：
hive> alter table testpar
    > partition (day='0925') enable no_drop;

32測試：刪除分割槽
hive> alter table testpar drop if exists partition (day='0925');

33 刪除新增的"刪除"保護：
hive> alter table testpar
> partition (day='0925') disable no_drop;

34 新增防止查詢的保護：
hive> alter table testpar
> partition (day='0925') enable offline;

35 刪除防止查詢的保護:
hive> alter table testpar
> partition (day='0925') disable offline;

select * from testpar;
================================================

36 按條件向分割槽表插入資料
hive>from test_1 ts
insert into table testpart partition (day='0920') select * where ts.age>20
insert into table testpart partition (day='0919') select * where ts.name='xiaofang';

註釋:

上面SQL語句分三部分
第一部分
from test_1 ts 從rest_1表中查詢併為其新增ts別名
第二部分
insert into table testpart partition (day='0920') select * where ts.age>20
將test_1表中年齡大於20的資料新增到分割槽表testpart中新建的0920分割槽中.
第三部分
insert into table testpart partition (day='0919') select * where ts.name='xiaofang'
將test_1表中名字為xiaofang的資料新增到分割槽表testpart中新建的0919分割槽中

查詢結果:
hive> select * from testpart;

37 向管理表中載入資料：
hive> load data local inpath '/home/test' overwrite into table testpar partition (day='0925');

38 通過查詢語句向表中插入資料：
hive> insert into table testpar
    > partition (day='0926')
    > select * from test;

hive> select * from testpar;

hive> insert into table testpar
    > partition (day='0922')
    > select * from test
    > where age >20;

hive> from test
    > insert into table testpar
    > partition (day='0921')
    > select * where age>22;

hive> from test ts
    > insert into table testpar
    > partition (day='0920')
    > select * where ts.age>20
    > insert into table testpar
    > partition (day='0919')
    > select * where ts.name='張三';

==================動態分割槽插入===================
39 在test表中新增一列day
hive> alter table test add columns(day string);

[[email protected] ~]$ vi test
[[email protected] ~]$ cat test
1   張三   20   0921
2   李四   22   0922
3   Jarrey   25   0923
40 載入資料：
hive> load data local inpath '/home/test' overwrite into table test;
動態分割槽（下面兩種方式實現的效果是一樣的）：
hive> set hive.exec.dynamic.partition=true;
hive> set hive.exec.dynamic.partition.mode=nonstrict;
hive> set hive.exec.max.dynamic.partitions.pernode=1000;

hive> insert into table testpar
    > partition(day)
    > select * from test;

hive> insert into table testpar
    > partition(day)
    > select id,name,age,day from test;

41單個查詢語句中建立表並載入資料:(注意關鍵字as)
hive> create table newtest
    > as select id,name,age from test
    > where name='李四';

hive> select * from newtest;

====================匯出資料======================
42Hadoopfs –cp source_path target_path
cp
scp -r /jdk slave://home/

註釋:

scp =safety copy 即是安全模式下複製 r=recuresive 遞迴方式複製即是從主目錄到各個子目錄依次複製

Sqoop工具（T15）

========hdfs資料載入等操作=======

43 從hdfs叢集中載入資料
hive>load data inpath 'hdfs目錄檔案' into table student;

44 按id降序排序
hive>select * from student order by id desc;

45 從hdfs叢集中載入資料併為表設定指定分割槽
hive>load data input '本地檔案路徑' into table 表名 partition (分割槽欄位=' ');

46 從本地記憶體中載入資料
hive>load data local inpath '本地目錄檔案' into table student;

47 按id降序排序
hive>select * from student order by id desc;

48 表聯合查詢
hive>select t.account u.name,t.income,t.expenses,t.surplus from user_info
u join (select account, sum(income) as income,sum(expenses) as expenses,sm(income_expenses)
as surplus from trade_detail group by account) on u.account=t.account;

==================數學函式:===================
Hive語句運算:
49 int型別rank加運算

hive>select rank+1 from ext_sogou_20111230 limit 100;

50對int欄位平方
hive> select pow(rank,2) from ext_sogou_20111230;

51 取模:(如:2對三取模)
hive>select pmod(2,3) from ext_sogou_20111230 limit 10;

==============聚合函式========================
52 統計表中所有行數
hive>select count(*) from ext_sogou_20111230 limit 10;
*表示表中所有欄位也可以設定某些或某個欄位如

hive>select count(uid,ts) from ext_sogou_20111230 limit 10;

53.

hive>select sum(uid) from ext_sogou_20111230;

54 最大值&最小值
hive>select max(rank), min(rank) from ext_sogou_20111230;

55 .獨立uid(去重行數)
hive>select count(distinct uid) from ext_sogou_20111230;

56強轉:
hive> select cast(rank as DOUBLE) from ext_sogou_20111230 limit 10;

57 拼接:
hive>select concat(uid,url) from ext_sogou_20111230 limit 10;

=================JSON========================
58 抽取JSON物件的某一屬性值
hive>select get_json_object('{"name":"xiaoming","age":"15"}','$.age') from ext_sogou_20111230 limit 5;
結果:
15

59

hive>select get_json_object(channel,'$.age') from ext_sogou_20111230 limit 3;

=============================================
60 查詢url字串中的5位置之後字串baidu第一次出現的位置
hive> select locate("baidu",url,5) from ext_sogou_20111230 limit 100;

61 .抽取字串baidu中符合正則表示式url的第5個部分的子字串
hive> select regexp_extract("baidu",url,5) from ext_sogou_20111230 limit 100;

62 按照正則表示式"0"分割字串uid,並將分割後的部分以字串陣列的方式返回
hive> select split(uid,"0") from ext_sogou_20111230 limit 100;
結果之一:["","875edc8a14a228","1bac1ddc","1fa18a1"]

63 對字串url,從0處開擷取長度為3的字串,作為其子字串
hive> select substr(url,0,3) from ext_sogou_20111230 limit 3;

64 .將字串url中所有的字母轉換成大寫字母
hive> select upper(url) from ext_sogou_20111230 limit 3;

============別名巢狀SQL語句===============

65 複雜HQL 如別名、巢狀等
hive>select count(distinct e.uid) from (select * from ext_sogou_20111230 where
rank <=3 and order =1) e;
小括號中返回的也是一個表,它只是臨時的別名為e

66 where ..and 或者 where ....or where的兩種條件查詢
hive> select * from ext_sogou_20111230 where rank<=3 and order =1 limit 3;
hive> select * from ext_sogou_20111230 where rank !=0 or order =1 limit 3;

where
1 出現在表後
2 可以有and or 表示式的操作符
3 表示格式

67 浮點型別的比較一定要強轉

68 like 過濾字串

它是一個標準的SQL操作符
hive> select * from ext_sogou_20111230 where url like '%http%' limit 10;
'%http%'意為包含 http字串
'%http' 以http開頭的字串
'http%'一http結束字串

69 rlike 通過Java的正則表示式過濾 *與%功能一樣

它是hive中擴充套件功能的操作符
hive> select * from ext_sogou_20111230 where url rlike ' .*http.* ' limit 3;

=========group by============

70 Group by 語句通常會和聚合函式一起使用,按照一個或者多個對結果進行分組,然後對每個組執行聚合操作
hive>select year(ts), avg(rank) from ext_sogou_20111230 where ts like '%2011' group by year(ts);

71 對組過濾
hive> select rank ,count(*) from ext_sogou_20111230 group by rank ,order having rank >3 limit 10;

===============join==========
72 join 使用join時要選擇具有獨立的欄位作為條件欄位,否則會出現不必要的資料量
hive> select m.uid,m.keyword from ext_sogou_20111230 m join ext_sogou_20111230_limit3 n on m.uid =n.uid;

73 查搜尋過"仙劍奇俠傳" 的使用者所搜過的關鍵字
hive>select m.uid,m.keyword from (select distinct n.uid from
ext_sogou_20111230 where keyword like '%仙劍奇俠傳%' n ) m
where m.uid=n.uid;

74 查搜尋過"仙劍奇俠傳" 的使用者所搜過的不包含"仙劍奇俠傳"本身的關鍵字
hive>select m.uid,m.keyword from sogou_20111230 m join (select distinct uid from sogou_20111230 where keyword like '%仙劍奇俠傳%') n on m.uid=n.uid where m.keyword not like '%仙劍奇俠傳%';

75 left semi-join 左半表 semi 半掛的半獨立的
hive>select * from be where rank in(1,2,5);
hive>select * from ext_sogou_20111230 m left semi join ext_sogou_20111230_limit3 n on m.rank=n.rank;

76笛卡爾積
如5w 1w join 結果:5w*1w 一般不常用

77 map-side JOIN當兩張表很小時使用(系統預設25MB)
功能:其中一張表為小表即是將小表資料JOIN到大表中
hive>select /*+MAPJOIN(n)*/ m.uid,m.keyword,n.keyword

from ext_sogou_20111230 m join ext_sogou_20111230_limint3 n on m.uid=n.uid;

=====================排序=========================
78 全域性排序(order by ) 和區域性排序 (sort by)
hive>select * from ext_sogou_20111230 order by rank desc limit 100;

79 對sogou500w中降序排列uid次數
hive>select uid, count(*) as nct from ext_sogou_20111230   group by uid order by nct desc ;

80 cast()型別轉換函式
hive>select cast(ts as bigint) from
ext_sogou_20111230_limit3;

81 UNION ALL可以將2個或多個表進行合併。
hive> select count(distinct e.uid)from(
select * from ext_sogou_20111230 where rank<11
union all
select * from ext_sogou_20111230_limit3 where rank < 11) e;

82
hive>select count(*) from ext_sogou_20111230_limit where keyword like '%www%';

83
hive> select e.url,e.keyword,count(*) from (
select * from ext_sogou_20111230 where keyword like '%www%'
)e group by e.url,e.keyword where instr(url,keyword) >0;

84搜尋過'%仙劍奇俠傳%'(模糊匹配),並且查詢次數大於3的UID
hive>select uid, count(uid) as nct from
ext_sogou_20111230 where keyword like '%仙劍奇俠傳%'
group by uid having nct>3 ;

================================
              檢視
================================
85檢視 hive只支援邏輯檢視作用降低查詢複雜度
建立檢視
hive>create view sogou_view as
select * from ext_sogou_20111230 where rank <=3;

86 索引
   Hive的索引需要單獨建立表實現
   建立索引
hive>CREATE INDEX employees_index ON TABLE employees (name) AS
'org.apache.hadoop.hive.ql.index.compact.CompactIndexHandler'
WITH DEFERRED REBUILD IDXPROPERTIES('creator' = 'me','
created_at '='some time') IN TABLE employees_index_table;

87 檢視
hive>create view sogou_filter as select uid,count(*) from
ext_sogou_20111230 where keyword like '%仙劍奇俠傳%'

複雜問題解題思路:
1)分步驟,使用臨時表
2)分步驟,多個檢視實現
create view
3)一個複雜的SQL

create table insert overwrite table...select * from ...

=======================================
Sogou 500w資料
88
搜尋長度大於256（不區分中英文），並且點選次數<3的UID
老師:
hive>select m.uid,count(*) as cnt from(select * from sogou_view where length(
keyword) >256) m group by m.uid having cnt<3;
自己:
select uid from sogou_view where rank<3 and length(
keyword) >256;
hive> create view sogou_view as select * from
ext_sogou_20111230;

89
上午7-9點之間，搜尋過“趕集網”的使用者，哪些使用者直接點選了趕集網的URL
老師:
hive> select distinct n.uid from (select * from sogou_view where keyword ='趕集網')
and substr(ts,9,2) in ('07','08','09')) n where n.url like '%ganjin.com%';
自己:
hive> select uid from sogou_view where (cast(substr(ts,9,2)
as int)>7 or cast(substr(ts,9,2) as int)<9) and url
like '%www.ganji.com%' or keyword like '%趕集網%' ;
或者
hive>select uid from sogou_view where substr(ts,9,2) in ('07','08','09') and url
like '%www.ganji.com%' and keyword like '%趕集網%' ;

90
rank<3的搜尋中，多少使用者的點選次數>2
老師:
hive>select a.uid from (select uid,count(*) as cnt from (select * from sogou_view where
rank<3) e group by e.uid having cnt>2) a;
自己:
hive>select uid,count(uid) as nct from sogou_view

where rank<3 group by uid having nct>2;

=======================
hive設計模式
=======================
20151008
AM

1.表的劃分方式:按天劃分如table_2011_01_01
2.分割槽:hive中的分割槽功能很有用,
3 最原始的資料儘量少使用分割槽,
經過加工後的資料可以用分割槽.
4 表與分割槽的欄位不能重複
5 分割槽有級別根據實際的業務自定義分割槽
create table supply () partitioned by();

91 同一份資料多種處理
hive>insert overwrite table sogou_20111230_rank
select * from sogou_20111230 where rank=3;

92
hive>insert overwrite table sogou_20111230_order
select * from sogou_20111230 where order=3;

上面兩句(91 92)合併成一句(93)如下

hive>from sogou_20111230
insert overwrite table sogou_20111230_rank
select * where rank =3
insert overwrite table sogou_20111230_order
select * where order=3;

94 為表增加列 (只能末尾追加)

ALTER TABLE sogou_20111230 ADD COLUMNS (user_id string) ;

列的儲存有兩種格式ORC和RCFile

========================================
Hive內建函式和UDF(使用者自定義函式)
========================================
95 檢視內建函式
hive> show functions;

96 檢視某一函式具體描述
hive>describe function 函式名;

一般聚合函式與group by 組合使用
分3種:
1 UDF(標準函式):普通函式
2 UDAF(使用者自定義聚合函式):多行多列變一行
3 UDTF(使用者自定義表生成函式):多行多列變多行

===========UDF操作過程==============
91 在eclipse中建立java類如UDFZodiacSign

92 新增UDFZodiacSign的jar包
hive>add jar /home/udf.jar

93 建立外部表如little_bigdata
hive>create external table if not exists
little_bigdata(name string,email string,bday
string,ip string, gender string, anum int)
row format delimited fields terminated by ',';

94 建立zodiac作為UDFZodiacSign類的臨時函式 as'包名.類名'
hive>create temporary function zodiac as 'day1008.UDFZodiacSign';

95 檢視zodiac是否OK
hive> describe function zodiac;

96 將little_bigdata表中name欄位中資料傳入臨時函式zodiac中
hive> select zodiac(name) from little_bigdata;

============================================

97 統計沒有農產品市場的省份有哪些

馬:
hive> select e.name from (
select distinct prov from product
) a right outer join province e on a.prov = e.name
where a.prov is null

98統計排名前 3 的省份共同擁有的農產品型別

1計算前三省份的名稱
2計算前三省份的所有去重產品名稱
3計算共同擁有的產品
資料按A B C D E 步驟計算
hive>select c.name,count(*) as ct from
E 列出前三省相同的熟菜,並計數
(select a.prov,a.name from
D 從A資料中比較與B中前三個相同列的省份及其熟菜
(select prov,name from product group by prov,name
A 分組列出所有省,及其所在省的熟菜(分組就是去重)
) a
left semi join
(select p.prov,count(*) as cnt from
C 對不同省份計數省1 number1 省2 number2
並按降序排列列出前三個省
(select prov,name from product group by prov,name
B 分組列出所有省,及其所在省的熟菜(分組就是去重)
) p
group by p.prov order by cnt desc limit 3
) b
on a.prov = b.prov

) c group by c.name having ct > 2

-------------------------------------------------------------------------------------
hive> select (2015-age)as ag ,sex from car_1 where age !=null or sex !="";

hive> select m.ag,count(*) as nct from
(select (2015-age) as ag ,sex from car_1 where age !=null or sex !="")
m group by m.ag;
--------------------------------------------------------------------------------------

=============================
自定義Hive檔案和記錄格式
=============================

hive三種檔案格式:textfile sequencefile rcfile
前兩種一行儲存 rcfile以列儲存
他們影響整個檔案格式

sequencefile 與 textfile 檔案格式在讀取效率上
testfile更高些

預設分隔符格式/001 即是Ctr+A
stored as textfile 表文件的儲存格式

99 建立sequencefile格式的表
hive>create external table sogou_20111230_seq(ts string,
uid string,keyword string,rank int,order int
,url string) row format delimited fields
terminated by '\t' stored as sequencefile;

100 向該表中插入資料
hive>insert table sogou_20111230_seq select
ts,uid,keyword,rank,order,url from
sogou_20111230 limit 50000;

101 建立rcfile格式的表:基於列式儲存
hive>create table sogou_20111230_rc(ts string,
uid string, keyword string,rank int, order
int, url string) row format delimited fields
terminated by '\t' stored as rcfile;

102 向該表中插入資料
hive>insert overwrite table sogou_20111230_rc
select ts, uid,keyword,rank,order,url
from ext_sogou_20111230 limit 50000;

103 記錄格式 SerDe是序列化/反序列化的簡寫

104 CSV和TSV SerDe(csv內部實現各式逗號分割\n換行)

hive 記錄格式:影響檔案內部資料儲存格式
105 XPath相關的函式
hive>SELECT xpath ('
      <a><b id="foo">bl</b>
      <b id="bar">b2</b></a>','//@id' )
      FROM car_1 LIMIT 1;

106 計算北京市的每種農產品的價格波動趨勢，即計算每天價格均值，並按照時間先後順序排列該值。
某種農產品的價格均值計算公式：
PAVG = (PM1+PM2+...+PMn-max(P)-min(P))/(N-2)
其中， P 表示價格， Mn 表示 market，即農產品市場。 PM1 表示 M1 農產品市場的該產品價
格， max(P)表示價格最大值， min(P)價格最小值。

思路:

第一步:篩選出1-5天內時間熟菜名稱兩個欄位
第二步:用if三目運算,判斷各種熟菜波動次數是否大於2次,
第三步:求平均值

hive>select m.date,m.name,if(count(*)>2,
round((sum(m.price)-max(m.price)-min(m.price))/(count(*)-2),2),
round(sum(m.price)/count(*),2))
from (
select * from product_20140101 where province='北京'
union all
select * from product_20140102 where province='北京'
union all
select * from product_20140103 where province='北京'
union all
select * from product_20140104 where province='北京'
union all
select * from product_20140105 where province='北京'
) m
group by m.date,m.name;

107 使用簡單時間序列演算法，設定 N=3，預測 1.4、 1.5 日的平均價格
hive>create table price_hg_pre0104(ptime TIMESTAMP,name STRING,price FLOAT);

hive>insert overwrite table price_hg_pre0104
select * from price_hg where day(cast(ptime as string)) < 4
union all
select cast('2014-01-04 00:00:00' as timestamp) as ptime,'黃瓜' as name,sum(price)/3 as price from price_hg where day(cast(ptime as string)) < 4

108 並計算與實際資料的平方誤差和
hive>create table price_hg_pre0105(ptime TIMESTAMP,name STRING,price FLOAT);

hive>insert overwrite table price_hg_pre0105
select cast('2014-01-05 00:00:00' as timestamp) as ptime,'黃瓜'
as name,sum(price)/3 as price from price_hg_pre where day(cast(ptime as string)) < 5
and day(cast(ptime as string)) > 1

109 表新增一列：
hive> ALTER TABLE pokes ADD COLUMNS (new_col INT);

110 新增一列並增加列欄位註釋

hive> ALTER TABLE invites ADD COLUMNS (new_col2 INT COMMENT 'a comment');

111 更改表名：
hive> ALTER TABLE events RENAME TO 3koobecaf;
112 刪除列：hive> DROP TABLE pokes;

113增加、刪除分割槽

•增加

ALTER TABLE table_name ADD [IF NOT EXISTS] partition_spec [ LOCATION 'location1' ] partition_spec [ LOCATION 'location2' ] ...
partition_spec:
: PARTITION (partition_col = partition_col_value, partition_col = partiton_col_value, ...)

•刪除

ALTER TABLE table_name DROP partition_spec, partition_spec,...

REPLACE則是表示替換表中所有欄位。

114 重命名錶•

ALTER TABLE table_name RENAME TO new_table_name

115 修改列的名字、型別、位置、註釋：

ALTER TABLE table_name CHANGE [COLUMN] col_old_name col_new_name column_type [COMMENT col_comment] [FIRST|AFTER column_name]

•這個命令可以允許改變列名、資料型別、註釋、列位置或者它們的任意組合

116 表新增一列：

hive> ALTER TABLE pokes ADD COLUMNS (new_col INT);

117 新增一列並增加列欄位註釋

hive> ALTER TABLE invites ADD COLUMNS (new_col2 INT COMMENT 'a comment');

118增加/更新列

ALTER TABLE table_name ADD|REPLACE COLUMNS (col_name data_type [COMMENT col_comment], ...)

複製程式碼

• ADD是代表新增一欄位，欄位位置在所有列後面(partition列前)

119 create external table logs (ip string ,name1 string,name2 string,name3 string ,name4 string ,name5 string, name6 string, name7 string, name8 string,name9 string,name10 string,name11 string) row format delimited fields terminated by ' ';

select name1 from (select as c from logs where ip ='58.214.255.146';

資料格式：

183.166.128.178 - - [09/Apr/2016:07:58:33 +0800] "POST /boss/service/newCode.htm HTTP/1.1" 200 227 "-" "-"
120正序：
select ip ,sum(name9) as c from logs where name3 like '[09/Apr/2016:07:55%' group by ip order by c desc;

121 逆序：
select name6,count(1) as b from logs where name3 like '[09/Apr/2016:07:5%' group by name6 order by b asc;
122逆序：
select name6,count(1) as b from logs where name3 like '[09/Apr/2016:07:5%' group by name6 sort by b asc;

123取前一千行放到一個新表裡

hive> insert into table hivecontain_small
> select * from hivecontain limit 1000;

124 更新表字段

hive>insertoverwritetable province_city_scenic_per_nums select spot_name, spot_city, substring(round(per,4),0,6) ,nums from province_city_scenic_per_nums ;

125 擷取表字段部分值並插入新表

hive> insert table province_city_scenic_per_nums select spot_name, spot_city,substring(round(per,4),0,6),nums from province_city_scenic_per_nums ;

select link_name, sex, city ,tel, certificate_no ,sum(close_total_price) as total_price ,sum(popnum) as popnum,count(tourname) as tournum from order_raw_info
group by link_name,sex,city ,tel,certificate_no;

select * from bucketed_user TABLESAMPLE(BUCKET 1 OUT OF 4 ON rand())

create external table if not exists bucketed_user2(id int,name string) clustered by (id) sorted by(name) into 4
buckets row format delimited fields terminated by ',' stored as textfile location '/kafka/' ;

select spot_name, spot_city, substring(round(per,4),0,6) ,nums from province_city_scenic_per_nums ;

insert overwrite table province_city_scenic_per_nums select spot_name, spot_city, substring(round(per,4),0,6) ,nums from province_city_scenic_per_nums ;

131.改表字段

alter table scenic_tour_info change `spotname` spot_name string;

select split("13901888346","1390188")[1] from quyu_visit_info limit 10;

insert into table quyu_visit_info select u.visitor_id, u.tel, u.city from solo_mobile_quyu u limit 100;

select * from(
select p.date, p.tour_type,count(p.date) total
from (
select tour_type, substr(occ_date, 0,4) as date
from scenic_tour_info ) p
where p.date like '201%'
group by p.tour_type, p.date
order by p.date desc ) t
where t.date='2013' or t.date='2014' or t.date='2015' or t.date='2016';

select * from(
select p.date, p.spot_province, p.tour_type as scenic_type,count(p.date) total
from (
select spot_province, tour_type, substr(occ_date, 0,4) as date
from scenic_tour_info ) p
where p.date like '201%'
group by p.spot_province,p.tour_type, p.date
order by p.date desc ) t
where t.date='2013' or t.date='2014' or t.date='2015' or t.date='2016' ;

select distinct p.spot_name, p.spot_city, (p.nums/5358582) per ,p.nums
from province_city_scenic_nums p join province_tour_nums c
on p.spot_province='浙江省'
order by per desc

137.表重新命名

ALTER TABLE tour_info_detail RENAME TO new_name; scenic_info_detail ;

alter table scenic_info_detail change `proname` spotprovince string;

下面引用：http://blog.csdn.NET/wisgood/article/details/17376393；感謝作者：wisgood

常用函式：

一、關係運算：

1. 等值比較: =

語法：A=B

操作型別：所有基本型別

描述:如果表示式A與表示式B相等，則為TRUE；否則為FALSE

舉例：

Hive>select 1 from lxw_dual where 1=1;

2. 不等值比較: <>

語法: A <> B

操作型別:所有基本型別

描述:如果表示式A為NULL，或者表示式B為NULL，返回NULL；如果表示式A與表示式B不相等，則為TRUE；否則為FALSE

舉例：

hive> select1 from lxw_dual where 1 <> 2;

3.小於比較: <

語法: A < B

操作型別:所有基本型別

描述:如果表示式A為NULL，或者表示式B為NULL，返回NULL；如果表示式A小於表示式B，則為TRUE；否則為FALSE

舉例：

hive> select1 from lxw_dual where 1 < 2;

4. 小於等於比較: <=

語法: A <= B

操作型別:所有基本型別

描述:如果表示式A為NULL，或者表示式B為NULL，返回NULL；如果表示式A小於或者等於表示式B，則為TRUE；否則為FALSE

舉例：

hive> select1 from lxw_dual where 1 <= 1;

5. 大於比較: >

語法: A > B

操作型別:所有基本型別

描述:如果表示式A為NULL，或者表示式B為NULL，返回NULL；如果表示式A大於表示式B，則為TRUE；否則為FALSE

舉例：

hive> select1 from lxw_dual where 2 > 1;

6. 大於等於比較: >=

語法: A >= B

操作型別:所有基本型別

描述:如果表示式A為NULL，或者表示式B為NULL，返回NULL；如果表示式A大於或者等於表示式B，則為TRUE；否則為FALSE

舉例：

hive> select1 from lxw_dual where 1 >= 1;

注意：String的比較要注意(常用的時間比較可以先to_date之後再比較)

hive> select* from lxw_dual;

201111120900:00:00 2011111209

hive> selecta,b,a<b,a>b,a=b from lxw_dual;

201111120900:00:00 2011111209 false true false

7. 空值判斷: IS NULL

語法: A IS NULL

操作型別:所有型別

描述:如果表示式A的值為NULL，則為TRUE；否則為FALSE

舉例：

hive> select1 from lxw_dual where null is null;

8. 非空判斷: IS NOTNULL

語法: A IS NOT NULL

操作型別:所有型別

描述:如果表示式A的值為NULL，則為FALSE；否則為TRUE

舉例：

hive> select1 from lxw_dual where 1 is not null;

9. LIKE比較: LIKE

語法: A LIKE B

操作型別: strings

描述:如果字串A或者字串B為NULL，則返回NULL；如果字串A符合表示式B 的正則語法，則為TRUE；否則為FALSE。B中字元”_”表示任意單個字元，而字元”%”表示任意數量的字元。

舉例：

hive> select1 from lxw_dual where 'football' like 'foot%';

hive> select1 from lxw_dual where 'football' like 'foot____';

注意：否定比較時候用NOT ALIKE B

hive> select1 from lxw_dual where NOT 'football' like 'fff%';

10. JAVA的LIKE操作: RLIKE

語法: A RLIKE B

操作型別: strings

描述:如果字串A或者字串B為NULL，則返回NULL；如果字串A符合Java正則表示式B的正則語法，則為TRUE；否則為FALSE。

舉例：

hive> select1 from lxw_dual where 'footbar’ rlike '^f.*r$’;

注意：判斷一個字串是否全為數字：

hive>select 1from lxw_dual where '123456' rlike '^\\d+$';

hive> select1 from lxw_dual where '123456aa' rlike '^\\d+$';

11. REGEXP操作: REGEXP

語法: A REGEXP B

操作型別: strings

描述:功能與RLIKE相同

舉例：

hive> select1 from lxw_dual where 'footbar' REGEXP '^f.*r$';

二、數學運算：

1. 加法操作: +

語法: A + B

操作型別：所有數值型別

說明：返回A與B相加的結果。結果的數值型別等於A的型別和B的型別的最小父型別（詳見資料型別的繼承關係）。比如，int + int 一般結果為int型別，而int + double一般結果為double型別

舉例：

hive> select1 + 9 from lxw_dual;

hive> createtable lxw_dual as select 1 + 1.2 from lxw_dual;

hive> describelxw_dual;

_c0 double

2. 減法操作: -

語法: A– B

操作型別：所有數值型別

說明：返回A與B相減的結果。結果的數值型別等於A的型別和B的型別的最小父型別（詳見資料型別的繼承關係）。比如，int– int 一般結果為int型別，而int– double 一般結果為double型別

舉例：

hive> select10 – 5 from lxw_dual;

hive> createtable lxw_dual as select 5.6 – 4 from lxw_dual;

hive>describe lxw_dual;

_c0 double

3. 乘法操作: *

語法: A * B

操作型別：所有數值型別

說明：返回A與B相乘的結果。結果的數值型別等於A的型別和B的型別的最小父型別（詳見資料型別的繼承關係）。注意，如果A乘以B的結果超過預設結果型別的數值範圍，則需要通過cast將結果轉換成範圍更大的數值型別

舉例：

hive> select40 * 5 from lxw_dual;

200

4. 除法操作: /

語法: A / B

操作型別：所有數值型別

說明：返回A除以B的結果。結果的數值型別為double

舉例：

hive> select40 / 5 from lxw_dual;

8.0

注意：hive中最高精度的資料型別是double,只精確到小數點後16位，在做除法運算的時候要特別注意

hive>select ceil(28.0/6.999999999999999999999) from lxw_duallimit 1;

結果為4

hive>select ceil(28.0/6.99999999999999) from lxw_dual limit1;

結果為5

5. 取餘操作: %

語法: A % B

操作型別：所有數值型別

說明：返回A除以B的餘數。結果的數值型別等於A的型別和B的型別的最小父型別（詳見資料型別的繼承關係）。

舉例：

hive> select 41 % 5 from lxw_dual;

hive> select 8.4 % 4 from lxw_dual;

0.40000000000000036

注意：精度在hive中是個很大的問題，類似這樣的操作最好通過round指定精度

hive> select round(8.4 % 4 , 2) from lxw_dual;

0.4

6. 位與操作: &

語法: A & B

操作型別：所有數值型別

說明：返回A和B按位進行與操作的結果。結果的數值型別等於A的型別和B的型別的最小父型別（詳見資料型別的繼承關係）。

舉例：

hive> select 4 & 8 from lxw_dual;

hive> select 6 & 4 from lxw_dual;

7. 位或操作: |

語法: A | B

操作型別：所有數值型別

說明：返回A和B按位進行或操作的結果。結果的數值型別等於A的型別和B的型別的最小父型別（詳見資料型別的繼承關係）。

舉例：

hive> select 4 | 8 from lxw_dual;

hive> select 6 | 8 from lxw_dual;

8. 位異或操作: ^

語法: A ^ B

操作型別：所有數值型別

說明：返回A和B按位進行異或操作的結果。結果的數值型別等於A的型別和B的型別的最小父型別（詳見資料型別的繼承關係）。

舉例：

hive> select 4 ^ 8 from lxw_dual;

hive> select 6 ^ 4 from lxw_dual;

9．位取反操作: ~

語法: ~A

操作型別：所有數值型別

說明：返回A按位取反操作的結果。結果的數值型別等於A的型別。

舉例：

hive> select ~6 from lxw_dual;

-7

hive> select ~4 from lxw_dual;

-5

三、邏輯運算：

1. 邏輯與操作: AND

語法: A AND B

操作型別：boolean

說明：如果A和B均為TRUE，則為TRUE；否則為FALSE。如果A為NULL或B為NULL，則為NULL

舉例：

hive> select 1 from lxw_dual where 1=1 and 2=2;

2. 邏輯或操作: OR

語法: A OR B

操作型別：boolean

說明：如果A為TRUE，或者B為TRUE，或者A和B均為TRUE，則為TRUE；否則為FALSE

舉例：

hive> select 1 from lxw_dual where 1=2 or 2=2;

3. 邏輯非操作: NOT

語法: NOT A

操作型別：boolean

說明：如果A為FALSE，或者A為NULL，則為TRUE；否則為FALSE

舉例：

hive> select 1 from lxw_dual where not 1=2;

四、數值計算

1. 取整函式: round

語法: round(double a)

返回值: BIGINT

說明:返回double型別的整數值部分（遵循四捨五入）

舉例：

hive> select round(3.1415926) from lxw_dual;

hive> select round(3.5) from lxw_dual;

hive> create table lxw_dual as select round(9542.158) fromlxw_dual;

hive> describe lxw_dual;

_c0 bigint

2. 指定精度取整函式: round

語法: round(double a, int d)

返回值: DOUBLE

說明:返回指定精度d的double型別

舉例：

hive> select round(3.1415926,4) from lxw_dual;

3.1416

3. 向下取整函式: floor

語法: floor(double a)

返回值: BIGINT

說明:返回等於或者小於該double變數的最大的整數

舉例：

hive> select floor(3.1415926) from lxw_dual;

hive> select floor(25) from lxw_dual;

4. 向上取整函式: ceil

語法: ceil(double a)

返回值: BIGINT

說明:返回等於或者大於該double變數的最小的整數

舉例：

hive> select ceil(3.1415926) from lxw_dual;

hive> select ceil(46) from lxw_dual;

5. 向上取整函式: ceiling

語法: ceiling(double a)

返回值: BIGINT

說明:與ceil功能相同

舉例：

hive> select ceiling(3.1415926) from lxw_dual;

hive> select ceiling(46) from lxw_dual;

6. 取隨機數函式: rand

語法: rand(),rand(int seed)

返回值: double

說明:返回一個0到1範圍內的隨機數。如果指定種子seed，則會等到一個穩定的隨機數序列

舉例：

hive> select rand() from lxw_dual;

0.5577432776034763

hive> select rand() from lxw_dual;

0.6638336467363424

hive> select rand(100) from lxw_dual;

0.7220096548596434

hive> select rand(100) from lxw_dual;

0.7220096548596434

7. 自然指數函式: exp

語法: exp(double a)

返回值: double

說明:返回自然對數e的a次方

舉例：

hive> select exp(2) from lxw_dual;

7.38905609893065

自然對數函式: ln

語法: ln(double a)

返回值: double

說明:返回a的自然對數

舉例：

hive> select ln(7.38905609893065) from lxw_dual;

2.0

8. 以10為底對數函式: log10

語法: log10(double a)

返回值: double

說明:返回以10為底的a的對數

舉例：

hive> select log10(100) from lxw_dual;

2.0

9. 以2為底對數函式: log2

語法: log2(double a)

返回值: double

說明:返回以2為底的a的對數

舉例：

hive> select log2(8) from lxw_dual;

3.0

10. 對數函式: log

語法: log(double base, double a)

返回值: double

說明:返回以base為底的a的對數

舉例：

hive> select log(4,256) from lxw_dual;

4.0

11. 冪運算函式: pow

語法: pow(double a, double p)

返回值: double

說明:返回a的p次冪

舉例：

hive> select pow(2,4) from lxw_dual;

16.0

12. 冪運算函式: power

語法: power(double a, double p)

返回值: double

說明:返回a的p次冪,與pow功能相同

舉例：

hive> select power(2,4) from lxw_dual;

16.0

13. 開平方函式: sqrt

語法: sqrt(double a)

返回值: double

說明:返回a的平方根

舉例：

hive> select sqrt(16) from lxw_dual;

4.0

14. 二進位制函式: bin

語法: bin(BIGINT a)

返回值: string

說明:返回a的二進位制程式碼表示

舉例：

hive> select bin(7) from lxw_dual;

111

15. 十六進位制函式: hex

語法: hex(BIGINT a)

返回值: string

說明:如果變數是int型別，那麼返回a的十六進位制表示；如果變數是string型別，則返回該字串的十六進位制表示

舉例：

hive> select hex(17) from lxw_dual;

hive> select hex(‘abc’) from lxw_dual;

616263

16. 反轉十六進位制函式: unhex

語法: unhex(string a)

返回值: string

說明:返回該十六進位制字串所程式碼的字串

舉例：

hive> select unhex(‘616263’) from lxw_dual;

abc

hive> select unhex(‘11’) from lxw_dual;

hive> select unhex(616263) from lxw_dual;

abc

17. 進位制轉換函式: conv

語法: conv(BIGINT num, int from_base, int to_base)

返回值: string

說明:將數值num從from_base進位制轉化到to_base進位制

舉例：

hive> select conv(17,10,16) from lxw_dual;

Hive 操作資料庫語句總結

一、關係運算：

1. 等值比較: =

2. 不等值比較: <>

3.小於比較: <

4. 小於等於比較: <=

5. 大於比較: >

6. 大於等於比較: >=

7. 空值判斷: IS NULL

8. 非空判斷: IS NOTNULL

9. LIKE比較: LIKE

10. JAVA的LIKE操作: RLIKE

11. REGEXP操作: REGEXP

二、數學運算：

1. 加法操作: +

2. 減法操作: -

3. 乘法操作: *

4. 除法操作: /

5. 取餘操作: %

6. 位與操作: &

7. 位或操作: |

8. 位異或操作: ^

9．位取反操作: ~

三、邏輯運算：

1. 邏輯與操作: AND

2. 邏輯或操作: OR

3. 邏輯非操作: NOT

四、數值計算

1. 取整函式: round

2. 指定精度取整函式: round

3. 向下取整函式: floor

4. 向上取整函式: ceil

5. 向上取整函式: ceiling

6. 取隨機數函式: rand

7. 自然指數函式: exp

8. 以10為底對數函式: log10

9. 以2為底對數函式: log2

10. 對數函式: log

11. 冪運算函式: pow

12. 冪運算函式: power

13. 開平方函式: sqrt

14. 二進位制函式: bin

15. 十六進位制函式: hex

16. 反轉十六進位制函式: unhex

17. 進位制轉換函式: conv

相關推薦