一、行式儲存與列式儲存

行式資料庫 對比 列式資料庫

行式資料庫儲存在hdfs上式按行進行儲存的，一個block儲存一或多行資料。

而列式資料庫在hdfs上則是按照列進行儲存，一個block可能有一列或多列資料。

如果要將資料進行壓縮：

對於行式資料庫，必然按行壓縮，當一行中有多個欄位，各個欄位對應的資料型別可能不一致，壓縮效能壓縮比就比較差。

對於列式資料庫，必然按列壓縮，每一列對應的是相同資料型別的資料，故列式資料庫的壓縮效能要強於行式資料庫。

如果要進行資料的查詢：

假設執行的查詢操作是：select id,name from table_emp;

對於行式資料庫，它要遍歷一整張表將每一行中的id,name欄位拼接再展現出來，這樣需要查詢的資料量就比較大，效率低。

對於列式資料庫，它只需找到對應的id,name欄位的列展現出來即可，需要查詢的資料量小，效率高。

假設執行的查詢操作是：select *  from table_emp;

對於這種查詢整個表全部資訊的操作，由於列式資料庫需要將分散的行進行重新組合，行式資料庫效率就高於列式資料庫。

但是，在大資料領域，進行全表查詢的場景少之又少，進而我們使用較多的還是列式資料庫及列式儲存。

二、Hive中的儲存格式

樣例：

stored as file_format

create table table_name(

    .....)

    row format...."\t" 

    stored as file_format;

建立一張表時，可以使用“stored as file_format”來指定該表資料的儲存格式，hive中，表的預設儲存格式為TextFile。

第一種方式：

CREATE TABLE tt (
id int,
name string
) ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t";
 

Hive的預設儲存格式就是textfile,可以通過引數hive.default.fileformat進行更改。

第二種方式： 
CREATE TABLE tt2 (
id int,
name string
) ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"

STORED AS TEXTFILE;

第三種方式：

CREATE TABLE tt3 (
id int,
name string
) ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"
STORED AS 
INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat';

#以上三種方式儲存的格式都是TEXTFILE。

file_format:

  | SEQUENCEFILE

| TEXTFILE    -- (Default, depending on hive.default.fileformat configuration)

| RCFILE      -- (Note: Available in Hive 0.6.0 and later)

| ORC         -- (Note: Available in Hive 0.11.0 and later)

| PARQUET     -- (Note: Available in Hive 0.13.0 and later)

| AVRO        -- (Note: Available in Hive 0.14.0 and later)

| INPUTFORMAT input_format_classname OUTPUTFORMAT output_format_classname

三、儲存格式講解

以下來詳細介紹TEXTFILE、SEQUENCEFILE、RCFILE、ORC等四種儲存格式及它們對於hive在儲存資料和查詢資料時效能的優劣。

TEXTFILE:

只是hive中表資料預設的儲存格式，它將所有型別的資料都儲存為String型別，不便於資料的解析，但它卻比較通用。

    不具備隨機讀寫的能力。支援壓縮。

SEQUENCEFILE:

    這種儲存格式比TEXTFILE格式多了頭部、標識、資訊長度等資訊，這些資訊使得其具備隨機讀寫的能力。

    支援壓縮，但壓縮的是value。（儲存相同的資料，SEQUENCEFILE比TEXTFILE略大）

RCFILE（Record Columnar File）:

    現在水平上劃分為很多個Row Group,每個Row Group預設大小4MB，Row Group內部

    再按列儲存資訊。由facebook開源，比標準行式儲存節約10%的空間。

ORC:

    優化過後的RCFile,現在水平上劃分為多個Stripes,再在Stripe中按列儲存。每個Stripe由一個Index Data、一個Row Data、

    一個Stripe Footer組成。每個Stripes的大小為250MB，每個Index Data記錄的是整型資料最大值最小值、字串資料前後

    綴資訊，每個列的位置等等諸如此類的資訊。這就使得查詢十分得高效，預設每一萬行資料建立一個Index Data。ORC儲存

    大小為TEXTFILE的40%左右，使用壓縮則可以進一步將這個數字降到10%~20%。

    ORC這種檔案格式可以作用於表或者表的分割槽，可以通過以下幾種方式進行指定：

• CREATE TABLE ... STORED AS ORC
• ALTER TABLE ... [PARTITION partition_spec] SET FILEFORMAT ORC
• SET hive.default.fileformat=Orc

• The parameters are all placed in the TBLPROPERTIES (see Create Table). They are:

  Key	Default	Notes
  orc.compress	ZLIB	high level compression (one of NONE, ZLIB, SNAPPY)
  orc.compress.size	262,144	number of bytes in each compression chunk
  orc.stripe.size	67,108,864	number of bytes in each stripe
  orc.row.index.stride	10,000	number of rows between index entries (must be >= 1000)
  orc.create.index	true	whether to create row indexes
  orc.bloom.filter.columns	""	comma separated list of column names for which bloom filter should be created
  orc.bloom.filter.fpp	0.05	false positive probability for bloom filter (must >0.0 and <1.0)

示例：

create table page_views_orc_zlib
ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"
STORED AS ORC 
TBLPROPERTIES("orc.compress"="ZLIB")
as select * from page_views;

For example, creating an ORC stored table without compression:

create table Addresses (
  name string,
  street string,
  city string,
  state string,
  zip int
) stored as orc tblproperties ("orc.compress"="NONE");

PARQUET:

儲存大小為TEXTFILE的60%~70%，壓縮後在20%~30%之間。

注意：

    不同的儲存格式不僅表現在儲存空間上的不同，對於資料的查詢，效率也不一樣。因為對於不同的儲存格式，執行相同的查詢操作，他們訪問的資料量大小是不一樣的。

我做過一個實驗：

    資料量一樣都是18.1MB的幾張表，執行某個操作，使用TEXTFILE儲存，訪問的資料量19022700，使用RCfile儲存，訪問的資料量3725391，使用ORC儲存，訪問的資料量1810082，使用ORC儲存並使用ZLIB格式壓縮，訪問的資料量1257539.

select count(1) from page_views where session_id='B58W48U4WKZCJ5D1T3Z9ZY88RU7QA7B1';
19022700

select count(1) from page_views_rcfile where session_id='B58W48U4WKZCJ5D1T3Z9ZY88RU7QA7B1';
3725391

select count(1) from page_views_orc where session_id='B58W48U4WKZCJ5D1T3Z9ZY88RU7QA7B1';
1810082

select count(1) from page_views_orc_zlib where session_id='B58W48U4WKZCJ5D1T3Z9ZY88RU7QA7B1';

1257539

不同格式儲存相同資料的大小：

-----------------------------------------------------------------------------------------------------------------------

-----------------------------------------------------------------------------------------------------------------------

    如果要使用TEXTFILE作為hive表資料的儲存格式，則在必須先存在一張相同資料的儲存格式為TEXTFILE的表table_t0,然後在建表時使用“insert into table table_stored_file_ORC select * from table_t0;”建立。或者使用"create table as select *from table_t0;"建立。