1. 1. 全量表：每天的所有的最新狀態的數據，
2. 2. 增量表：每天的新增數據，增量數據是上次導出之後的新數據。
3. 3. 拉鏈表：維護歷史狀態，以及最新狀態數據的一種表，拉鏈表根據拉鏈粒度的不同，實際上相當於快照，只不過做了優化，去除了一部分不變的記錄而已,通過拉鏈表可以很方便的還原出拉鏈時點的客戶記錄。
4. 4. 流水表： 對於表的每一個修改都會記錄，可以用於反映實際記錄的變更。
6. 拉鏈表通常是對賬戶信息的歷史變動進行處理保留的結果，流水表是每天的交易形成的歷史；
7. 流水表用於統計業務相關情況，拉鏈表用於統計賬戶及客戶的情況
8. 數據倉庫之拉鏈表（原理、設計以及在Hive中的實現）
11. 在有些情況下，為了保持歷史的一些狀態，需要用拉鏈表來做，這樣做目的在可以保留所有狀態的情況下可以節省空間。
13. 拉鏈表適用於以下幾種情況吧
15. 數據量有點大，表中某些字段有變化，但是呢變化的頻率也不是很高，業務需求呢又需要統計這種變化狀態，每天全量一份呢，有點不太現實，
17. 不僅浪費了存儲空間，有時可能業務統計也有點麻煩，這時，拉鏈表的作用就提現出來了，既節省空間，又滿足了需求。
19. 一般在數倉中通過增加begin_date,en_date來表示，如下例，後兩列是start_date和end_date.
21. 1 2016-08-20 2016-08-20 創建 2016-08-20 2016-08-20
22. 1 2016-08-20 2016-08-21 支付 2016-08-21 2016-08-21
23. 1 2016-08-20 2016-08-22 完成 2016-08-22 9999-12-31
24. 2 2016-08-20 2016-08-20 創建 2016-08-20 2016-08-20
25. 2 2016-08-20 2016-08-21 完成 2016-08-21 9999-12-31
26. 3 2016-08-20 2016-08-20 創建 2016-08-20 2016-08-21
27. 3 2016-08-20 2016-08-22 支付 2016-08-22 9999-12-31
28. 4 2016-08-21 2016-08-21 創建 2016-08-21 2016-08-21
29. 4 2016-08-21 2016-08-22 支付 2016-08-22 9999-12-31
30. 5 2016-08-22 2016-08-22 創建 2016-08-22 9999-12-31
31. begin_date表示該條記錄的生命周期開始時間，end_date表示該條記錄的生命周期結束時間；
33. end_date = ‘9999-12-31’表示該條記錄目前處於有效狀態；
35. 如果查詢當前所有有效的記錄，則select * from order_his where dw_end_date = ‘9999-12-31′
37. 如果查詢2016-08-21的歷史快照，則select * from order_his where begin_date <= ‘2016-08-21′ and end_date >= ‘2016-08-21’
39. 再簡單介紹一下拉鏈表的更新：
41. 假設以天為維度，以每天的最後一個狀態為當天的最終狀態。
43. 以一張訂單表為例，如下是原始數據，每天的訂單狀態明細
45. 1 2016-08-20 2016-08-20 創建
46. 2 2016-08-20 2016-08-20 創建
47. 3 2016-08-20 2016-08-20 創建
48. 1 2016-08-20 2016-08-21 支付
49. 2 2016-08-20 2016-08-21 完成
50. 4 2016-08-21 2016-08-21 創建
51. 1 2016-08-20 2016-08-22 完成
52. 3 2016-08-20 2016-08-22 支付
53. 4 2016-08-21 2016-08-22 支付
54. 5 2016-08-22 2016-08-22 創建
55. 根據拉鏈表我們希望得到的是
58. 1 2016-08-20 2016-08-20 創建 2016-08-20 2016-08-20
59. 1 2016-08-20 2016-08-21 支付 2016-08-21 2016-08-21
60. 1 2016-08-20 2016-08-22 完成 2016-08-22 9999-12-31
61. 2 2016-08-20 2016-08-20 創建 2016-08-20 2016-08-20
62. 2 2016-08-20 2016-08-21 完成 2016-08-21 9999-12-31
63. 3 2016-08-20 2016-08-20 創建 2016-08-20 2016-08-21
64. 3 2016-08-20 2016-08-22 支付 2016-08-22 9999-12-31
65. 4 2016-08-21 2016-08-21 創建 2016-08-21 2016-08-21
66. 4 2016-08-21 2016-08-22 支付 2016-08-22 9999-12-31
67. 5 2016-08-22 2016-08-22 創建 2016-08-22 9999-12-31
68. 可以看出 1，2，3，4每個訂單的狀態都有，並且也能統計到當前的有效狀態。
70. 本例以hive為例，只考慮到實現，與性能無關
72. 首先創建表
74. CREATE TABLE orders (
75. orderid INT,
76. createtime STRING,
77. modifiedtime STRING,
78. status STRING
79. ) row format delimited fields terminated by ‘\t‘
82. CREATE TABLE ods_orders_inc (
83. orderid INT,
84. createtime STRING,
85. modifiedtime STRING,
86. status STRING
87. ) PARTITIONED BY (day STRING)
88. row format delimited fields terminated by ‘\t‘
91. CREATE TABLE dw_orders_his (
92. orderid INT,
93. createtime STRING,
94. modifiedtime STRING,
95. status STRING,
96. dw_start_date STRING,
97. dw_end_date STRING
98. ) row format delimited fields terminated by ‘\t‘ ;
99. 首先全量更新，我們先到2016-08-20為止的數據。
101. 初始化，先把2016-08-20的數據初始化進去
103. INSERT overwrite TABLE ods_orders_inc PARTITION (day = ‘2016-08-20‘)
104. SELECT orderid,createtime,modifiedtime,status
105. FROM orders
106. WHERE createtime < ‘2016-08-21‘ and modifiedtime <‘2016-08-21‘;
107. 刷到dw中
109. INSERT overwrite TABLE dw_orders_his
110. SELECT orderid,createtime,modifiedtime,status,
111. createtime AS dw_start_date,
112. ‘9999-12-31‘ AS dw_end_date
113. FROM ods_orders_inc
114. WHERE day = ‘2016-08-20‘;
116. 如下結果
118. select * from dw_orders_his;
119. OK
120. 1 2016-08-20 2016-08-20 創建 2016-08-20 9999-12-31
121. 2 2016-08-20 2016-08-20 創建 2016-08-20 9999-12-31
122. 3 2016-08-20 2016-08-20 創建 2016-08-20 9999-12-31
123. 剩余需要進行增量更新
126. INSERT overwrite TABLE ods_orders_inc PARTITION (day = ‘2016-08-21‘)
127. SELECT orderid,createtime,modifiedtime,status
128. FROM orders
129. WHERE (createtime = ‘2016-08-21‘ and modifiedtime = ‘2016-08-21‘) OR modifiedtime = ‘2016-08-21‘;
131. select * from ods_orders_inc where day=‘2016-08-21‘;
132. OK
133. 1 2016-08-20 2016-08-21 支付 2016-08-21
134. 2 2016-08-20 2016-08-21 完成 2016-08-21
135. 4 2016-08-21 2016-08-21 創建 2016-08-21
136. 先放到增量表中，然後進行關聯到一張臨時表中，在插入到新表中
139. DROP TABLE IF EXISTS dw_orders_his_tmp;
140. CREATE TABLE dw_orders_his_tmp AS
141. SELECT orderid,
142. createtime,
143. modifiedtime,
144. status,
145. dw_start_date,
146. dw_end_date
147. FROM (
148. SELECT a.orderid,
149. a.createtime,
150. a.modifiedtime,
151. a.status,
152. a.dw_start_date,
153. CASE WHEN b.orderid IS NOT NULL AND a.dw_end_date > ‘2016-08-21‘ THEN ‘2016-08-21‘ ELSE a.dw_end_date END AS dw_end_date
154. FROM dw_orders_his a
155. left outer join (SELECT * FROM ods_orders_inc WHERE day = ‘2016-08-21‘) b
156. ON (a.orderid = b.orderid)
157. UNION ALL
158. SELECT orderid,
159. createtime,
160. modifiedtime,
161. status,
162. modifiedtime AS dw_start_date,
163. ‘9999-12-31‘ AS dw_end_date
164. FROM ods_orders_inc
165. WHERE day = ‘2016-08-21‘
166. ) x
167. ORDER BY orderid,dw_start_date;
169. INSERT overwrite TABLE dw_orders_his
170. SELECT * FROM dw_orders_his_tmp;
171. 在根據上面步驟把2016-08-22號的數據更新進去，最後結果如下
174. select * from dw_orders_his;
175. OK
176. 1 2016-08-20 2016-08-20 創建 2016-08-20 2016-08-20
177. 1 2016-08-20 2016-08-21 支付 2016-08-21 2016-08-21
178. 1 2016-08-20 2016-08-22 完成 2016-08-22 9999-12-31
179. 2 2016-08-20 2016-08-20 創建 2016-08-20 2016-08-20
180. 2 2016-08-20 2016-08-21 完成 2016-08-21 9999-12-31
181. 3 2016-08-20 2016-08-20 創建 2016-08-20 2016-08-21
182. 3 2016-08-20 2016-08-22 支付 2016-08-22 9999-12-31
183. 4 2016-08-21 2016-08-21 創建 2016-08-21 2016-08-21
184. 4 2016-08-21 2016-08-22 支付 2016-08-22 9999-12-31
185. 5 2016-08-22 2016-08-22 創建 2016-08-22 9999-12-31
186. 至此，就得到了我們想要的數據。

值得註意的是，訂單表中數據同一天有多次狀態更新，應以每天的最後一個狀態為當天的最終狀態。比如一天之內訂單狀態創建,支付,完成都有，應拉取最終的狀態進行拉練表更新，否則後面的數據可能就會出現異常，比如

1. 6 2016-08-22 2016-08-22 創建 2016-08-22 9999-12-31
2. 6 2016-08-22 2016-08-22 支付 2016-08-22 9999-12-31
3. 6 2016-08-22 2016-08-22 完成 2016-08-22 9999-12-31

http://www.cnblogs.com/wujin/p/6121754.html

http://www.jianshu.com/p/799252156379

拉鏈表流水表