Author：Pirate Leo

轉載請註明出處，謝謝。

文中可能涉及到的API：

Begin！

一、概述

使用了HBase提供的Export與Import工具。

看到這兩個類所在目錄我們瞭解到，Export與Import的實質是MapReduce任務。

關於這兩個工具API中寫的很清楚：

Export an HBase table. Writes content to sequence files up in HDFS. Use Import to read it back in again.

將HBase的表匯出為HDFS的sequence files。

Export如其名，只是匯出工具，如何完成備份功能呢？

二、功能實驗

測試過程涉及很多資料，這裡僅提供重要結論：

1、Export是以表為單位匯出資料的，若想完成整庫的備份需要執行n遍。

2、Export在shell中的呼叫方式類似如下格式：

./hbase org.apache.hadoop.hbase.mapreduce.Export 表名 備份路徑 （版本號） （起始時間戳） （結束時間戳） 

Export [-D <property = value>]* <tableName> <outputDir> [<versions> [<startTime> [<endTime>]]]

括號內為可選項，例如

./hbase org.apache.hadoop.hbase.mapreduce.Export 'contentTbl' /home/codeevoship/contentBackup20120920 1 123456789

備份contentTbl這張表到/home/codeevoship/contentBackup20120920目錄下（最後一級目錄必須由Export自己建立），版本號為1，備份記錄從123456789這個時間戳開始到當前時間內所有的執行過put操作的記錄。

注意：為什麼是所有put操作記錄？因為在備份時是掃描所有表中所有時間戳大於等於123456789這個值的記錄並匯出。如果是delete操作，則表中這條記錄已經刪除，掃描時也無法獲取這條記錄資訊。

3、當不指定時間戳時，備份的就是當前完整表中的資料。

三、實施細節

1、如何在增量備份時體現出對資料的刪除操作？

由於Export按時間戳備份只能反映出Put過的表項，若我在一個備份（增量包）時間區間內刪除了某條已有記錄，當資料庫回檔時，這條被刪除的記錄又會出現在我的表中。

因此，我將所有的刪除操作替換為Put操作：

a、給每行資料添加了一個無效標誌位，在刪除記錄時使用Put給該標誌位寫為1。

b、在單條查詢時，根據rowKey取出記錄後會根據這個標誌位判斷這條記錄是否已被“刪除”，以此決定是否返回這條記錄。在多條查詢時（scan），使用列值過濾器，過濾出所有這個標誌位不為1的記錄。（可參見我之前的博文《HBase 條件查詢》）

2、在備份過程中新增的資料是否會影響備份內容的準確性？

可以指定小於等於當前時刻的結束時間戳，以便將需要備份的資料範圍明確。

3、如何備份到其他機器？

a、Export支援提供地址的備份。最簡單的方法，直接把遠端儲存掛載到本地，然後使用本地路徑。

b、使用API呼叫時，Path如果使用file:///home/codeevoship/backup，代表使用本地檔案系統。若直接寫為/home/codeevoship 代表使用HDFS層的路徑。在使用Shell呼叫時則相反。

4、如何使用API呼叫？

先通過Export類提供的方法建立Job例項，再呼叫Job的

四、其他解決方案

1、HDFS層的HDFS Replication或DistCp

2、Cluster Replication

轉載一份使用Export與Import定期備份的Python程式碼。每月15日做一次完整備份，每天進行一次增量備份。

1. import time    
2. import datetime    
3. from datetime import date    
4. import sys    
5. import os    
6. tablename=sys.argv[1]    
7. backupDst=sys.argv[2]    
8. today=date.today()    
9. if today.day == 15:    //every month, we do a full backup    
10.         backupSubFolder=backupDst+today.isoformat()+"-full"
11.         cmd="hbase org.apache.hadoop.hbase.mapreduce.Export %s %s"%(tablename,backupSubFolder)    
12. else:    
13.         yesterday=datetime.date.today()- datetime.timedelta(days=1)    
14.         todayTimeStamp=time.mktime(today.timetuple())    
15.         yesTimeStamp=time.mktime(yesterday.timetuple())    
16.         backupSubFolder=backupDst+today.isoformat()    
17.         cmd="hbase org.apache.hadoop.hbase.mapreduce.Export %s %s %s"%(tablename,backupSubFolder,str(int(todayTimeStamp)*1000)    
18. print cmd    
19. os.system(cmd)