hbase大規模資料寫入的優化歷程
阿新 • • 發佈：2019-02-03
業務背景：由於需要將ngix日誌過濾出來的1億+條使用者行為記錄存入Hbase資料庫，以此根據一定的條件來提供近實時查詢，比如根據使用者id及一定的時間段等條件來過濾符合要求的若干行為記錄，滿足這一場景的技術包括：Solr，Elasticsearch，hbase等，在此選用了Hbase來實踐。
step 1 :
直接hbase建表，然後讀取記錄檔案逐條寫入Hbase。由於hbase實際的寫入速度遠遠小於我的提交速度，在寫入了1700條記錄後，hbase出現了宕機，提交後無響應。檢視hbase日誌，出現 out of memory異常。step 2：
考慮在建表的時候沒有進行預分割槽，因此寫入的時候會存在熱點寫的問題，同時資料持續增長，需要不斷的對region進行split，實際上這一步相當消耗資源。因此對要寫入的Hbase表重新預分割槽。好在上一步驟中寫入的資料不多，因此直接刪除表和資料後重新建表並預分割槽：create 'user_actions', {NAME => 'info', VERSIONS=> 3},{SPLITS => ['130','140','160','170','180']}