1. 程式人生 > >hbase與mapreduce同時執行的問題

hbase與mapreduce同時執行的問題

      在hbase資料寫入和mapreduce同時執行時出現hbase regionserver掛掉的問題,同時hdfs上的檔案塊出現miss。

      目前看來mapreduce和hbase同時執行時出現的一個問題就是記憶體競爭,hbase的regionserver在資料錄入時需要的記憶體很大,如果同時開啟了mapreduce兩者會衝突。

      另一個問題是對hdfs的複用,兩者同時操作hdfs是否會出現硬碟的頻繁讀寫操作。

      先mark一下,查查原因再來這裡繼續。

      後續:在之後我對hbase相關引數和環境進行了調優,避免的region的頻繁分裂和合並,減少full gc的頻率。通過增加記憶體為hbase提供更好的效能。能夠達到mapreduce和hbase同時執行的情況。不過磁碟讀寫io問題還是存在,造成mr入庫hbase效率比client方式低。