1. 程式人生 > >記憶體小於16GG搭建Hadoop叢集的一些個人觀點

記憶體小於16GG搭建Hadoop叢集的一些個人觀點

很多同鞋在學習大資料過程中,也會在自己電腦上搭建環境,但是記憶體不足確實是個讓人頭疼的問題,廢話不多說,個人有如下一些想法,分享給大家:

1、使用apache原生的hadoop來搭建叢集,除了配置繁瑣之外,還可能會有很多版本相容性的問題(這很是頭疼的問題),當然在一些元件的官網有明確的版本依賴性說明,搭建haddop+hive或者hadoop+hbase等,管理起來也非常的不便,得自己寫指令碼來實現監控。當然了,也有它的好處,就是達到能執行起來,佔用的記憶體並不多,8G的筆記本也能執行hadoop+hive或者hadoop+hbase,現在主流的pc機器應該都支援,也適合入門,對了解各個配置檔案的作用及一些引數的調整有好處。

2、使用hortonworks的ambari來搭建 hadoop叢集,這個佔用的記憶體不算太多,也支援新增常用的元件同時執行,如zookeeper,hadoop,hive,hbase,flume等,ambari也是開源的,能滿足大部分的初學者及一些為節約成本的企業需求。但ambari對一些元件的支援還是不夠,如impala,kudu,hue等,這些元件最早都是由cloudera公司開發的,雖然目前ambari也支援,但可能對他們的相容性還不夠完善,可能會遇到一些問題。對於16G的筆記本來說,用ambari來搭建學習環境是完全沒問題的。

3、對於CDH愛好者來說,16G筆記本其實也是可以搭建並執行起來的,當然了,這個真只能單節點了。只是在安裝叢集時候,最開始先只新增必要的服務,如zookpper,hdfs。其它服務可以安裝完成之後再新增的。安裝完成後,把下面的Cloudera Management Service給停掉,這可以節約幾個G的記憶體(至少2-3G),停用後,不影響叢集的正常工作,這只是用於資源監控的,我停用後,新增的元件和CM介面效果如下:

目前上述服務全部都是啟動狀態,可以正常使用。本人筆記本16G記憶體,下面是我虛擬機器的記憶體情況:

當然本人物理機開啟的應用除了虛擬機器之外,還可以開一個xshell和idea開發工具,再多開一些應用就會卡了,當然也可以停掉一些用不到的服務來減小記憶體消耗。