1. 程式人生 > >關於在真實物理機器上用cloudermanger或ambari搭建大資料叢集注意事項總結、經驗和感悟心得(圖文詳解)

關於在真實物理機器上用cloudermanger或ambari搭建大資料叢集注意事項總結、經驗和感悟心得(圖文詳解)

寫在前面的話

  (1) 最近一段時間,因擔任我團隊實驗室的大資料環境叢集真實物理機器工作,至此,本人秉持負責、認真和細心的態度,先分別在虛擬機器上模擬搭建ambari(基於CentOS6.5版本)和cloudermanager(基於CentOS6.5或Ubuntu14.04版本)。

  (2)  大資料叢集範圍包括3節點和4節點。本人都嘗試過。

  (3)  安裝搭建包括離線和線上。本人都嘗試過

  (4)  版本包括自定義指定和官方最新版本搭建。本人都嘗試過。

  (5) 大資料叢集節點的增加和刪減。本人都嘗試過。

  (6) 虛擬機器和真實物理機上搭建。本人都嘗試過。

 首先,以下是博主我本人,在虛擬機器裡搭建的ambari(基於CentOS6.5)

  以下是博主我本人,在虛擬機器裡搭建的cloudermanager(基於CentOS6.5)

   以下是博主我本人,在虛擬機器裡搭建的cloudermanager(基於Ubuntu14.04)

   以下是博主我本人,在真實物理機器上搭建的ambari(基於ubuntu14.04)

     這裡,對於企業公司裡,若搭建,角色機器分配可參考

Cloudera Manager5之安裝部署CDH5.X (強烈推薦)

  http://blog.csdn.net/freedomboy319/article/details/44804721

以下是博主我本人,在真實物理機上裡搭建的cloudermanager(基於Ubuntu14.04)!!!

一、關於另開一個使用者給真實物理機器。這一點區別於我們平常在虛擬機器裡搭建。

adduser與useradd的區別

1、虛擬機器搭建

2、真實物理機器搭建

  不能上述虛擬機器裡建立使用者方式了。要如下操作:

  ubuntu和windows一樣,可以任意建立或者刪除新的使用者,windows下比較簡單,ubuntu下需要使用命令,不過操作起來不是很繁瑣,所以我儘量寫的詳細一些。

          如何建立ubuntu新使用者?比如我這裡建立bigdata使用者(root使用者執行)

    方法1:    

 首先開啟終端,輸入:sudo adduser bigdata,系統會提示以下資訊:

           正在新增使用者“bigdata”...

           正在新增新組“bigdata”(1001)...

           正在新增新使用者“bigdata”(1001)到組“bigdata”...

           建立主目錄“/home/bigdata”...

            正在從“/etc、skel”複製檔案...

            輸入新的 UNIX 口令:(我這裡輸入密碼為bigdata)

            重新輸入新的 UNIX 口令:(再次輸入bigdata)

            passwd:已成功更新密碼

            Changing the user information for username
            Enter the new value, or press ENTER for the default
            Full Name []: (回車)
            Room Number []:(回車)
            Work Phone []:(回車)
            Home Phone []:(回車)
            Other []:(回車)
這個資訊是否正確? [Y/n] y

            到了這一步,新使用者已經新增成功了,此時我們可以打 ls /home檢視一下,如果顯示 username bigdata,側代表使用者建立成功。

   比如,我下面建立新使用者oo。

 

 

首先開啟終端,輸入:sudo adduser username,系統會提示以下資訊:

           正在新增使用者“username”...

           正在新增新組“username”(1001)...

           正在新增新使用者“username”(1001)到組“username”...

           建立主目錄“/home/username”...

            正在從“/etc、skel”複製檔案...

            輸入新的 UNIX 口令:(此處大家注意,不是輸入你當前使用者的密碼,而是輸入你要建立新使用者的密碼)

            重新輸入新的 UNIX 口令:(再輸一次即可)

            passwd:已成功更新密碼

            Changing the user information for username
            Enter the new value, or press ENTER for the default
            Full Name []: yangyang (輸入新使用者的名稱)
            Room Number []:
            Work Phone []:
            Home Phone []:
            Other []:
這個資訊是否正確? [Y/n] y

            到了這一步,新使用者已經新增成功了,此時我們可以打 ls /home檢視一下,如果顯示 username yang,側代表使用者建立成功。如圖1所示。

          如何刪除ubuntu使用者?

          ubuntu刪除使用者同樣是在終端下操作的,需要注意的是,如果要刪除的使用者當前已登陸,是刪除不掉的,必須登出掉當前使用者切換為另一個使用者下,才能刪除。舉個例子,剛才我新建立了一個使用者為 yang 的使用者,例如我現在用使用者 yang 登陸了桌面,此時如果我想刪除 yang 這個使用者,是刪除不掉的。正確的操作方法是,我登出掉 yang,然後使用 root 登陸到桌面,再刪除 yang 即可。

          刪除ubuntu使用者的命令比較容易記:sudo userdel username,例如我想刪除 yang ,則輸入:sudo userdel yang,刪除成功後,系統無任何提示。

  後續貼圖

 

 

 

  二、若大家網速還不錯的話,可以線上安裝。若是網速不太好,強烈建議大家離線安裝。(不然網路原因導致中途各種報錯,非常麻煩)

   關於各自,大家是CentOS還是Ubuntu系統,自行可以參考我上述寫的在虛擬機器裡搭建的部落格。

 三、常見錯誤

  四、真實物理機上的一些安裝技巧

  比如,我這裡,是將nssa-sensor1(即192.168.30.1)下載和搭建好。

  在/opt/cloudera/下,然後,將整個cloudera目錄拷貝到nssa-sensor2(192.168.30.2)、nssa-sensor3(192.168.30.3)和nssa-sensor4(192.168.30.3)

  即,換句話說,將master/slave1(192.168.30.1)下載和搭建好。然後,將其/opt/cloudera整個目錄,拷貝給slave2(192.168.30.2)、slave3(192.168.30.3)和slave4(192.168.30.4)。

  這裡,我至於為什麼要搭建4節點,是因為符合中國高校的實情,需要做加速比效能分析。(這是潛規則)

  小例子:比如,現在,我還有nssa-sensor4(192.168.30.4)還沒拷貝。

  對於,Ubuntu系統裡搭建cloudermanager,其實,可以安裝我們自行的orcal jdk。貼圖為證。

 

  這也是我,為什麼要寫下面的這篇部落格的原因所在,

總結  

  此係列的大資料搭建,為本人嘔心瀝血所寫,經過好一段時間反覆錘鍊和整理修改。以此,記錄我讀研生涯時光的美好記憶!

  感謝所參考的博友們的精彩前輩文章!同時,歡迎前來查閱賞臉的博友們收藏和轉載,附上本人的連結出處。

  大家,若在虛擬機器裡搭建或真實物理機器上搭建,碰到問題,都可以留言評論。歡迎指正,謝謝!

歡迎大家,加入我的微信公眾號:大資料躺過的坑     免費給分享

同時,大家可以關注我的個人部落格

   http://www.cnblogs.com/zlslch/   和  http://www.cnblogs.com/lchzls/ 

  人生苦短,我願分享。本公眾號將秉持活到老學到老學習無休止的交流分享開源精神,匯聚於網際網路和個人學習工作的精華乾貨知識,一切來於網際網路,反饋回網際網路。
  目前研究領域:大資料、機器學習、深度學習、人工智慧、資料探勘、資料分析。 語言涉及:Java、Scala、Python、Shell、Linux等 。同時還涉及平常所使用的手機、電腦和網際網路上的使用技巧、問題和實用軟體。 只要你一直關注和呆在群裡,每天必須有收穫

       以及對應本平臺的QQ群:161156071(大資料躺過的坑)

 

 

相關推薦

關於在真實物理機器cloudermangerambari搭建資料叢集注意事項總結經驗感悟心得圖文

寫在前面的話   (1) 最近一段時間,因擔任我團隊實驗室的大資料環境叢集真實物理機器工作,至此,本人秉持負責、認真和細心的態度,先分別在虛擬機器上模擬搭建ambari(基於CentOS6.5版本)和cloudermanager(基於CentOS6.5或Ubuntu14.04版本)。   (2)  大

Ambari叢集移動現有複製到另外地方更改ip地址,導致各項服務元件為黃色問號代表心跳丟失的解決方案圖文博主推薦

前言          最近,是在做叢集搬移工作,大家肯定會遇到如下的場景。          (1) 比如,你新購買的電腦,初步者學習使用Ambari叢集。從舊電腦複製到新電腦這邊來。          (2) 比如,你公司Ambari叢集的ip,因業務或其他情況需要,暫時需要更改ip。  

Git學習系列之DebianUbuntu安裝Git詳細步驟圖文

前言   最早Git是在Linux上開發的,很長一段時間內,Git也只能在Linux和Unix系統上跑。不過,慢慢地有人把它移植到了Windows上。現在,Git可以在Linux、Unix、Mac和Windows這幾大平臺上正常運行了。   要使用Git,第一步當然是安裝Git了。   

cloudermanger安裝時需要安裝徹底正確解除安裝再安裝orcal-java7-installeroracle-java7-set-defaultubuntu14.04版本圖文

歡迎您的加入! 微信公眾號平臺: 大資料躺過的坑 微信公眾號平臺: 人工智慧躺過的坑 大資料和人工智慧躺過的坑(總群): 161156071 更多QQ技術分群,詳情請見:http://www.cnblogs.com/zls

maven來創建scalajava項目代碼環境圖文Intellij IDEAUltimate版本Intellij IDEACommunity版本Scala IDEA for Eclipse皆適用博主推薦

搭建 ava XML .com 自動 ado ima 強烈 mapred 為什麽要寫這篇博客?   首先,對於spark項目,強烈建議搭建,用Intellij IDEA(Ultimate版本),如果你還有另所愛好嘗試Scala IDEA for Eclipse,有時間自己去

如何走更高平臺分享傳遞幹貨知識:開通個人微信公眾號:大數據躺過的坑圖文博主推薦

綁定 改名 alt 匯聚 oozie 管理 機器 傳遞 qpi 為了進一步打造提升(大數據躺過的坑)本微信公眾平臺的博文高質量水平,特邀請善於分享、主動、敢於專研嘗試新技術新領域的您,一起共同維護好我們的知識小天地。目前涉及領域有:大數據領域:Hadoop、Hive、HBa

全網最詳細的再次多次格式化導致namenode的ClusterIDdatanode的ClusterID之間不一致的問題解決辦法圖文

rwx log bsp 挖掘 fail tro listener 大數 www.     不多說,直接上幹貨!   java.io.IOException: Incompatible clusterIDs in /opt/modules/ha

全網最詳細的啟動格式化zkfc時出現java.net.NoRouteToHostException: No route to host ... Will not attempt to authenticate using SASL (unknown error)錯誤的解決辦法圖文

手機 TP 關註 fail AS hadoop .net ror cep     不多說,直接上幹貨! 解決辦法:     每臺機器都,先執行,sudo chkconfig ipta

全網最詳細的EclipseMyEclipse裏對於Java web項目發布到Tomcat運行成功的對比事宜【博主強烈推薦】【適合普通的還是Maven方式創建的】圖文

機器 安裝 同時 python 人生苦短 機器學習 dream png 改名     不多說,直接上幹貨!     首先,大家要明確,IDEA、Eclipse和MyEclipse等編輯器之間的新建和運行手法是不一樣的。

全網最詳細的IDEAEclipseMyEclipse之間於Java web項目發布到Tomcat運行成功的對比事宜【博主強烈推薦】【適合普通的還是Maven方式創建的】圖文

led 交流 之間 精神 推薦 enter style images java web     不多說,直接上幹貨!   IDEA 全網最詳細的IDEA裏如何正確新建

linux安裝Phoenix操作hbase圖文

一、什麼是 Phoenix Phoenix是一個開源的HBASE SQL層,是一箇中間件,使用Phoenix我們就可以使用標準的JDBC API代替HBase客戶端API來建立表,插入資料,查詢你的HBase資料,具體的介紹請看官網http://phoenix.apache

SpringBoot檔案傳下載多檔案圖文

最近在學習SpringBoot,以下是最近學習整理的實現檔案上傳下載的java程式碼: 1、開發環境: IDEA15+ Maven+JDK1.8 2、新建一個maven工程: 3、工程框架 4、pom.xml檔案依賴項 <proje

如何走更高平臺分享傳遞乾貨知識:開通個人微信公眾號:資料躺過的坑圖文博主推薦

  不多說,直接上乾貨!    為了進一步打造提升(大資料躺過的坑)本微信公眾平臺的博文高質量水平,特邀請善於分享、主動、敢於專研嘗試新技術新領域的您,一起共同維護好我們的知識小天地。目前涉及領域有:大資料領域:Hadoop、Hive、HBase、Zookeeper、Flume、Sqoop、Ka

Git學習系列之如何正確且高效地將本地專案傳到Github圖文

  不多說,直接上乾貨!   首先你需要一個Github賬號,所以還沒有的話先去註冊吧! https://github.com/   見   Git的安裝   見 1、進入Github首頁,點選New repository新建一個

五款實用免費的Python機器學習整合開發環境5 free Python IDE for Machine Learning圖文

前言   整合開發環境(IDE)是提供給程式設計師和開發者的一種基本應用,用來編寫和測試軟體。一般而言,IDE 由一個編輯器,一個編譯器(或稱之為直譯器),和一個偵錯程式組成,通常能夠通過 GUI(圖形介面)來操作。   根據維基百科的描述:“Python 是一種廣泛使用的高階的、通用的、

如何走更高平臺分享傳遞乾貨知識:開通個人Github面向開源及私有軟體專案的託管平臺:https://github.com/zlslch/圖文博主推薦

歡迎您的加入! 微信公眾號平臺: 大資料躺過的坑 微信公眾號平臺: 人工智慧躺過的坑 大資料和人工智慧躺過的坑(總群): 161156071 更多QQ技術分群,詳情請見:http://www.cnblogs.com/zls

全網最詳細的一個超級好的命令列工具【Cmder】的下載與安裝圖文

    不多說,直接上乾貨!         下載的時候,有兩個版本,分別是mini與full版;唯一的差別在於有沒有內建msysgit工具,這是Git for Windows的標準配備;全安裝版 cmder 自帶了 msysgit, 壓縮包 23M, 除了 git 本身這個命令之外, 裡面

Git學習系列之Windows安裝Git詳細步驟圖文

前言   最初,Git是用於Linux下的核心程式碼管理。因為其非常好用,目前,已經被成功移植到Mac和Windows作業系統下。   鑑於大部分使用者使用的是Windows作業系統,故,這裡詳細講解Windows作業系統下Git的安裝步驟。        當然我也會陸續寫出Linux和

全網最詳細的一個超級好的命令列工具【Cmder】的安裝之後的一些配置圖文

    不多說,直接上乾貨! 1、修改命令提示符λ為$    首先,我們看到    進入解壓後的cmder的目錄,進入vendor,開啟init.bat檔案。   修改第15行的程式碼 @prompt $E[1;32;40m$P$S

Git學習系列之CentOS安裝Git詳細步驟圖文

前言   最早Git是在Linux上開發的,很長一段時間內,Git也只能在Linux和Unix系統上跑。不過,慢慢地有人把它移植到了Windows上。現在,Git可以在Linux、Unix、Mac和Windows這幾大平臺上正常運行了。   要使用Git,第一步當然是安裝Git了。   首先