關於在真實物理機器上用cloudermanger或ambari搭建大資料叢集注意事項總結、經驗和感悟心得(圖文詳解)
寫在前面的話
(1) 最近一段時間,因擔任我團隊實驗室的大資料環境叢集真實物理機器工作,至此,本人秉持負責、認真和細心的態度,先分別在虛擬機器上模擬搭建ambari(基於CentOS6.5版本)和cloudermanager(基於CentOS6.5或Ubuntu14.04版本)。
(2) 大資料叢集範圍包括3節點和4節點。本人都嘗試過。
(3) 安裝搭建包括離線和線上。本人都嘗試過
(4) 版本包括自定義指定和官方最新版本搭建。本人都嘗試過。
(5) 大資料叢集節點的增加和刪減。本人都嘗試過。
(6) 虛擬機器和真實物理機上搭建。本人都嘗試過。
首先,以下是博主我本人,在虛擬機器裡搭建的ambari(基於CentOS6.5)
以下是博主我本人,在虛擬機器裡搭建的cloudermanager(基於CentOS6.5)
以下是博主我本人,在虛擬機器裡搭建的cloudermanager(基於Ubuntu14.04)
以下是博主我本人,在真實物理機器上搭建的ambari(基於ubuntu14.04)
這裡,對於企業公司裡,若搭建,角色機器分配可參考
Cloudera Manager5之安裝部署CDH5.X (強烈推薦)
http://blog.csdn.net/freedomboy319/article/details/44804721
以下是博主我本人,在真實物理機上裡搭建的cloudermanager(基於Ubuntu14.04)!!!
一、關於另開一個使用者給真實物理機器。這一點區別於我們平常在虛擬機器裡搭建。
adduser與useradd的區別
1、虛擬機器搭建
2、真實物理機器搭建
不能上述虛擬機器裡建立使用者方式了。要如下操作:
ubuntu和windows一樣,可以任意建立或者刪除新的使用者,windows下比較簡單,ubuntu下需要使用命令,不過操作起來不是很繁瑣,所以我儘量寫的詳細一些。
如何建立ubuntu新使用者?比如我這裡建立bigdata使用者(root使用者執行)
方法1:
首先開啟終端,輸入:sudo adduser bigdata,系統會提示以下資訊:
正在新增使用者“bigdata”...
正在新增新組“bigdata”(1001)...
正在新增新使用者“bigdata”(1001)到組“bigdata”...
建立主目錄“/home/bigdata”...
正在從“/etc、skel”複製檔案...
輸入新的 UNIX 口令:(我這裡輸入密碼為bigdata)
重新輸入新的 UNIX 口令:(再次輸入bigdata)
passwd:已成功更新密碼
Changing the user information for username
Enter the new value, or press ENTER for the default
Full Name []: (回車)
Room Number []:(回車)
Work Phone []:(回車)
Home Phone []:(回車)
Other []:(回車)
這個資訊是否正確? [Y/n] y
到了這一步,新使用者已經新增成功了,此時我們可以打 ls /home檢視一下,如果顯示 username bigdata,側代表使用者建立成功。
比如,我下面建立新使用者oo。
首先開啟終端,輸入:sudo adduser username,系統會提示以下資訊:
正在新增使用者“username”...
正在新增新組“username”(1001)...
正在新增新使用者“username”(1001)到組“username”...
建立主目錄“/home/username”...
正在從“/etc、skel”複製檔案...
輸入新的 UNIX 口令:(此處大家注意,不是輸入你當前使用者的密碼,而是輸入你要建立新使用者的密碼)
重新輸入新的 UNIX 口令:(再輸一次即可)
passwd:已成功更新密碼
Changing the user information for username
Enter the new value, or press ENTER for the default
Full Name []: yangyang (輸入新使用者的名稱)
Room Number []:
Work Phone []:
Home Phone []:
Other []:
這個資訊是否正確? [Y/n] y
到了這一步,新使用者已經新增成功了,此時我們可以打 ls /home檢視一下,如果顯示 username yang,側代表使用者建立成功。如圖1所示。
如何刪除ubuntu使用者?
ubuntu刪除使用者同樣是在終端下操作的,需要注意的是,如果要刪除的使用者當前已登陸,是刪除不掉的,必須登出掉當前使用者切換為另一個使用者下,才能刪除。舉個例子,剛才我新建立了一個使用者為 yang 的使用者,例如我現在用使用者 yang 登陸了桌面,此時如果我想刪除 yang 這個使用者,是刪除不掉的。正確的操作方法是,我登出掉 yang,然後使用 root 登陸到桌面,再刪除 yang 即可。
刪除ubuntu使用者的命令比較容易記:sudo userdel username,例如我想刪除 yang ,則輸入:sudo userdel yang,刪除成功後,系統無任何提示。
後續貼圖
二、若大家網速還不錯的話,可以線上安裝。若是網速不太好,強烈建議大家離線安裝。(不然網路原因導致中途各種報錯,非常麻煩)
關於各自,大家是CentOS還是Ubuntu系統,自行可以參考我上述寫的在虛擬機器裡搭建的部落格。
三、常見錯誤
四、真實物理機上的一些安裝技巧
比如,我這裡,是將nssa-sensor1(即192.168.30.1)下載和搭建好。
在/opt/cloudera/下,然後,將整個cloudera目錄拷貝到nssa-sensor2(192.168.30.2)、nssa-sensor3(192.168.30.3)和nssa-sensor4(192.168.30.3)
即,換句話說,將master/slave1(192.168.30.1)下載和搭建好。然後,將其/opt/cloudera整個目錄,拷貝給slave2(192.168.30.2)、slave3(192.168.30.3)和slave4(192.168.30.4)。
這裡,我至於為什麼要搭建4節點,是因為符合中國高校的實情,需要做加速比效能分析。(這是潛規則)
小例子:比如,現在,我還有nssa-sensor4(192.168.30.4)還沒拷貝。
對於,Ubuntu系統裡搭建cloudermanager,其實,可以安裝我們自行的orcal jdk。貼圖為證。
這也是我,為什麼要寫下面的這篇部落格的原因所在,
總結
此係列的大資料搭建,為本人嘔心瀝血所寫,經過好一段時間反覆錘鍊和整理修改。以此,記錄我讀研生涯時光的美好記憶!
感謝所參考的博友們的精彩前輩文章!同時,歡迎前來查閱賞臉的博友們收藏和轉載,附上本人的連結出處。
大家,若在虛擬機器裡搭建或真實物理機器上搭建,碰到問題,都可以留言評論。歡迎指正,謝謝!
歡迎大家,加入我的微信公眾號:大資料躺過的坑 免費給分享同時,大家可以關注我的個人部落格:
http://www.cnblogs.com/zlslch/ 和 http://www.cnblogs.com/lchzls/
人生苦短,我願分享。本公眾號將秉持活到老學到老學習無休止的交流分享開源精神,匯聚於網際網路和個人學習工作的精華乾貨知識,一切來於網際網路,反饋回網際網路。
目前研究領域:大資料、機器學習、深度學習、人工智慧、資料探勘、資料分析。 語言涉及:Java、Scala、Python、Shell、Linux等 。同時還涉及平常所使用的手機、電腦和網際網路上的使用技巧、問題和實用軟體。 只要你一直關注和呆在群裡,每天必須有收穫
以及對應本平臺的QQ群:161156071(大資料躺過的坑)
相關推薦
關於在真實物理機器上用cloudermanger或ambari搭建大資料叢集注意事項總結、經驗和感悟心得(圖文詳解)
寫在前面的話 (1) 最近一段時間,因擔任我團隊實驗室的大資料環境叢集真實物理機器工作,至此,本人秉持負責、認真和細心的態度,先分別在虛擬機器上模擬搭建ambari(基於CentOS6.5版本)和cloudermanager(基於CentOS6.5或Ubuntu14.04版本)。 (2) 大
Ambari叢集移動現有複製到另外地方或更改ip地址,導致各項服務元件上為黃色問號代表心跳丟失的解決方案(圖文詳解)(博主推薦)
前言 最近,是在做叢集搬移工作,大家肯定會遇到如下的場景。 (1) 比如,你新購買的電腦,初步者學習使用Ambari叢集。從舊電腦複製到新電腦這邊來。 (2) 比如,你公司Ambari叢集的ip,因業務或其他情況需要,暫時需要更改ip。
Git學習系列之Debian或Ubuntu上安裝Git詳細步驟(圖文詳解)
前言 最早Git是在Linux上開發的,很長一段時間內,Git也只能在Linux和Unix系統上跑。不過,慢慢地有人把它移植到了Windows上。現在,Git可以在Linux、Unix、Mac和Windows這幾大平臺上正常運行了。 要使用Git,第一步當然是安裝Git了。
cloudermanger安裝時需要安裝或徹底正確解除安裝再安裝orcal-java7-installer、oracle-java7-set-default(ubuntu14.04版本)(圖文詳解)
歡迎您的加入! 微信公眾號平臺: 大資料躺過的坑 微信公眾號平臺: 人工智慧躺過的坑 大資料和人工智慧躺過的坑(總群): 161156071 更多QQ技術分群,詳情請見:http://www.cnblogs.com/zls
用maven來創建scala和java項目代碼環境(圖文詳解)(Intellij IDEA(Ultimate版本)、Intellij IDEA(Community版本)和Scala IDEA for Eclipse皆適用)(博主推薦)
搭建 ava XML .com 自動 ado ima 強烈 mapred 為什麽要寫這篇博客? 首先,對於spark項目,強烈建議搭建,用Intellij IDEA(Ultimate版本),如果你還有另所愛好嘗試Scala IDEA for Eclipse,有時間自己去
如何走上更高平臺分享傳遞幹貨知識:(開通個人微信公眾號:大數據躺過的坑)(圖文詳解)(博主推薦)
綁定 改名 alt 匯聚 oozie 管理 機器 傳遞 qpi 為了進一步打造提升(大數據躺過的坑)本微信公眾平臺的博文高質量水平,特邀請善於分享、主動、敢於專研嘗試新技術新領域的您,一起共同維護好我們的知識小天地。目前涉及領域有:大數據領域:Hadoop、Hive、HBa
全網最詳細的再次或多次格式化導致namenode的ClusterID和datanode的ClusterID之間不一致的問題解決辦法(圖文詳解)
rwx log bsp 挖掘 fail tro listener 大數 www. 不多說,直接上幹貨! java.io.IOException: Incompatible clusterIDs in /opt/modules/ha
全網最詳細的啟動或格式化zkfc時出現java.net.NoRouteToHostException: No route to host ... Will not attempt to authenticate using SASL (unknown error)錯誤的解決辦法(圖文詳解)
手機 TP 關註 fail AS hadoop .net ror cep 不多說,直接上幹貨! 解決辦法: 每臺機器都,先執行,sudo chkconfig ipta
全網最詳細的Eclipse和MyEclipse裏對於Java web項目發布到Tomcat上運行成功的對比事宜【博主強烈推薦】【適合普通的還是Maven方式創建的】(圖文詳解)
機器 安裝 同時 python 人生苦短 機器學習 dream png 改名 不多說,直接上幹貨! 首先,大家要明確,IDEA、Eclipse和MyEclipse等編輯器之間的新建和運行手法是不一樣的。
全網最詳細的IDEA、Eclipse和MyEclipse之間於Java web項目發布到Tomcat上運行成功的對比事宜【博主強烈推薦】【適合普通的還是Maven方式創建的】(圖文詳解)
led 交流 之間 精神 推薦 enter style images java web 不多說,直接上幹貨! IDEA 全網最詳細的IDEA裏如何正確新建
linux上安裝Phoenix操作hbase(圖文詳解)
一、什麼是 Phoenix Phoenix是一個開源的HBASE SQL層,是一箇中間件,使用Phoenix我們就可以使用標準的JDBC API代替HBase客戶端API來建立表,插入資料,查詢你的HBase資料,具體的介紹請看官網http://phoenix.apache
SpringBoot檔案上傳下載和多檔案上傳(圖文詳解)
最近在學習SpringBoot,以下是最近學習整理的實現檔案上傳下載的java程式碼: 1、開發環境: IDEA15+ Maven+JDK1.8 2、新建一個maven工程: 3、工程框架 4、pom.xml檔案依賴項 <proje
如何走上更高平臺分享傳遞乾貨知識:(開通個人微信公眾號:大資料躺過的坑)(圖文詳解)(博主推薦)
不多說,直接上乾貨! 為了進一步打造提升(大資料躺過的坑)本微信公眾平臺的博文高質量水平,特邀請善於分享、主動、敢於專研嘗試新技術新領域的您,一起共同維護好我們的知識小天地。目前涉及領域有:大資料領域:Hadoop、Hive、HBase、Zookeeper、Flume、Sqoop、Ka
Git學習系列之如何正確且高效地將本地專案上傳到Github(圖文詳解)
不多說,直接上乾貨! 首先你需要一個Github賬號,所以還沒有的話先去註冊吧! https://github.com/ 見 Git的安裝 見 1、進入Github首頁,點選New repository新建一個
五款實用免費的Python機器學習整合開發環境(5 free Python IDE for Machine Learning)(圖文詳解)
前言 整合開發環境(IDE)是提供給程式設計師和開發者的一種基本應用,用來編寫和測試軟體。一般而言,IDE 由一個編輯器,一個編譯器(或稱之為直譯器),和一個偵錯程式組成,通常能夠通過 GUI(圖形介面)來操作。 根據維基百科的描述:“Python 是一種廣泛使用的高階的、通用的、
如何走上更高平臺分享傳遞乾貨知識:(開通個人Github面向開源及私有軟體專案的託管平臺:https://github.com/zlslch/)(圖文詳解)(博主推薦)
歡迎您的加入! 微信公眾號平臺: 大資料躺過的坑 微信公眾號平臺: 人工智慧躺過的坑 大資料和人工智慧躺過的坑(總群): 161156071 更多QQ技術分群,詳情請見:http://www.cnblogs.com/zls
全網最詳細的一個超級好用的命令列工具【Cmder】的下載與安裝(圖文詳解)
不多說,直接上乾貨! 下載的時候,有兩個版本,分別是mini與full版;唯一的差別在於有沒有內建msysgit工具,這是Git for Windows的標準配備;全安裝版 cmder 自帶了 msysgit, 壓縮包 23M, 除了 git 本身這個命令之外, 裡面
Git學習系列之Windows上安裝Git詳細步驟(圖文詳解)
前言 最初,Git是用於Linux下的核心程式碼管理。因為其非常好用,目前,已經被成功移植到Mac和Windows作業系統下。 鑑於大部分使用者使用的是Windows作業系統,故,這裡詳細講解Windows作業系統下Git的安裝步驟。 當然我也會陸續寫出Linux和
全網最詳細的一個超級好用的命令列工具【Cmder】的安裝之後的一些配置(圖文詳解)
不多說,直接上乾貨! 1、修改命令提示符λ為$ 首先,我們看到 進入解壓後的cmder的目錄,進入vendor,開啟init.bat檔案。 修改第15行的程式碼 @prompt $E[1;32;40m$P$S
Git學習系列之CentOS上安裝Git詳細步驟(圖文詳解)
前言 最早Git是在Linux上開發的,很長一段時間內,Git也只能在Linux和Unix系統上跑。不過,慢慢地有人把它移植到了Windows上。現在,Git可以在Linux、Unix、Mac和Windows這幾大平臺上正常運行了。 要使用Git,第一步當然是安裝Git了。 首先