原創作品，出自 “深藍的blog” 部落格，歡迎轉載，轉載時請務必註明出處，否則追究版權法律責任。

【簡介】

        個人在oracle路上的成長記錄，其中以藍自喻，分享成長中的情感、眼界與技術的變化與成長。敏感資訊均以其它形式去掉，不會洩露任何企業機密，純為技術分享。

        創作靈感源於對自己的自省和記錄。若能對剛剛起步的庫友起到些許的幫助或共鳴，欣慰不已。

        歡迎拍磚，如有關技術細節表述有錯誤之處，請您留言或郵件（[email protected]）指明，不勝感激。

【前言】

       這是一部個人記錄的成長雜記，既然步入到oracle的這片藍海，免不了一路的奔波與不斷的考驗。藉由此雜記與庫友們分享藍的成長曆程。

       不知何時起對藍有了一種說不出來的痴迷，痴迷其廣博，痴迷其深邃，痴迷於近在咫尺卻又遙不可及。

       而又說不清從何時起，注視於oracle的紅色耀眼，照亮出眼前的一道光，未知與迷惑在自己的腳下開始初露些許人生的充實與青春的回饋。

       在追逐於DBA夢想的道路上步步前行。

篇章一：忘不掉的地平線，雲端初探

沒有目標的人走到哪裡都感覺是在流浪，反之，確立目標，漂泊中亦會感受到靠近夢想的充實。

                                                                                                                                                            ——深藍

2014年追憶於淄博

安靜怡然，按計而施，

平臺改造，雲端的初探，

簡單的問題，經驗的代價。

        初來淄博，便被這裡的寧祥所折服，沒有庸碌的人群，沒有嘈雜的爭吵，有著一份慢節奏的生活態度與泰然處之的生活原則。

        這次的任務還算比較簡單，是把WAS應用服務遷移到雲平臺上的一臺伺服器中。根據之前的實施經驗，還算順利。但是對於“雲”這個概念，我是完全不瞭解。就在完成了本職工作的同時，與另外一家開發公司的開發人員交流過程中，讓我第一次接觸到了hadoop的有關知識。雖說有點迷茫，有點忙亂，聽起來的雲，有那麼點懸乎~~真像描述的那樣，輕飄飄，似乎難以觸及。

        迷糊歸迷糊，但還是有了些收穫，知道了幾個名詞，瞭解了什麼是“雲戰略部署”。

        說到“雲”，它所實現的目標，有了第一次的認識，簡要總結如下四點：

         1、共享資源，集中分散的硬體資源，提高軟體資源利用率、硬體資源利用率；

         2、共享資料，資料集中儲存，提高資訊共享、統計分析、資料深度挖掘能力；

         3、共享服務，計算超大資料、超強計算、超大儲存能力；

         4、共享應用，基於雲平臺開發升級應用系統。

        接下來是另一個任務，濟南的遷移任務。帶著尚留餘溫的“雲”思緒，踏上了前往濟南的大巴。

        濟南的任務，依舊是向雲平臺遷移。但這次並沒有更多的瞭解到“雲”，留下了些許的遺憾，作為一個純純的看客，匆匆而去。

篇章二：有幸觸碰分散式，學習hadoop實施

擁抱大資料，擁抱分散式資料庫。

                                                                    ——深藍

        在年輕的IT行業裡，oracle出現在這個時代裡，因為時代賦予了其使命。未來圍繞資料發展的技術或許會翻天覆地，正如我們眼前的hadoop，我們可能無法預見。但在這一切來臨之前，我們要儘快跟上這波“大資料”的助推劑。未來的資料形態必然遵循歷史的發展脈絡，發展始於理論，但最終必然落地於實用性。另一方面，相信對於技術開發而言，終究有一天會被完善而又高效的技術所“大一統”，那個時候，想必也正是IT領域真正進入到鼎盛期的標誌。而伴隨其中資料庫技術，相信也會由硝煙瀰漫的技術紛爭歸於平靜，呈現給我們一種清晰、明確、高效的後臺資料架構。

        對於未來，我們無從把握，只能立足於現在，厚積薄發。

        由於公司系統針對hadoop的開發改造，比較幸運的，第一次接觸到了hadoop。接下來就簡單捋順下搭建思路，對於犯下的錯誤做一個簡單總結。

        具體的部署細節，這裡暫時不做列舉，只列出搭建的大致思路，希望可以對hadoop的部署有一個初步的認識：

1、安裝CentOS 6.4作業系統（64bit）；
2、配置網路，遠端連線作業系統
3、安裝JDK
4、修改主機名並配置host檔案（多節點IP解析）
5、關閉防火牆
6、關閉SElinux
7、配置JAVA_HOME
8、配置yum源
9、新增雲使用者
10、安裝雲管理控制檯
11、通過管理控制檯安裝nameNode節點（主節點）
12、通過管理控制檯安裝dataNode節點（分散式多節點）

        看看這樣的流程下來，能否感覺到，好像“雲”並不是那樣神祕和難以捉摸。但在這一路安裝流程下，還是犯了幾個低階的錯誤，做個簡單總結：

第一道坎：HTTP服務

錯誤認識的yum配置

在部署hadoop時需要配置yum源來完成後續的安裝。對於熟悉linux的老鳥來說，yum源配置是非常簡單的。但我這次犯得錯誤來自於對於yum配置理解不全面。在以往，使用yum是安裝oracle時配置yum工具安裝需要的包。使用的是“file:///cdrom1”這種以file作為開頭的路徑檔案。這樣當然簡單，只需要把光碟掛載到cdrom1目錄下即可。而這次從研發那裡拿來的repo原始檔中使用到的是“http://...”這種路徑。這個其實也不難，需要搭建一個http伺服器，然後在hosts解析檔案中對映http伺服器的IP地址即可。

         這裡使用apache搭建http伺服器，網站上下載如下檔案：

一路點選下一步，到達如下配置介面，進行本機配置。

        安裝結束時，會彈出cmd錯誤提示框，按esc退出即可，彈出錯誤是因為http伺服器預設埠80被計算機其它裝置所佔用的原因。安裝完成後在配置檔案修改埠號即可。

        如下圖，安裝完成後無法啟動apache服務。

找到配置檔案，用編輯器開啟，如下圖：

將埠號由80改為8080，如下圖：

修改後，再次啟動apache服務即可，如下圖：

瀏覽器中輸入http伺服器地址，出現下圖即為安裝成功（這裡驗證本地伺服器所以輸入localhost即可，遠端時輸入IP地址），如下圖：

這時，只需要把預設路徑下的檔案替換為yum源所指向的檔案即可。

例如這樣：

試著訪問一下就可以看到效果，如下圖：

以上是在win7下操作，建議使用win2008進行配置http伺服器，並且配置使其使用80埠。

配置http伺服器後，就可以在yum源中配置諸如“http://”格式的路徑地址了，例如：

baseurl = http://archive.cloudera.com/cloudera-hadoop/search/redhat/6/x86_64/search/1.1.0/，其中需要把archive.cloudera.com新增到hosts檔案中，如下：

vi /etc/hosts

192.168.56.1  archive.cloudera.com

第二道坎： cloudera管理控制檯安裝錯誤——http路徑不正確

這是在配置完yum源後，執行安裝cloudera控制檯的bin檔案時，報錯如下：

根據上圖提示，檢視報錯日誌，如下：

[[email protected] opt]# cat /var/log/cloudera-manager-installer/3.install-cloudera-manager-server.log

Loaded plugins: fastestmirror, refresh-packagekit, security

Loading mirror speeds from cached hostfile

Setting up Install Process

Resolving Dependencies

--> Running transaction check

---> Package cloudera-manager-server.x86_64 0:4.8.0-1.cm480.p0.50.el6 will be installed

--> Processing Dependency: cloudera-manager-daemons = 4.8.0 for package: cloudera-manager-server-4.8.0-1.cm480.p0.50.el6.x86_64

--> Running transaction check

---> Package cloudera-manager-daemons.x86_64 0:4.8.0-1.cm480.p0.50.el6 will be installed

--> Finished Dependency Resolution

Dependencies Resolved

================================================================================

 Package                  Arch   Version                 Repository        Size

================================================================================

Installing:

 cloudera-manager-server  x86_64 4.8.0-1.cm480.p0.50.el6 cloudera-manager 7.7 k

Installing for dependencies:

 cloudera-manager-daemons x86_64 4.8.0-1.cm480.p0.50.el6 cloudera-manager 147 M

Transaction Summary

================================================================================

Install       2 Package(s)

Total download size: 147 M

Installed size: 201 M

Downloading Packages:

http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4.8.0/RPMS/x86_64/cloudera-manager-daemons-4.8.0-1.cm480.p0.50.el6.x86_64.rpm: [Errno -1] Package does not match intended download. Suggestion: run yum --enablerepo=cloudera-manager clean metadata

Trying other mirror.

http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4.8.0/RPMS/x86_64/cloudera-manager-server-4.8.0-1.cm480.p0.50.el6.x86_64.rpm: [Errno -1] Package does not match intended download. Suggestion: run yum --enablerepo=cloudera-manager clean metadata

Trying other mirror.

Error Downloading Packages:

  cloudera-manager-daemons-4.8.0-1.cm480.p0.50.el6.x86_64: failure: RPMS/x86_64/cloudera-manager-daemons-4.8.0-1.cm480.p0.50.el6.x86_64.rpm from cloudera-manager: [Errno 256] No more mirrors to try.

  cloudera-manager-server-4.8.0-1.cm480.p0.50.el6.x86_64: failure: RPMS/x86_64/cloudera-manager-server-4.8.0-1.cm480.p0.50.el6.x86_64.rpm from cloudera-manager: [Errno 256] No more mirrors to try.

解決：

（1）、最後將問題鎖定在目錄上，如下：

http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4.8.0/RPMS/x86_64/ cloudera-manager-server-4.8.0-1.cm480.p0.50.el6.x86_64.rpm

（2）、到http伺服器檢視發現路徑，如下：

http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4.8.0/RPMS/ cloudera-manager-server-4.8.0-1.cm480.p0.50.el6.x86_64.rpm

對比（1）、（2）可以發現，在http伺服器中缺少了第二個x86_64目錄，於是到http伺服器中新增x86_64目錄。

再次執行，不再報此錯誤。

補充：

對於http伺服器中，在新增目錄時，如果某訪問目錄中存在引導的“索引檔案（html目錄檔案）”，如下圖，需要將其刪除，否則將無法建立新的目錄。

補充完畢。

第三道坎：cloudera管理控制檯安裝錯誤——缺少postgresql包

當解決了路徑問題後，再次執行安裝cloudera的bin檔案時，又一次報錯了，如下：

提示檢視日誌檔案，於是再一次檢視配置檔案，如下：

[[email protected] opt]# cat /var/log/cloudera-manager-installer/4.install-cloudera-manager-server-db.log

Loaded plugins: fastestmirror, refresh-packagekit, security

Loading mirror speeds from cached hostfile

Setting up Install Process

Resolving Dependencies

--> Running transaction check

---> Package cloudera-manager-server-db.x86_64 0:4.8.0-1.cm480.p0.50.el6 will be installed

--> Processing Dependency: postgresql-server >= 8.0 for package: cloudera-manager-server-db-4.8.0-1.cm480.p0.50.el6.x86_64

--> Finished Dependency Resolution

Error: Package: cloudera-manager-server-db-4.8.0-1.cm480.p0.50.el6.x86_64 (cloudera-manager)

           Requires: postgresql-server >= 8.0
You could try using --skip-broken to work around the problem
You could try running: rpm -Va --nofiles –nodigest

解決：

檢視日誌發現，提示安裝需要postgresql-server在8.0以上版本，於是使用yum方式（postgresql-server包存在依賴關係，需要使用yum安裝）進行安裝。如下操作：

[[email protected] yum.repos.d]# yum install -y postgresql-server*

Loaded plugins: fastestmirror, refresh-packagekit, security

Loading mirror speeds from cached hostfile

Setting up Install Process

Resolving Dependencies

--> Running transaction check

---> Package postgresql-server.x86_64 0:8.4.13-1.el6_3 will be installed

--> Finished Dependency Resolution

Dependencies Resolved

================================================================================================================

 Package                         Arch                 Version                         Repository           Size

================================================================================================================

Installing:

 postgresql-server               x86_64               8.4.13-1.el6_3                  debug               3.4 M

Transaction Summary

================================================================================================================

Install       1 Package(s)

Total download size: 3.4 M

Installed size: 14 M

Downloading Packages:

Running rpm_check_debug

Running Transaction Test

Transaction Test Succeeded

Running Transaction

Warning: RPMDB altered outside of yum.

  Installing : postgresql-server-8.4.13-1.el6_3.x86_64                                                      1/1 

  Verifying  : postgresql-server-8.4.13-1.el6_3.x86_64                                                      1/1 

Installed:

  postgresql-server.x86_64 0:8.4.13-1.el6_3                                                                     

Complete!

        至此，經過了三次周折後，終於管理控制檯順利安裝完成。

        接下來完成配置（步驟略），最後完成hadoop配置後，進入到了管理介面，如下圖所示：

        對於hadoop的學習，這是一個起步，面對紅火的“資料庫”領域，看來除了oracle，也應該補充些新興的技術了。

*******************************************藍的成長記系列_20150820*************************************

******************************************************************************************************************

原創作品，出自 “深藍的blog” 部落格，歡迎轉載，轉載時請務必註明出處，否則追究版權法律責任。