2018/11/25 一次性搭建hdfs分散式叢集
整體思路:
1Vmware11 安裝Centos 6Minimal 教程
2使用minimal映象 安裝虛擬機器
A這一步就開始克隆,克隆的機器只需要改下主機名與windows——hosts裡面配置就能ping通
B:BOOTPROTO=static 改成靜態的,否則當你重新啟動那麼虛擬機器ip就會變,就連不上SecureCRT
上面如果出現問題,可以在這裡改:
VMware Workstation ——system——network connection
C:閘道器與ip的理解
在Vmware裡面看不到閘道器與ip,只能在編輯——虛擬網路器編輯裡面看子網ip與子網掩碼
只能在虛擬機器設定——網路介面卡——高階——看MAC地址
因此需要在windows——cmd——ipconfig看
D:克隆時,當eth0與eth1衝突,目前來看不影響ping,不知道以後會不會影響其他
解決原理:a將當下生成的mac地址刪除,並刪除配置檔案
or b將當下mac地址改成新生成的,並修改配置檔案,刪除eth0那一段,將eth1那段指向eth0
E:有時候,你克隆的時候網絡卡直接就直接是eth1,並沒有eth0,這個時候需要按照eth1來配
當然下次可以嘗試下面這種方法
就是上述的b+
按照以上操作,先手動生成mac,然後修改/etc/udev/rules.d/70-persistent-net.rules檔案,把eth1改為eth0,修改對於mac,最後修改/etc/sysconfig/network-scripts/ifcfg-eth0檔案的mac,重啟網路後失敗,重啟伺服器後,70-persistent-net.rules又會重新生成一個eth1。
解決上述問題就是,用重新生成的eth1中的mac,來替換/etc/sysconfig/network-scripts/ifcfg-eth0檔案的mac,然後重啟服務,問題就解決了。
F:需關閉防火牆:
關閉防火牆:service iptables stop
關閉防火牆自啟: chkconfig iptables off
3連線SecureCRT,配置免密登入
按照之前方法複雜度:n(n-1)
下面方法複雜度:2n
ssh免密登入
1.安裝ssh. sudo apt-get install ssh. 安裝完成後會在~目錄(當前使用者主目錄,即這裡的/home/xuhui)下產生一個隱藏資料夾.ssh(ls -a 可以檢視隱藏檔案)。如果沒有這個檔案,自己新建即可(mkdir .ssh). 2.進入.ssh目錄下面,在每臺機器上執行:ssh-keygen -t rsa 之後一路回車,產生金鑰; 3。完成第二步後會產生兩個檔案: id-rsa #私鑰 id-rsa.pub #公鑰 4.在第一臺機器的目錄.ssh下執行命令,cat id-rsa.pub >> authorized_keys;此後.ssh下面會出現authorized_keys檔案。 5.然後將第一臺機器的.ssh目錄下面的authorized_keys檔案拷貝到第二臺計算機的.ssh目錄下,如:scp authorized_keys [email protected]:~/.ssh/ 6.再轉到第二臺機器的.ssh目錄下,會發現剛剛傳輸過來的檔案-authorized_keys,然後執行命令,將第二臺計算機的公鑰也加進來,如:cat id-rsa.pub >> authorized_keys. 7.將第二臺計算機新生成的authorized_keys傳輸第三臺計算機,將第三臺計算機的公鑰-id-rsa.pub新增到從第二臺計算機傳過來的authorized_keys裡面。 8.依次類推,直至最後一臺計算機。 9.在最後一臺計算機執行完新增後,生成的authorized_keys檔案就包含所有計算機的公鑰,如果以後還有機器加進來,可以直接新增到檔案-authorized_keys。最後,將最後生成的authorized_keys複製到每一臺計算機的.ssh目錄下,覆蓋掉之前的authorized_keys。 10.完沉第九步後,就可以在任意一臺計算機上,免密碼ssh登入到其他計算了。(轉載https://www.cnblogs.com/hrx-star/p/5795765.html)
按照上述方法最後出來,slave不能連線到master,可是那個authorized_keys檔案含有所有檔案的公鑰
4linux下安裝jdk
A軟連結的目的:類似於windows中的快捷方式
B具體配置主要是配置版本以及環境變數
Echo是為用Java開發Web應用程式提供的一個面向物件,事件驅動的框架
Echo 命令:打開回顯或關閉請求回顯功能,或顯示訊息。如果沒有任何引數,echo 命令將顯示當前回顯設定。
C:scp報錯 -bash:scp:command not found
檢視openssh相關包: rpm -qa openssh*
解決方式:yum 安裝openssh客戶端 yum install opensssh-clients
5搭建hdfs分散式叢集
我現在的問題是子節點datanode無法顯示出來
估計原因:nameNode進行format多次,導致nameNode和dataNode的版本不一致;
嘗試方法:1刪除tmp檔案,重新格式化處理
2修改每個Slave的clusterID使其與Master的clusterID一致。
都不行
1 上面5步本來是從第2步開始就應該有多臺機器,可是我現在打算從第一步直接操作到hadoop檔案配置中的:5) 啟動HDFS前,那麼相應地也只需要更改一下主機名以及windows設定就行
2多去嘗試網上hadoop安裝方法
3先看文件,一定先搞懂原理,再進行操作
4具體如何去看對應的日誌,還需要解決
相關推薦
2018/11/25 一次性搭建hdfs分散式叢集
整體思路: 1Vmware11 安裝Centos 6Minimal 教程 2使用minimal映象 安裝虛擬機器 A這一步就開始克隆,克隆的機器只需要改下主機名與windows——hosts裡面配置就能ping通 B:BOOTPROTO=static 改成靜態的,否則當你重新啟動那麼
2018/11/25 一次性搭建hdfs分散式叢集
整體思路: 1Vmware11 安裝Centos 6Minimal 教程 2使用minimal映象 安裝虛擬機器 A這一步就開始克隆,克隆的機器只需要改下主機名與windows——hosts裡面配置就能ping通 B:BOOTPROTO=static 改成靜態的,否則
day2-搭建hdfs分散式叢集
1、搭建hdfs分散式叢集 4.1 hdfs叢集組成結構: 4.2 安裝hdfs叢集的具體步驟: 一、首先需要準備N臺linux伺服器 學習階段,用虛擬機器即可! 先準備4臺虛擬機器:1個namenode節點 + 3 個datanode 節點  
在搭建Hadoop 分散式叢集的時候,多次格式化檔案系統,啟動hdfs,yarn,後jps 發現datanode為啟動
可以參考:https://www.cnblogs.com/dxwhut/p/5679501.html https://blog.csdn.net/baidu_15113429/article/details/53739734 https://www.cnblogs.com/lishpei/p
2018/11/25 Vue 2.9.x 腳手架搭建
今日總結: 用Velocity.js 實現JS動畫 Vue 開發環境準備以及腳手架搭建 Vs code 的 ESLint 配置 多頁應用與單頁應用區別 防止圖片沒載入完後續內容受到抖動的影響 用Velocity.js 實現JS動畫 1.用Velocity.
centos7.3中搭建hadoop分散式叢集環境詳細過程
一、準備工作 1、準備3臺物理機或者虛擬機器; 2、安裝centos7系統; 3、準備好相關軟體包並拷貝相關軟體到目標伺服器上 hadoop-2.9.0.tar.gz jdk-8u131-linux-x64.tar.gz 二、配置網路 1、設定靜態網路ip 1)設定靜
Spark學習筆記(三) Ubuntu搭建Hadoop分散式叢集
Ubuntu搭建Hadoop分散式叢集 執行環境 配置目標 搭建Hadoop分散式叢集步驟 1 搭建master 1.1 安裝JDK 1.2 安裝SSH 1.3 安裝Hadoop 2
搭建ELK日誌分析平臺(上)—— ELK介紹及搭建 Elasticsearch 分散式叢集
轉:http://blog.51cto.com/zero01/2079879 筆記內容:搭建ELK日誌分析平臺(上)—— ELK介紹及搭建 Elasticsearch 分散式叢集筆記日期:2018-03-02 27.1 ELK介紹 27.2 ELK安裝準備工作 27.3 安
2018.11.25日脈象記錄
加強 時間 兩個 都在 力度 發現 目的 11.2 1.2 2018.11.22日改方子 變化: 柴胡從9克減為6克 //感冒的癥狀減退? 天花粉15克加到30克 //這四個變化的原因都是附子+黨參導致的血熱,出汗,血虧,水少 大棗從4
安裝第三方包 2018.11.25
第一種 先在cmd中將pip升級到最新版本、輸入: python -m pip install --upgrade pip 檢查是否更新成功、輸入: pip show pip 安裝包、輸入: pip install 包名 第二種 在pycharm設定中安裝 file->Settin
安裝第三方包 2018.11.25
並且 ade 最新版本 顯示 下載 erp pip升級 技術分享 pycharm設置 第一種 先在cmd中將pip升級到最新版本、輸入: python -m pip install --upgrade pip 檢查是否更新成功、輸入: pip show pip 安
2018.11.25 struts2與OGNL表示式的結合
兩者的結合原理 底層原始碼分析 棧原理 先進後出 我們的valuestack其實是一個介面 在實現類中有這個引數 CompoundRoot的類繼承的是ArrayList,具體實現彈棧和壓棧的方法具體實現原理 在OgnlValueStac
T^T(1)問題(2018.11.25)
這真的是我被顏表情皮的最慘的一次。。。沒有之一。。。 描述: T^T這個很像一個流淚的表情是不是!其實,它是T的T次方啦~。 當T比較大的時候T^T會非常大,現在只要你求這個數的個位就可以啦。 輸入: 輸入包括多組測試資料,每個測試資料只有一個數字T(0<T<2^31) 輸出:
2018-11-25
簡單流程(無返回值)code1 = 'for i in range (0,10):print(i)' compile1 = compile(code1,'','exec') exec(compile1) 簡單計算(有返回值) code2 = '1+2+3+4' compile2 = compile(co
2018-11-25隨筆-今天談談C++嵌入Python指令碼中遇到的問題
由於現在很多底層協議用C/C++,然後機器學習或者深度學習等演算法模型使用基於Python的TensorFlow來實現。所以現在C++用來做框架,做軟體介面,然後呼叫Python的演算法指令碼來進行計算是很常見的需求。 我們的專案中也存在著這樣的需求。下面來記錄一下相應的實現方式。 背景:C++上用MFC
2018.11.25 詞彙課 一
在不同的使用場景中,對詞彙的要求不同。 1閱讀詞彙:篇章語意,以讀懂長難句為主 2完型填空詞彙 :動詞片語,介詞片語 ,關鍵是語法和近義詞辨析,考的都是名詞 動詞 和介詞 3短文完成:近義詞辨析 長難句 4寫作詞彙:句子結構 寫作詞彙-
2018.11.25 AMC-ICPC 亞洲區域賽(焦作站)吊銀
11月23日 大清早,跟著wyb的腳步,早起跑過去聽方偉的編譯原理,然鵝一點都沒聽進去,在焦作胡辣湯群裡瘋狂灌水。。。 聽說焦作那邊冷得不行,前一天看天氣預報說那邊已經是2℃了,都快零下了,然鵝學校里正好都沒有厚的衣服。看隊友一個披著黑色大衣,另一個全身裹得嚴嚴實實,而我只有秋裝三件套,外套毛衣T恤衫,我
【省內訓練2018-11-25】Factorization
【思路要點】 用類似 M i
【省內訓練2018-11-25】Decomposition
【思路要點】 考慮計算每一個數的貢獻,即列舉一個數 i i
康貓100天-第一天-redis入門-2018-11-25
1. zset(sorted set)操作 1.1 在set型別基礎上每個元素都關聯了一個分數,可以根據分數區間獲取元素 1.2 與list區別:list是通過連結串列實現,獲取兩端資料極快,訪問中間資料較慢,適合實現日