【分散式】hadoop安裝篇(7)Hadoop 3的偽分佈模式安裝
準備
$ sudo apt-get install ssh
$ sudo apt-get install pdsh
我們還需要設定pdsh的rcmd,執行下面內容。或建立/etc/pdsh/rcmd_default,裡面填入ssh
echo "ssh" > /etc/pdsh/rcmd_default
如果這步驟不設定,我們在啟動hdfs時,可能會報告
[email protected]:~/wei/hadoop/hadoop-3.1.0/sbin$ start-dfs.sh
Starting namenodes on [gsta005]
[email protected]: gsta005: rcmd: socket: Permission denied
Starting datanodes
[email protected]: localhost: rcmd: socket: Permission denied
Starting secondary namenodes [gsta005]
[email protected]: gsta005: rcmd: socket: Permission denied
設定免密碼登入的ssh
$ ssh-keygen -t rsa -P -f ~/.ssh/id_rsa $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys $ chmod 0600 ~/.ssh/authorized_keys 驗證 $ ssh localhost
配置和啟動hdfs
etc/hadoop/core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://191.8.2.45:9000</value> </property> <!-- 因為我在一臺機器內同時安裝了2.9.0版本和3.1.0版本,不採用預設的/tmp目錄,採用指定目錄方式--> <property> <name>hadoop.tmp.dir</name> <value>/home/gsta/wei/hadoop/hadoop-3.1.0/tmp</value> </property> </configuration>
etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
格式化hdfs
$ hdfs namenode -format
啟動hdfs
$ start-hdfs.sh
設定相關的資料夾 /user,/user/<username>,命令同v2版本
開啟web監控
http://191.8.2.45:9870
如果啟動的過程中報錯:
[email protected]:~/wei/hadoop$ start-dfs.sh
Starting namenodes on [gsta005]
gsta005: ERROR: JAVA_HOME is not set and could not be found.
[email protected]: gsta005: ssh exited with exit code 1
Starting datanodes
localhost: ERROR: JAVA_HOME is not set and could not be found.
[email protected]: localhost: ssh exited with exit code 1
Starting secondary namenodes [gsta005]
gsta005: ERROR: JAVA_HOME is not set and could not be found.
[email protected]: gsta005: ssh exited with exit code 1
則在hadoop-env.sh中指定JAVA_HOME
export JAVA_HOME=/home/wei/jdk1.8.0_66
配置和啟動yarn
etc/hadoop/mapred-site.xml:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.application.classpath</name>
<value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
</property>
</configuration>
etc/hadoop/yarn-site.xml:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>
啟動yarn
start-yarn.sh
web監控檢視
http://191.8.2.45:8088/
相關推薦
【分散式】hadoop安裝篇(7)Hadoop 3的偽分佈模式安裝
準備$ sudo apt-get install ssh $ sudo apt-get install pdsh我們還需要設定pdsh的rcmd,執行下面內容。或建立/etc/pdsh/rcmd_default,裡面填入sshecho "ssh" > /etc/pdsh
【分散式】hadoop安裝篇(4)Hadoop 2.x的偽分佈模式安裝
Hadoop偽分佈模式,是在一個單機上模擬Hadoop分散式環境,需要安裝的包括: HDFS:包括NameNode和DataNode Yarn:是執行mapReducede容器,包括ResourceManager和NodeManager準備$ sudo apt-get ins
【ML】Python準備篇(1)Anaconda環境安裝
我們將在Ubuntu Server上安裝Anaconda,並在其他機器上通過web來使用。 下載和安裝 上https://www.anaconda.com/download/網站進行下載 #【下載】download相應的安裝介質 $ wget https://repo.
【原創】EXCEL公式經驗(7)---EXCLE一般都是返回單個值得,如何寫公式返回多個匹配值?
(1)一般excel都只能在一個單元格,且是輸入公式的這個單元格,返回一個值 (2)少數情況,可以在這個一單元格返回多個值 (3)現在考慮的是,輸入公式後,可以返回多個值 看起來公式還是遵循了(1)原則 INDEX($A:$A
【原創】算法分享(7)最小二乘法
方法 最小值 幾何 adc 直線方程 dstat 技術分享 ecb image Ordinary Least Square 最小二乘法 提到最小二乘法要先提到擬合,擬合Fitting是數值分析的基礎工具之一,在二維平面上分為直線擬合和曲線擬合,直線擬合找到一條直線盡可能穿過
【mxGraph】原始碼學習:(7)mxCell
1. 概覽 mxCell是graph model的元素。它們表示graph中的group、vertex和edge的狀態。 對於自定義屬性,建議使用XML節點作為cell的值。以下程式碼可用於建立具有XML節點的cell作為值: var doc = mxUtils
【20171014】python_語言設計(7)面向過程程式設計
1.鉛球拋擲位置實時更新 from math import pi,sin,cos,radians def main(): angle = eval(input("Enter the launch angle (in degrees):")) vel = eval
【ML】Python準備篇(3)安裝pip
Linux安裝 $ sudo apt-get install python3-pig Windows版本 Python下載安裝有兩種方式: 下載zip檔案,解壓即用。 下載installer,進行安裝。 一般而言,我們喜歡第一種方式,就是綠色安裝。但是這種方式,我
【轉】Nodejs學習筆記(一)--- 簡介及安裝Node.js開發環境
ack 目錄 javascrip 難度 時間 網站開發 clas jetbrains 常用 目錄 學習資料 簡介 安裝Node.js npm簡介 開發工具 Sublime Node.js開發環境配置 擴展:安裝多版本管理器 學習資料 1.深入淺出Node.j
【計算機基礎】Java學習篇(四) 認識類與物件(打包器、陣列和字串)
介紹完基本型別,下面介紹類型別。 瞭解物件與參考的關係,認識打包器,以及陣列物件、字串物件。 一、類與物件 1.建立類 編寫程式需要使用物件(Object),產生物件必須先定義類(Class),類就像是設計圖,而物件是類
【程式設計師眼中的統計學(7)】正態分佈的運用:正態之美
作者 白寧超 2015年10月15日18:30:07 摘要:程式設計師眼中的統計學系列是作者和團隊共同學習筆記的整理。首先提到統計學,很多人認為是經濟學或者數學的專利,與計算機並沒有交集。誠然在傳統學科中,其在以上學科發揮作用很大。然而隨著科學技術的發展和機器智慧的普及,統計學在機器智慧中的作用越來
【機房報修管理系統】後端篇(六) 配置Cros解決跨域問題
一、前情提要 上一次我們使用了MyBatisGenerator解決了實體層和Dao層的開發,這一次我們來解決Cros跨域問題。 二、任務詳情 配置Cros攔截器 三、相關介紹 1.什麼是跨
【Dubbo實戰】基礎學習篇(一)
Dubbo的簡介是什麼?Dubbo是阿里巴巴SOA服務化治理方案的核心框架,每天為2,000多個服務提供30多億次訪問量支援,並被廣泛應用於阿里巴巴集團的各成員站點。Dubbo是一個分散式服務框架,致力
【nodejs原理&原始碼賞析(7)】【譯】Node.js中的事件迴圈,定時器和process.nextTick
目錄 Event Loop 是什麼? Event Loop 基本解釋 事件迴圈階段概覽 事件迴圈細節 timers pending callbacks poll
【php】面向對象(一)
打電話 成員方法 駝峰命名 bject 內部 自動 正在 自己 div 1. 學習面向對象的目標: a) 語法的學習: b) 編程思想的學習: i. 過程化: ii. 面向對象:2. 比較(有對象和沒對象的區別) a) 沒對象: i. 我餓了 自己
【php】面向對象(五)
row 操作類 面向對象 ssa getline var pre span 錯誤信息 一、 類型約束: a) 約束函數可傳入的參數類型二、 類的遍歷 a) Foreach b) 可以將類當中的所有成員屬性遍歷出來三、 關於操作類與對象的一些函數: a) 判斷函數
【php】面向對象(三)
lamp1 變量 步驟 efi 第一個 面向對象 我們 ati 單例 知識點關鍵詞:FSCICATS一、 f => final: a) 是一個修飾符,用來修飾類和成員方法 b) 使用final修飾符修飾的類不能被繼承,使用final修飾符修飾的成員方法,不能被重寫
Android自己定義組件系列【5】——進階實踐(2)
col fonts tle 適配 pack tom ica void log 上一篇《Android自己定義組件系列【5】——進階實踐(1)》中對任老師的《可下拉的PinnedHeaderExpandableListView的實現》前一部分進行了實現,這一篇我們來看看Ex
Python自動化開發課堂筆記【Day06】 - Python進階(類)
擴展性 程序 lex 類名 人物 優點 ini 參數 self. 類與對象 面向過程的程序設計: 優點:極大的降低了程序的復雜度 缺點:一套流水線或者流程就是用來解決一個問題,生產汽水的流水線無法生產汽車,即使能,也是得大改,改一個組件,牽一發而動全身面向對象的程序設計
【原創】淺談webview(一)——驚鴻一瞥
版本 開發 spa 占用 混合 原創 大量 功能性 內存泄漏 眾所周知,APP開發過程中經常會通過webview實現HTML5(H5)的渲染,實現H5和Native的混合開發(Hybrid Development)。Hybrid Development可以加速