1. 程式人生 > >Hadoop環境搭建(JDK+hadoop+ssh)

Hadoop環境搭建(JDK+hadoop+ssh)

hadoop環境搭建
-------------------------
	1.安裝hadoop
		a)下載hadoop-2.7.3.tar.gz
		b)tar開
			$>su centos ; cd ~
			$>cp /mnt/hdfs/downloads/bigdata/hadoop-2.7.3.tar.gz ~/downloads
			$>tar -xzvf hadoop-2.7.3.tar.gz
		c)無
		d)移動tar開的檔案到/soft下
			$>mv ~/downloads/hadoop-2.7.3 /soft/
		e)建立符號連線
			$>ln -s /soft/hadoop-2.7.3 /soft/hadoop
		f)驗證jdk安裝是否成功
			$>cd /soft/hadoop/bin
			$>./hadoop version
	
	2.配置hadoop環境變數(包括jdk和hadoop)
		$>sudo nano /etc/profile
		...
		export JAVA_HOME=/soft/jdk
		exprot PATH=$PATH:$JAVA_HOME/bin

		export HADOOP_HOME=/soft/hadoop
		export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
	
	3.使配置檔案生效
		$>source /etc/profile

配置hadoop
--------------------
	1.standalone(local)
		nothing !
		不需要啟用單獨的hadoop程序。
	
	2.Pseudodistributed mode
		偽分佈模式。
		a)進入${HADOOP_HOME}/etc/hadoop目錄
		b)編輯core-site.xml
			<?xml version="1.0"?>
			<configuration>
				<property>
					<name>fs.defaultFS</name>
					<value>hdfs://localhost/</value>
				</property>
			</configuration>
		c)編輯hdfs-site.xml
			<?xml version="1.0"?>
			<configuration>
				<property>
					<name>dfs.replication</name>
					<value>1</value>
				</property>
			</configuration>
		d)編輯mapred-site.xml
			注意:cp mapred-site.xml.template mapred-site.xml
			<?xml version="1.0"?>
			<configuration>
				<property>
					<name>mapreduce.framework.name</name>
					<value>yarn</value>
				</property>
			</configuration>
		e)編輯yarn-site.xml
			<?xml version="1.0"?>
			<configuration>
				<property>
					<name>yarn.resourcemanager.hostname</name>
					<value>localhost</value>
				</property>
				<property>
					<name>yarn.nodemanager.aux-services</name>
					<value>mapreduce_shuffle</value>
				</property>
			</configuration>

		f)配置SSH
			1)檢查是否安裝了ssh相關軟體包(openssh-server + openssh-clients + openssh)
				$yum list installed | grep ssh

			2)檢查是否啟動了sshd程序
				$>ps -Af | grep sshd
			
			3)在client側生成公私祕鑰對。
				$>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
			
			4)生成~/.ssh資料夾,裡面有id_rsa(私鑰) + id_rsa.pub(公鑰)

			5)追加公鑰到~/.ssh/authorized_keys檔案中(檔名、位置固定)
				$>cd ~/.ssh
				$>cat id_rsa.pub >> authorized_keys
			
			6)修改authorized_keys的許可權為644.
				$>chmod 644 authorized_keys
			
			7)測試
				$>ssh localhost

相關推薦

Hadoop環境搭建JDK+hadoop+ssh

hadoop環境搭建 ------------------------- 1.安裝hadoop a)下載hadoop-2.7.3.tar.gz b)tar開 $>su centos ; cd ~ $>cp /mnt/hdfs/download

hadoop環境搭建linux單機版

mapred 單機 keygen opts -c 配置 驗證 bsp 服務 一、在Ubuntu下創建hadoop用戶組合hadoop用戶 1、創建hadoop用戶組 addgroup hadoop 2、創建hadoop用戶 adduser -ingrou

java web開發環境搭建jdk+Tomcat+EclipseEclipse食用方法

首先-什麼是web應用程式? -可以用瀏覽器直接訪問的應用程式,不需要安裝其他軟體。 軟體開發領域的三大方向:桌面應用程式(C/S)、web應用程式 、嵌入式應用程式(安卓 iphone) 而ja

HDFS環境搭建單節點配置 hadoop叢集搭建hdfs

【參考文章】:hadoop叢集搭建(hdfs) 1. Hadoop下載   官網下載地址:   https://hadoop.apache.org/releases.html,進入官網根據自己需要下載具體的安裝包   清華大學安裝包的映象檔案下載地址:   https://mirrors.tuna.

Hadoop環境搭建為分散式

安裝前準備(centos): 1)設定普通使用者以及設定sudo許可權----------- -----useadd hadoop -----passwd hadoop --[root]--visudo 2)關閉防火牆 ---- service iptables stop  3)設定主

Hadoop環境搭建為分布式

分布 site 永久 red 成功 manage 綁定 daemon replicat 安裝前準備(centos): 1)設置普通用戶以及設置sudo權限----------- -----useadd hadoop -----passwd hadoop --[root]--

Hadoop專案開發環境搭建Eclipse\MyEclipse + Maven

寫在前面的話     可詳細參考,一定得去看   我這裡,相信,能看此部落格的朋友,想必是有一定基礎的了。我前期寫了大量的基礎性博文。可以去補下基礎。 步驟一:File  ->  New  -> Project   ->  Maven Project

java開發環境搭建jdk安裝和經常出現問題的探討

面對許多java初學者環境搭建出現的問題 第一步: 1,首先在可以百度jdk進入oracle的官網也可以進入這個網站 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 2,下載完

騰訊雲CentOS7環境搭建JDK、MySQL、Tomcat

準備工作: JDK下載,連結:https://pan.baidu.com/s/18V-JxhPydNSHCaG_OuDNqg  提取碼:ctus  Toncat下載,連結:https://pan.baidu.com/s/1dOY0M8-wkrp0Do5NFWNs2g  提

hadoop叢集搭建超詳細版

1.準備好需要安裝的軟體虛擬機器VMware12.pro作業系統CentOS 6.5遠端控制虛擬機器的終端SecureCRT8.12.在虛擬機器中安裝CentOS作業系統安裝好虛擬機器,圖形介面如下圖建立新的虛擬機器,選擇自定義(高階),點選下一步虛擬機器硬體相容性預設,瀏覽

Hadoop叢集搭建三臺電腦

電腦的作業系統是Ubuntu12.04 32位,ubuntu-12.04.4-desktop-i386.iso。 叢集介紹:         三臺電腦的使用者名稱都為hadoop        主機名:master    10.10.6.176        服務機:sl

javaEE基本環境搭建JDK 、Tomcat、MySQL、Navicat、maven、git、IDEA

一、JDK 安裝配置 下載後點擊執行它,一步一步安裝至成功,不要怕就下一步下一步來。 注意:64位和32位按照各自電腦多少位來安裝哈!!! 安裝後並不能直接使用,要配置環境變數,步驟如下: 1、開啟計算機→屬性→高階系統設定→環境變數 2、系統

CentOS7.2環境搭建JDK、MySQL、Tomcat

一、JDK安裝配置 1、檔案準備 下載 jdk-8u151-linux-x64.tar.gz 連結:https://pan.baidu.com/s/1JHIHk9bGjgoWaziByhqGdQ    提取碼:lslk  2、目錄準備 命令(進入目錄):cd

jumpserver-0.3.2 堡壘機環境搭建圖文詳解

其他 install yum mage -128 req isa 解決 qq密碼 下載安裝包:https://github.com/jumpserver/jumpserver.git 解壓 三、執行快速安裝腳本 cd /opt/jumpserver/install pip

註冊中心 Eureka 源碼解析 —— 調試環境搭建含源碼

Java 架構 依賴工具GradleJDKIntelliJ IDEA 源碼拉取https://github.com/Netflix/eureka.git使用 IntelliJ IDEA 從 Fork 出來的倉庫拉取代碼。拉取完成後,Gradle 會下載依賴包,可能會花費一些時間,耐心等待下。 本文基

手機自動化測試環境搭建eclipse+python+uiautomator

list fig finish java環境 pda 所有 開發 界面 自己 最近在公司做了一個階段的手機APP自動化測試,是在已有的環境基礎上進行腳本開發,所有對基礎的環境搭建不是很清楚,後來自己閑來無事就在家裏搭建了一下下,接下來和大家分享一下搭建過程。 一:搭建手機A

Appium+python自動化環境搭建小白適用

pri 一個 選中 sdk JD size 4.2 KS microsoft 寫在前面: 沒開始搭建前聽好多人說,學習appium80%的人都死於環境搭建,所以一開始很緊張,在搭建環境中也確實遇到了好幾個問題,由於之前本人使用app測試經驗很少,所以相當於app小白,因此有

Kafka:ZK+Kafka+Spark Streaming集群環境搭建二十五Structured Streaming:同一個topic中包含一組數據的多個部分,按照key它們拼接為一條記錄以及遇到的問題

eas array 記錄 splay span ack timestamp b- each 需求: 目前kafka的topic上有一批數據,這些數據被分配到9個不同的partition中(就是發布時key:{m1,m2,m3,m4...m9},value:{records

ELK 環境搭建Elasticsearch+Logstash+Kibana

官網下載地址 https://www.elastic.co/cn/downloads 在安裝Elk之前,首先需要檢查jdk環境是不是1.8版本的,這個軟體暫時不相容jdk1.9。 java -version Elasticsearch 在/usr/local/目錄下建立elk資料

Spark開發環境搭建IDEA、Maven

在搭建開發環境之前,請先安裝好scala開發環境和spark: scala:https://blog.csdn.net/qq_39429714/article/details/84332869 spark:https://blog.csdn.net/qq_39429714/article/d