2. 程式人生 > >Hadoop用戶重新部署HDFS

Hadoop用戶重新部署HDFS

阿新 • • 發佈：2018-05-19
Hadoop

前言：
在這篇文章中https://www.jianshu.com/p/eeae2f37a48c
我們使用的是root用戶來部署的，在生產環境中，一般某個組件是由某個用戶來啟動的，本篇文章介紹下怎樣用hadoop用戶來重新部署偽分布式(HDFS)

1.前期準備

創建hadoop用戶，及配置ssh免密登錄
參考：https://www.jianshu.com/p/589bb43e0282

2.停止root啟動的HDFS進程並刪除/tmp目錄下的存儲文件
[root@hadoop000 hadoop-2.8.1]# pwd
/opt/software/hadoop-2.8.1
[root@hadoop000 hadoop-2.8.1]# jps
32244 NameNode
32350 DataNode
32558 SecondaryNameNode
1791 Jps
[root@hadoop000 hadoop-2.8.1]# sbin/stop-dfs.sh 
Stopping namenodes on [hadoop000]
hadoop000: stopping namenode
localhost: stopping datanode
Stopping secondary namenodes [0.0.0.0]
0.0.0.0: stopping secondarynamenode
[root@hadoop000 hadoop-2.8.1]# jps
2288 Jps
[root@hadoop000  hadoop-2.8.1]# rm -rf /tmp/hadoop-* /tmp/hsperfdata_*
3.更改文件屬主
[root@hadoop000 software]# pwd
/opt/software
[root@hadoop000 software]# chown -R hadoop:hadoop hadoop-2.8.1
4.進入hadoop用戶 修改相關配置文件
#第一步:
[hadoop@hadoop000 hadoop]$ pwd
/opt/software/hadoop-2.8.1/etc/hadoop
[hadoop@hadoop000 hadoop]$ vi hdfs-site.xml 
<configuration&gt;
<property&gt;
<name&gt;dfs.replication&lt;/name&gt;
<value&gt;1&lt;/value&gt;
</property&gt;
<property&gt;
<name&gt;dfs.namenode.secondary.http-address&lt;/name&gt;
<value&gt;192.168.6.217:50090&lt;/value&gt;
</property&gt;
<property&gt;
<name&gt;dfs.namenode.secondary.https-address&lt;/name&gt;
<value&gt;192.168.6.217:50091&lt;/value&gt;
</property&gt;
</configuration&gt;
#第二步：
[hadoop@hadoop000 hadoop]$ vi core-site.xml 
<configuration&gt;
<property&gt;
<name&gt;fs.defaultFS&lt;/name&gt;
<value&gt;hdfs://192.168.6.217:9000&lt;/value&gt;
</property&gt;
</configuration&gt;
#第三步：
[hadoop@hadoop000 hadoop]# vi slaves 
192.168.6.217
5.格式化和啟動
[hadoop@hadoop000 hadoop-2.8.1]$ pwd
/opt/software/hadoop-2.8.1
[hadoop@hadoop000 hadoop-2.8.1]$ bin/hdfs namenode -format
[hadoop@hadoop000 hadoop-2.8.1]$ sbin/start-dfs.sh
Starting namenodes on [hadoop000]
hadoop000: starting namenode, logging to /opt/software/hadoop-2.8.1/logs/hadoop-hadoop-namenode-hadoop000.out
192.168.6.217: starting datanode, logging to /opt/software/hadoop-2.8.1/logs/hadoop-hadoop-datanode-hadoop000.out
Starting secondary namenodes [hadoop000]
hadoop000: starting secondarynamenode, logging to /opt/software/hadoop-2.8.1/logs/hadoop-hadoop-secondarynamenode-hadoop000.out
[hadoop@hadoop000 hadoop-2.8.1]$ jps
3141 Jps
2806 DataNode
2665 NameNode
2990 SecondaryNameNode
#至此發現HDFS三個進程都是以hadoop000啟動，

Hadoop用戶重新部署HDFS

相關推薦

Hadoop用戶重新部署HDFS

Hadoop前言：在這篇文章中https://www.jianshu.com/p/eeae2f37a48c我們使用的是root用戶來部署的，在生產環境中，一般某個組件是由某個用戶來啟動的，本篇文章介紹下怎樣用hadoop用戶來重新部署偽分布式(HDFS) 1.前期準備 創建hadoop用戶，及配置ssh免密

Hadoop用戶配置ssh免密登錄

Linux Hadoop 一般生產環境 Hadoop組件都是由hadoop用戶來啟動，首先需要配置hadoop用戶ssh免密登錄 1.創建Hadoop用戶 [root@hadoop000 ~]# useradd hadoop [root@hadoop000 ~]# id hadoop uid=1102

Hadoop用戶啟動hdf幾個進程

per default docs mon 查找 是我 默認 project root 詳細的修改步驟： 啟動的三個進程：namenode: hadoop-01 bin/hdfs getconf -namenodesdatanode: localhost data

練習：編寫循環，讓用戶輸入用戶名和密碼，如果用戶為空或者數字，則重新輸入

color while pla 密碼 b2b 如果 lap use 循環 編寫循環，讓用戶輸入用戶名和密碼，如果用戶為空或者數字，則重新輸入 while True: user = input(‘請輸入用戶:‘) .strip() # 用戶輸入 ，去掉兩邊

統一用戶登錄管理認證LDAP 服務端部署

ldap 統一賬戶 管理 網上找了好多關於LDAP統一賬戶管理的文件，好多都是粘貼復制，能用得上的少之又少，正好最近又用到這個，於是著手看了郭老師的視頻，順便把自己學習的過程記錄下來，供大家學習參考。1、實驗環境：[root@localhost ~]# cat /etc/redhat-rel

部署KMS激活後用戶端一些情況的確認

kms pro eth office激活 rod files mgr script x86 一、在OFFICE被KMS激活後，通常需要確認用戶端的相關信息，我們可以使用如下指令進行對客戶端的激活情況確認：輸入命令進入到Office的安裝路徑下面，這個路徑取決你office安

O365結合ADFS限制用戶登錄地址 (三) - 部署ADFS及Proxy

roc shell 腳本 技術分享 cto proc 介紹 1.5 farm 承接上文，下邊來重點介紹下ADFS以及Proxy的部署，註意配置前因為Proxy沒有加域，如果是本地AD簽發的證書，最好提前導入到Proxy中最好證書的信任 1.在AAD Conne

MVC路由學習：自定義路由參數（用戶看不到參數名），重新定義路由規則

route sys 工具 str optional href clas local amp 一，項目有需求將項目地址中的參數名不顯示給用戶看 在MVC定義一個方法： 　　　　public ActionResult GetUserInfo(string Name, str

【Oracle12C】部署服務建立用戶及建庫建表中遇到的問題以及12C的一些新特性

Oracle問題這是一篇oracle小白的不堪折磨，苦苦掙紮所作，所費心血頗深。 Oracle12C與11g版本的差異 在創建用戶時遇到一個問題（我的發現都是根據遇到的問題來研究的）：問題描述：在創建服務所需用戶時提示ORA-65096：公用用戶名或角色無效。問題原因：根據Oracle官方文檔得知，12C版本

微信小程序----用戶拒絕授權,重新調起授權

HA authorize success crypt *** app tin rsa -- 獲取用戶信息 wx.getUserInfo({ withCredentials: true, success: function (res) { var nickName = r

大數據之---hadoop偽分布式部署(HDFS)全網終極篇

偽分布式部 hadoop 1、軟件環境RHEL6 jdk-8u45 hadoop-2.8.1.tar.gz ssh xx.xx.xx.xx ip地址 hadoop1 xx.xx.xx.xx ip地址 hadoop2 xx.xx.xx.xx ip地址 hadoop3 xx.xx.xx.xx ip地址 h

Hadoop偽分布式部署(HDFS)

Hadoop環境要求：java、ssh 1.上傳並解壓tar包 [root@hadoop000 software]# rz #上傳hadoop-2.8.1.tar.gz [root@hadoop000 software]# tar -xzvf hadoop-2.8.1.tar.gz 2.配置環境變量 [ro

Oracle：新增用戶登錄提示“ORA-04098：觸發器‘GD.ON_LOGON_TRIGGER’無效且未通過重新驗證”

begin sql dbms ont env 用戶 database 環境 objects 接著上一篇創建一個只有查看權限的用戶，在測試環境，新建賬號後嘗試登錄，提示如下： 1.看提示是base庫的觸發器有問題了，所以先定位到這個觸發器 SELECT * FRO

Oracle 環境部署 以及數據庫創建 ，用戶新建和權限分配

true inf temp storage pro span com tab 說明 1.右鍵我的電腦--->屬性--->高級系統設置 2.環境變量---->新建 總共配置三個變量 （1）變量名 ORACLE_HOME 變量

關於微信小程序拒絕授權後，重新授權並獲取用戶信息

red strong console http 希望 lan showmodal ati .sh 最近公司做了一些有關微信小程序的項目，涉及到授權獲取用戶基本信息，但是在拒絕授權之後就不會再出現授權窗口； 　　看網上也有很多人遇到了同樣的問題，所以記錄下來我的處理方法，供大

windows平臺下用eclipes連結hadoop 2.7.3 操作hdfs遇到的問題和解決（一）

第一步 eclipse新建maven專案，pom.xml中新增hadoop依賴 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>

k8s實踐14:dashboard部署訪問用戶權限一籮筐

ble mua source api data sys win temp psr 1.準備配置文件 [[email protected] ~]# wget https://raw.githubusercontent.com/kubernetes/dashboard

典型用戶和場景

目的 本科 查看 如何 表格 自己 服務 表示 用戶 分析我們psp表的典型用戶和場景 老師： （1）姓名：王建民 （2）年齡：35 （3）收入：不詳 （4）代表的用戶在市場上的比例和重要性：我們軟件針對於信息學院學生，比例大概為1:200，老師是檢查學生能力的人員，是不可

典型用戶和典型用戶場景

天都 占比 職業 日常 手機 學生 能力 事情 什麽 典型用戶和典型用戶場景： 典型用戶1： （1）姓名：李麗 （2）性別、職業：女，基教清潔工 （3）知識層次和能力：初中水平，可以使用智能手機，使用各種軟件 （4）生活/工作情況：作為清潔工，經常往返於各個樓層 （5）代

典型用戶和場景分析

水平 用途 環境 大學生 空間 黑板 層次 重要性 可能 1. 名字：韓梅梅 年齡：39 職業：食堂阿姨 代表的用戶在市場上的比例和重要性：5% 較重要 知識層次和能力：可能不太會熟練使用手機APP 使用本軟件的環境：食堂或其他地方 典型場景：食堂阿姨撿到一張飯卡，將此信