如何將namenode與SecondaryNameNode分開配置
問題導讀
1.如何將namenode與SecondaryNameNode分開?
2.SecondaryNameNode單獨配置,需要修改那些配置檔案?
3.masters檔案的作用是什麼?
我們這裡假設你已經安裝配置了hadoop2.2,至於如何配置可以參考,hadoop2.2完全分散式最新高可靠安裝文件。
在這個基礎上,我們對配置檔案做一些修改:
1.增加masters檔案
- sudo vi masters
這裡面放什麼內容還是比較關鍵的,這裡我們指定slave1節點上執行SecondaryNameNode。
注意:如果你想單獨配置一臺機器,那麼在這個檔案裡面,填寫這個節點的ip地址或則是hostname,如果是多臺,則在masters裡面寫上多個,一行一個,我們這裡指定一個
- slave1
2.修改hdfs-site.xml
在下面檔案中增加如下內容:(記得下面亦可寫成ip地址,這裡為了理解方便,寫的是hostname)
<property>
<name>dfs.http.address</name>
<value>master:50070</value>
<description>
The address and the base port where the dfs namenode web ui will listen on.
If the port is 0 then the server will start on a free port.
</description>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slave1:50090</value>
</property>
3.修改core-site.xml檔案
-
<property>
-
<name>fs.checkpoint.period</name>
-
<value>3600</value>
-
<description>The number of seconds between two periodic checkpoints.
-
</description>
-
</property>
-
<property>
-
<name>fs.checkpoint.size</name>
-
<value>67108864</value>
-
</property>
上面修改完畢,相應的節點也做同樣的修改
下面我們開始啟動節點:
- start-dfs.sh
-
Starting namenodes on [master]
-
master: starting namenode, logging to /usr/hadoop/logs/hadoop-aboutyun-namenode-master.out
-
slave2: starting datanode, logging to /usr/hadoop/logs/hadoop-aboutyun-datanode-slave2.out
-
slave1: starting datanode, logging to /usr/hadoop/logs/hadoop-aboutyun-datanode-slave1.out
-
Starting secondary namenodes [slave1]
-
slave1: starting secondarynamenode, logging to /usr/hadoop/logs/hadoop-aboutyun-secondarynamenode-slave1.out
然後檢視節點:
(1)master節點:
-
[email protected]:/usr/hadoop/etc/hadoop$ jps
-
5994 NameNode
-
6201 Jps
(2)slave1節點
-
[email protected]:/usr/hadoop/etc/hadoop$ jps
-
5199 SecondaryNameNode
-
5015 DataNode
-
5291 Jps
(3)slave2節點
-
[email protected]:/usr/hadoop/etc/hadoop$ jps
-
3628 DataNode
-
3696 Jps
停止節點:
-
master: stopping namenode
-
slave1: stopping datanode
-
slave2: stopping datanode
-
Stopping secondary namenodes [slave1]
-
slave1: stopping secondarynamenode
tingzhi.png
相關推薦
如何將namenode與SecondaryNameNode分開配置
問題導讀1.如何將namenode與SecondaryNameNode分開?2.SecondaryNameNode單獨配置,需要修改那些配置檔案?3.masters檔案的作用是什麼? 我們這裡假設你已經安裝配置了hadoop2.2,至於如何配置可以參考,hadoop2.2完全分散式最新高可靠安裝文件。 在這
基於hadoop2.2的namenode與SecondaryNameNode分開配置在不同的計算機
前段時間由於配置hadoop做實驗,在網上看了許多有關hadoop的配置,但是這些配置多數是將namenode和secondaryNameNode配置在同一臺計算機上,這種配置方法如果是做做實驗的還可以,如果應用到實際中,存在較大風險,如果存放namenode的主機出現問題
Caffe 將train與val分開手動進行
1、問題描述: (1)Linux伺服器上有四塊GTX1080的顯示卡,每塊8G; (2)現在要微調測試模型InceptionBN_21K,即googlenet v2; (5)我在微調網路時,將train階段的batch size設定為32,視訊記憶體佔用為6047MiB
Hadoop-基本模組,執行模式,配置檔案,namenode,datanode,secondarynamenode作用
hadoop模組: Hadoop Common:支援其他Hadoop模組的常用實用程式。 Hadoop分散式檔案系統(HDFS™):一種分散式檔案系統,可提供對應用程式資料的高吞吐量訪問。 &nbs
通過mapper包的配置將xml與介面繫結實現查詢
配置檔案中 在標籤中配置package, <?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config
將tomcat與apache整合並配置叢集方式
本文件介紹瞭如何在linux上將tomcat與apache整合,並使用兩個tomcat做叢集.1.安裝apache下載apache原始碼httpd-2.0.47.tar.gztar -xvzf httpd-2.0.47.tar.gzcd httpd-2.0.47./confi
不能將類模板的宣告與實現分開寫
今天用類模型實現一個linklist,開始是.h和.cpp將類模板的宣告與實現分開寫的,結果總是報錯: 擺弄了半個小時都不知道為啥,結果一百度,原來類模板的宣告與實現是不能夠分開寫的。 《C++程式設計思想》第15章(第300頁)說明了原因: 模板定義
VR全景智慧城市,完美的將虛擬與現實結合
眼鏡 智慧城市 日常 實的 購物 旅遊 說過 這樣的 logs 很多人都粗淺的認為,VR虛擬智慧城市只是簡單的將智慧城市和虛擬現實相結合的產物,這樣的VR虛擬智慧城市看起來更像是個VR內容產品,而非城市建設成果。但是我們換個角度來思考的話,現在很多VR虛擬智慧城市建設理念中
OVS + dpdk 安裝與實驗環境配置
binding exp pidfile *** 掛載 rem 環境變量 rep new ***DPDK datapath的OVS的安裝與實驗環境配置 首先肯定是DPDK的安裝 0:安裝必要的工具 make gcc
FTP(二)ftp部署與防火墻配置
vsftp服務部署 ftp服務與iptables防火墻一、ftp部署繼上文對ftp原理的分析說明,接下實戰部署ftp服務器。1、環境 CentOS6.8 X64 vsftp#yum install vsftpd -y#rpm -qa |grep vsftpd#vsftpd-2.2.2-21.e
#20 ifconfig、route、netstat、ip、ss命令詳解與修改主機名與網卡配置文件
ifconfig、route、netstat、ip、ss命令詳解與修改主機名與網卡配置文件 網絡的結構: 硬件:計算機、互聯設備、網絡設備 軟件:操作系統、協議、應用程序、數據庫 網絡的功能: 資源共享:目的 數據通信:手段 網絡通信模型 ISO/OSI: 應用層
Win2012R2 Hyper-V初級教程04 — 虛擬交換機與網絡配置
hyper-v虛擬交換 虛擬交換 虛擬交換機與網絡配置 在Hyper-V中虛擬交換機如果你有學習過VMware虛擬化的話,其實它們中的虛擬交換機基本相差不大,下面我們簡單介紹一下關於Hyper-V網絡虛擬化的三種虛擬交換機。對於剛剛接觸Hyper-V的童鞋來說,虛擬交換機可能會讓你
Win2012R2 Hyper-V初級教程05 — 存儲與磁盤配置
hyper-v存儲與磁盤配置 hyper-v存儲 hyper-v磁盤配置 在Win2012R2中磁盤的質量管理是我們不得不說的一項好功能,存儲服務質量 (QoS):使用存儲 QoS,你可以管理虛擬機訪問的虛擬硬盤的存儲吞吐量。使用存儲 QoS,可以針對虛擬機中的每個虛擬磁盤,以每秒
RabbitMQ 集群與高可用配置
rabbitmq 集群與高可用配置RabbitMQ 集群與高可用配置集群概述通過 Erlang 的分布式特性(通過 magic cookie 認證節點)進行 RabbitMQ 集群,各 RabbitMQ 服務為對等節點,即每個節點都提供服務給客戶端連接,進行消息發送與接收。 這些節點通過 RabbitMQ
十年磨一劍,水產寶與升鮮寶即將橫空出世,將正面與市面上的商業軟件競爭。用小米加步槍對洋槍洋炮。升鮮寶將為杭州生鮮配送企業服務,8年的生鮮電商行業沈澱。
不一致 img 管控 賺錢 很難 blog 生鮮電商 不知道 同時 一直堅守著.net開發陣營,一直致力於生鮮配送行業的信息化解決方案。用程序員本來的堅持,在這個行業中,默默的承受著,不斷優化流程。不斷的實踐。 生鮮配送企業的
ansible小結(四)ansible.cfg與默認配置
false 跳過 ans sts host ase sin class 配置 FAILED => Using a SSH password instead of a key is not possible because Host Key checking is en
FastDFS與Nginx的配置說明
data pub 線性 標識 空間不足 服務端 hub types tcp 1.簡介 FastDFS是一個開源的輕量級分布式文件系統,它對文件進行管理,功能包括:文件存儲、文件同步、文件訪問(文件上傳、文件下載)等,解決了大容量存儲和負載均衡的問題。特別適合以文件為
weblogic 與jms事例配置
als light ati table ram val 事先 else if null 1.在WEBLOGIC12中配置JMS服務器 參考鏈接:http://blog.csdn.net/gxlstone/article/details/41378949 2.創建java p
Centos7的安裝與網絡配置
centos7的安裝與網絡配置網絡配置命令:vi? /etc/sysconfig/network-scripts/ifcfg-ens33重啟網絡命令:?systemctl ? restart ? network.service一些常用命令?ls命令列出當前目錄下的文件ip add??? ipconfig??獲
VLAN與Trunk的配置及命令(思科)
term mark pre pc機 ace nag -i vpd ble 實驗目的:實現同VLAN之間通信 ;不同VLAN不能通信;實驗步驟:1.先給PC機配置同一個網段的IP地址;因為不同IP網段要加路由器;2.給交換機SW1,SW2創建相應的VLAN;不同設備使用acc