1. 程式人生 > >Hadoop的namenode和secondnamenode分開部署在不同伺服器

Hadoop的namenode和secondnamenode分開部署在不同伺服器

一、系統環境: 
Hadoop 0.20.2、JDK 1.6、Linux作業系統

二、使用背景 
網上關於hadoop的叢集配置,很多情況下,都是把namenode和secondnamenode部署在同一伺服器上。為了降低風險,一個大的叢集環境,最好是把這兩個配置到不同的伺服器上。

三、操作 
要達到這要求,需要對conf/master、conf/hdfs-site.xml和conf/core-site.xml這三個配置檔案進行設定。

1、conf/master檔案: 
hadoop的官網和大多網上的安裝手冊,都要求此檔案配置namenode機器的IP或是名稱。www.linuxidc.com 其實,master檔案不決定哪個是namenode,而決定的是secondarynamenode(決定誰是namenode的關鍵配置是core-site.xml中的fs.default.name這個引數)。所以,這裡直接寫上作為secondnamenode的IP或機器名稱(可以是叢集中任一個datanode節點)就可以了。一行一個(可以配置多個secondnamenode)。

2、hdfs-site.xml:這個配置檔案要改1個引數: 
<property> 
  <name>dfs.http.address</name> 
  <value>hostIP:50070</value> 
  <description> 
    The address and the base port where the dfs namenode web ui will listen on. 
    If the port is 0 then the server will start on a free port. 
  </description> 
</property>

3、core-site.xml:這裡有2個引數可配置,但一般來說我們不做修改。 
fs.checkpoint.period表示多長時間記錄一次hdfs的映象。www.linuxidc.com 預設是1小時。fs.checkpoint.size表示一次記錄多大的size,預設64M。

<property> 
  <name>fs.checkpoint.period</name> 
  <value>3600</value> 
  <description>The number of seconds between two periodic checkpoints. 
  </description> 
</property>

<property> 
  <name>fs.checkpoint.size</name> 
  <value>67108864</value> 
  <description>The size of the current edit log (in bytes) that triggers 
       a periodic checkpoint even if the fs.checkpoint.period hasn't expired. 
  </description> 
</property>

四、檢查結果 
配置完成之後,我們需要檢查一下是否成功。 
1、在執行secondarynamenode的機器上,執行命令jps檢視是否存在secondarynamenode程序。如不存在則表示secondarynamenode的啟動有異常。 
2、如果存在,在檢視對應的目錄下是否有備份記錄。有以下目錄結構表示設定成功。 
進入hdfs-site.xml檔案中配置的fs.checkpoint.dir目錄,執行以下命令: 
-bash-3.2$ ll namesecondary/ 
drwxr-xr-x 2 analyzer analyzer 4096 11-03 17:28 current 
drwxr-xr-x 2 analyzer analyzer 4096 09-10 01:20 image 
-rw-r--r-- 1 analyzer analyzer    0 11-03 16:22 in_use.lock 
drwxr-xr-x 2 analyzer analyzer 4096 11-03 16:28 previous.checkpoint

-bash-3.2$ ll namesecondary/current/ 
-rw-r--r-- 1 analyzer analyzer      4 11-03 17:28 edits 
-rw-r--r-- 1 analyzer analyzer 602092 11-03 17:28 fsimage 
-rw-r--r-- 1 analyzer analyzer      8 11-03 17:28 fstime 
-rw-r--r-- 1 analyzer analyzer    101 11-03 17:28 VERSION

相關推薦

Hadoop的namenodesecondnamenode分開部署不同伺服器

一、系統環境: Hadoop 0.20.2、JDK 1.6、Linux作業系統 二、使用背景 網上關於hadoop的叢集配置,很多情況下,都是把namenode和secondnamenode部署在同一伺服器上。為了降低風險,一個大的叢集環境,最好是把這兩個配置到不同的伺

P2P技術做自有點播系統的加速,還需要CDN一樣部署很多伺服器嗎?

視訊運營者如果把自有的視訊點播資源,部署在自己的伺服器上,想在全國推廣,希望使用本點播系統的使用者在看視訊時有好的體驗,如果用CDN的話,需要在全國布點,成本很高。那如果使用P2P技術的話,視訊點播系統也還需要部署很多伺服器嗎?具體的實現過程是怎樣的呢? 我們知道如果想利用CDN方案,實現點播視訊在全國各地

vue-routerexpress專案部署伺服器

- 首先確定此專案在本地能夠執行成功 在本地命令列中輸入npm run start,無報錯,且開啟127.0.0.1:3000 有寫的路由為/的頁面,如圖 此

單臺伺服器部署安裝多個不同版本的Tomcat與Jdk

一、問題     由於之前開發的專案的執行環境是Tomcat7和Jdk6,,部署到伺服器上已成功執行,現要對專案的執行日誌進行監控,便於問題的發現,然而新開發的監控元件必須執行在 Tomcat8上,所以需在同臺伺服器下安裝Tomcat8,而Tomcat8部署需要Jdk7以上

總想自己動動手系列·1·本地外網(Liunx伺服器部署的web專案)按照自定義的報文格式進行互動(一)

一、準備工作 (1)有一臺屬於自己的雲伺服器,併成功部署和釋出一個web專案(當然,本質上來說Java-Project也沒問題),通過外網IP可以正常訪問該web專案。   需要說明的是:任何web專案,只要成功部署後在外網上能訪問到即可。本案例注重修改web對請求的監聽和過濾的處

maven web專案部署伺服器時出現無法載入cssjs的問題

最近做一個往老專案中新增新功能的活,該專案是一個運用ssm框架做的maven專案,將老專案匯入自己的編輯器後添加了新的程式碼,部署在tomcat中,啟動伺服器,開啟瀏覽器發現頁面混亂,點選F12發現是沒有正常載入css和js檔案。經過長時間的檢查發現在root.css檔案頭部

Ubuntu16.04下將Django框架部署伺服器80443埠

1.安裝Django框架pip install Django2.埠部署apache2網站部署檔案位於/etc/apache2/sites-available, 預設檔案為000-default.conf, 加了CA證書後的配置檔案為:000-default-le-ssl.co

linux伺服器如何修改兩個PHP版本,php-vphpinfo兩個不同的版本

先查詢php.ini find / -name php.ini 得出兩個ini /usr/local/php/etc/php.ini /etc/php.ini php -i | grep php.ini 檢視PHP載入的是哪個配置檔案,這個獲取的是系統內的php.ini 的位置。不是網頁apache載入的p

Apache+mod_wsgi 部署多個django專案(基於同樣IP同樣埠,不同path)

最近由於要在apache部署多個django專案,兩個專案要求使用同一個ip和port,請求不同path來訪問不同的專案。 環境:centos7+apache2.4.6 本次通過配置虛擬主機的方式實現。 1.在/etc/httpd/conf下建立extra目錄 2.在

2.Dubbo2.5.3註冊中心監控中心部署

png pac org .gz nbsp ng- jps 路徑 -a 轉載請出自出處:http://www.cnblogs.com/hd3013779515/ 1.註冊中心Zookeeper安裝 (1)搭建要求 zk服務器集群規模不小於3個節點要求各服務器之間系統時間要保持

Nginx反向代理負載均衡部署指南

命令 eva http ddr cli 僅支持 新版 ive app nginx不單能夠作為強大的webserver,也能夠作為一個反向代理server,並且nginx還能夠依照調度規則實現動態、靜態頁面的分離。能夠依照輪詢、ip哈希、URL哈希、權重等多種

學習使用Docker、Docker-ComposeRancher搭建部署Pipeline(一)

docker 部署 rancher 雲 微服務 說明 這篇文章是一系列文章的第一篇,在這一系列文章中,我們想要分享我們如何使用Docker、Docker-Compose和Rancher完成容器部署工作流的故事。我們想帶你從頭開始走過pipeline的革命歷程,重點指出我們這一路上遇到的

iOS6iOS7處理push不同之處,解決反復push,-(void) application: didReceiveRemoteNotification: fetchCompletionHandl

前臺 啟動圖 nstat and bsp pro ica 應該 正文 如果讀者已經知道push的基本知識,本文僅僅是解決一些適配,兼容問題。如果對push 不甚了解,參考以下的文章 1.【iOS push全方位解析】(一) push的概述 2.【iOS push

[轉]Nginx反向代理負載均衡部署指南

時間 digg upstream 後端服務 clu server 1.2 部署 ostc Nginx反向代理和負載均衡部署指南 1. 安裝 1) 從Nginx官網下載頁面(http://nginx.org/en/

物聯網MQTT協議分析開源Mosquitto部署驗證

-h etc 遙感 並且 傳輸 物聯網平臺 發布消息 情況 all 在《物聯網核心協議—消息推送技術演進》一文中已向讀者介紹了多種消息推送技術的情況,包括HTTP單向通信、Ajax輪詢、Websocket、MQTT、CoAP等,其中MQTT協議為IBM制定並力推

問題很有意思傳統實體消費品不同文化消費品很難

clas jsp 不同 ndt 有意思 gpe fbx rpv dfa 赫檔淘控旨KHE棺揪惶紡http://baobao.baidu.com/article/a8051e073a7b4c47b31f0ac15e9e04b1.html?2017/10/04=j913H3

python 實現普通用戶管理員用戶不同角色登錄不同功能小程序

amount 密碼錯誤 urn clas data cart passwd with open 密碼 程序功能描述如下:不同角色登錄,普通用戶可以查看商品購買商品、查看購物車和余額、退出;管理員可以充值,可以添加商品、退出 用戶信息字典格式: {"user1":{"pass

jenkins2.0以後的版本提供自動部署遠程部署功能?

pro uil 順序 重新 並發 自動構建 完成後 遠程部署 完成 metting result comment: 持續集成:dev上使用 持續部署:在dev/uat/prod上使用 1、指定時間自動構建--發布第二天掛了?每次構建需要重新編譯?qa和uat使用同一套部

LAMP實例——在CentOS7使用xcachephp-fpm部署AMP

linux xcache php-fpm mariadb apache 一、使用php module方式部署AMP+xcache 1.在主機(192.168.109.136)使用rpm包方式安裝httpd、php、mariadb-server、php-mysql(略),之後開啟mar

HashMap HashTable 到底哪不同

時間 txt instance 數據 dset 修改 keyset adding ould HashMap 和 HashTable 到底哪不同 ? 2017/05/29 | 分類: 基礎技術 | 1 條評論 | 標簽: HASHMAP, HASHTABLE