Hadoop的namenode和secondnamenode分開部署在不同伺服器
一、系統環境:
Hadoop 0.20.2、JDK 1.6、Linux作業系統
二、使用背景
網上關於hadoop的叢集配置,很多情況下,都是把namenode和secondnamenode部署在同一伺服器上。為了降低風險,一個大的叢集環境,最好是把這兩個配置到不同的伺服器上。
三、操作
要達到這要求,需要對conf/master、conf/hdfs-site.xml和conf/core-site.xml這三個配置檔案進行設定。
1、conf/master檔案:
hadoop的官網和大多網上的安裝手冊,都要求此檔案配置namenode機器的IP或是名稱。www.linuxidc.com 其實,master檔案不決定哪個是namenode,而決定的是secondarynamenode(決定誰是namenode的關鍵配置是core-site.xml中的fs.default.name這個引數)。所以,這裡直接寫上作為secondnamenode的IP或機器名稱(可以是叢集中任一個datanode節點)就可以了。一行一個(可以配置多個secondnamenode)。
2、hdfs-site.xml:這個配置檔案要改1個引數:
<property>
<name>dfs.http.address</name>
<value>hostIP:50070</value>
<description>
The address and the base port where the dfs namenode web ui will listen on.
If the port is 0 then the server will start on a free port.
</description>
</property>
3、core-site.xml:這裡有2個引數可配置,但一般來說我們不做修改。
fs.checkpoint.period表示多長時間記錄一次hdfs的映象。www.linuxidc.com 預設是1小時。fs.checkpoint.size表示一次記錄多大的size,預設64M。
<property>
<name>fs.checkpoint.period</name>
<value>3600</value>
<description>The number of seconds between two periodic checkpoints.
</description>
</property>
<property>
<name>fs.checkpoint.size</name>
<value>67108864</value>
<description>The size of the current edit log (in bytes) that triggers
a periodic checkpoint even if the fs.checkpoint.period hasn't expired.
</description>
</property>
四、檢查結果
配置完成之後,我們需要檢查一下是否成功。
1、在執行secondarynamenode的機器上,執行命令jps檢視是否存在secondarynamenode程序。如不存在則表示secondarynamenode的啟動有異常。
2、如果存在,在檢視對應的目錄下是否有備份記錄。有以下目錄結構表示設定成功。
進入hdfs-site.xml檔案中配置的fs.checkpoint.dir目錄,執行以下命令:
-bash-3.2$ ll namesecondary/
drwxr-xr-x 2 analyzer analyzer 4096 11-03 17:28 current
drwxr-xr-x 2 analyzer analyzer 4096 09-10 01:20 image
-rw-r--r-- 1 analyzer analyzer 0 11-03 16:22 in_use.lock
drwxr-xr-x 2 analyzer analyzer 4096 11-03 16:28 previous.checkpoint
-bash-3.2$ ll namesecondary/current/
-rw-r--r-- 1 analyzer analyzer 4 11-03 17:28 edits
-rw-r--r-- 1 analyzer analyzer 602092 11-03 17:28 fsimage
-rw-r--r-- 1 analyzer analyzer 8 11-03 17:28 fstime
-rw-r--r-- 1 analyzer analyzer 101 11-03 17:28 VERSION
相關推薦
Hadoop的namenode和secondnamenode分開部署在不同伺服器
一、系統環境: Hadoop 0.20.2、JDK 1.6、Linux作業系統 二、使用背景 網上關於hadoop的叢集配置,很多情況下,都是把namenode和secondnamenode部署在同一伺服器上。為了降低風險,一個大的叢集環境,最好是把這兩個配置到不同的伺
P2P技術做自有點播系統的加速,還需要和CDN一樣部署很多伺服器嗎?
視訊運營者如果把自有的視訊點播資源,部署在自己的伺服器上,想在全國推廣,希望使用本點播系統的使用者在看視訊時有好的體驗,如果用CDN的話,需要在全國布點,成本很高。那如果使用P2P技術的話,視訊點播系統也還需要部署很多伺服器嗎?具體的實現過程是怎樣的呢? 我們知道如果想利用CDN方案,實現點播視訊在全國各地
vue-router和express專案部署到伺服器
- 首先確定此專案在本地能夠執行成功 在本地命令列中輸入npm run start,無報錯,且開啟127.0.0.1:3000 有寫的路由為/的頁面,如圖 此
單臺伺服器部署和安裝多個不同版本的Tomcat與Jdk
一、問題 由於之前開發的專案的執行環境是Tomcat7和Jdk6,,部署到伺服器上已成功執行,現要對專案的執行日誌進行監控,便於問題的發現,然而新開發的監控元件必須執行在 Tomcat8上,所以需在同臺伺服器下安裝Tomcat8,而Tomcat8部署需要Jdk7以上
總想自己動動手系列·1·本地和外網(Liunx伺服器上部署的web專案)按照自定義的報文格式進行互動(一)
一、準備工作 (1)有一臺屬於自己的雲伺服器,併成功部署和釋出一個web專案(當然,本質上來說Java-Project也沒問題),通過外網IP可以正常訪問該web專案。 需要說明的是:任何web專案,只要成功部署後在外網上能訪問到即可。本案例注重修改web對請求的監聽和過濾的處
maven web專案部署在伺服器時出現無法載入css和js的問題
最近做一個往老專案中新增新功能的活,該專案是一個運用ssm框架做的maven專案,將老專案匯入自己的編輯器後添加了新的程式碼,部署在tomcat中,啟動伺服器,開啟瀏覽器發現頁面混亂,點選F12發現是沒有正常載入css和js檔案。經過長時間的檢查發現在root.css檔案頭部
Ubuntu16.04下將Django框架部署到伺服器80和443埠
1.安裝Django框架pip install Django2.埠部署apache2網站部署檔案位於/etc/apache2/sites-available, 預設檔案為000-default.conf, 加了CA證書後的配置檔案為:000-default-le-ssl.co
linux伺服器如何修改兩個PHP版本,php-v和phpinfo兩個不同的版本
先查詢php.ini find / -name php.ini 得出兩個ini /usr/local/php/etc/php.ini /etc/php.ini php -i | grep php.ini 檢視PHP載入的是哪個配置檔案,這個獲取的是系統內的php.ini 的位置。不是網頁apache載入的p
Apache+mod_wsgi 部署多個django專案(基於同樣IP和同樣埠,不同path)
最近由於要在apache部署多個django專案,兩個專案要求使用同一個ip和port,請求不同path來訪問不同的專案。 環境:centos7+apache2.4.6 本次通過配置虛擬主機的方式實現。 1.在/etc/httpd/conf下建立extra目錄 2.在
2.Dubbo2.5.3註冊中心和監控中心部署
png pac org .gz nbsp ng- jps 路徑 -a 轉載請出自出處:http://www.cnblogs.com/hd3013779515/ 1.註冊中心Zookeeper安裝 (1)搭建要求 zk服務器集群規模不小於3個節點要求各服務器之間系統時間要保持
Nginx反向代理和負載均衡部署指南
命令 eva http ddr cli 僅支持 新版 ive app nginx不單能夠作為強大的webserver,也能夠作為一個反向代理server,並且nginx還能夠依照調度規則實現動態、靜態頁面的分離。能夠依照輪詢、ip哈希、URL哈希、權重等多種
學習使用Docker、Docker-Compose和Rancher搭建部署Pipeline(一)
docker 部署 rancher 雲 微服務 說明 這篇文章是一系列文章的第一篇,在這一系列文章中,我們想要分享我們如何使用Docker、Docker-Compose和Rancher完成容器部署工作流的故事。我們想帶你從頭開始走過pipeline的革命歷程,重點指出我們這一路上遇到的
iOS6和iOS7處理push不同之處,解決反復push,-(void) application: didReceiveRemoteNotification: fetchCompletionHandl
前臺 啟動圖 nstat and bsp pro ica 應該 正文 如果讀者已經知道push的基本知識,本文僅僅是解決一些適配,兼容問題。如果對push 不甚了解,參考以下的文章 1.【iOS push全方位解析】(一) push的概述 2.【iOS push
[轉]Nginx反向代理和負載均衡部署指南
時間 digg upstream 後端服務 clu server 1.2 部署 ostc Nginx反向代理和負載均衡部署指南 1. 安裝 1) 從Nginx官網下載頁面(http://nginx.org/en/
物聯網MQTT協議分析和開源Mosquitto部署驗證
-h etc 遙感 並且 傳輸 物聯網平臺 發布消息 情況 all 在《物聯網核心協議—消息推送技術演進》一文中已向讀者介紹了多種消息推送技術的情況,包括HTTP單向通信、Ajax輪詢、Websocket、MQTT、CoAP等,其中MQTT協議為IBM制定並力推
問題很有意思和傳統實體消費品不同文化消費品很難
clas jsp 不同 ndt 有意思 gpe fbx rpv dfa 赫檔淘控旨KHE棺揪惶紡http://baobao.baidu.com/article/a8051e073a7b4c47b31f0ac15e9e04b1.html?2017/10/04=j913H3
python 實現普通用戶和管理員用戶不同角色登錄不同功能小程序
amount 密碼錯誤 urn clas data cart passwd with open 密碼 程序功能描述如下:不同角色登錄,普通用戶可以查看商品購買商品、查看購物車和余額、退出;管理員可以充值,可以添加商品、退出 用戶信息字典格式: {"user1":{"pass
jenkins2.0以後的版本提供自動部署和遠程部署功能?
pro uil 順序 重新 並發 自動構建 完成後 遠程部署 完成 metting result comment: 持續集成:dev上使用 持續部署:在dev/uat/prod上使用 1、指定時間自動構建--發布第二天掛了?每次構建需要重新編譯?qa和uat使用同一套部
LAMP實例——在CentOS7使用xcache和php-fpm部署AMP
linux xcache php-fpm mariadb apache 一、使用php module方式部署AMP+xcache 1.在主機(192.168.109.136)使用rpm包方式安裝httpd、php、mariadb-server、php-mysql(略),之後開啟mar
HashMap 和 HashTable 到底哪不同 ?
時間 txt instance 數據 dset 修改 keyset adding ould HashMap 和 HashTable 到底哪不同 ? 2017/05/29 | 分類: 基礎技術 | 1 條評論 | 標簽: HASHMAP, HASHTABLE