1. 程式人生 > >HAWQ配置之HDFS HA

HAWQ配置之HDFS HA

一、在ambari管理介面啟用HDFS HA

在ambari中這步很簡單,在所有安裝的服務都正常之後,在HDFS的服務介面中,點選下拉選單“Actions”,選擇啟用HDFS HA項 “Enable NameNode HA”,然後根據提示嚮導一步一步的認真做就可以了。尤其需要注意的是手動操作的環節不用出錯。

二、修改HAWQ的配置檔案

1,修改hdfs-client.xml有關HA的專案

        <property>
                <name>dfs.nameservices</name>
                <value>epbdcluster
</value> </property> <property> <name>dfs.ha.namenodes.epbdcluster</name> <value>nn1,nn2</value> </property> <property> <name>dfs.namenode.rpc-address.epbdcluster.nn1</name> <value>ep-bd01:8020
</value> </property> <property> <name>dfs.namenode.rpc-address.epbdcluster.nn2</name> <value>ep-bd05:8020</value> </property> <property> <name>dfs.namenode.http-address.epbdcluster
.nn1</name> <value>ep-bd01:50070</value> </property> <property> <name>dfs.namenode.http-address.epbdcluster.nn2</name> <value>ep-bd05:50070</value> </property>

2,修改hawq-site中的HDFS URL

        <property>
                <name>hawq_dfs_url</name>
                <value>epbdcluster/hawq</value>
                <description>URL for accessing HDFS.</description>
        </property>

3,同步修改後的配置檔案到所有節點

gpscp -f slaves hawq-site.xml =:/opt/gpadmin/apache-hawq/etc/.
gpscp -f slaves hdfs-client.xml =:/opt/gpadmin/apache-hawq/etc/.

三、重新啟動hawq叢集

在hawq的master主機上執行重啟命令

su - gpadmin
hawq restart cluster -a

相關推薦

HAWQ配置HDFS HA

一、在ambari管理介面啟用HDFS HA 在ambari中這步很簡單,在所有安裝的服務都正常之後,在HDFS的服務介面中,點選下拉選單“Actions”,選擇啟用HDFS HA項 “Enable NameNode HA”,然後根據提示嚮導一步一步的認真做就可以了。尤其需要注意的是手動操作的環節不用出錯。

Hadoop 叢集HDFS HA、Yarn HA

部署叢集的原因 如果我們採用單點的偽分散式部署,那麼NN節點掛了,就不能對外提供服務。叢集的話,存在兩個NN節點,一個掛了,另外一個從standby模式直接切換到active狀態,實時對外提供服務(讀寫)。在生產上,避免出現對外服務中斷的情況,所以會考慮採用叢集部署。 HDFS HA

Hadoop 叢集HDFS HA、Yarn HA

部署叢集的原因 如果我們採用單點的偽分散式部署,那麼NN節點掛了,就不能對外提供服務。叢集的話,存在兩個NN節點,一個掛了,另外一個從standby模式直接切換到active狀態,實時對外提供服務(讀寫)。在生產上,避免出現對外服務中斷的情況,所以會考慮採用叢集

Hadoop高可用配置檔案hdfs-site.xmldfs.ha.fencing.methods說明

dfs.ha.fencing.methods配置有sshfence和shell兩種方法: sshfence:防止namenode腦裂,當腦裂時,會自動通過ssh到old-active將其殺掉,將standby切換為active。         &nb

大資料五 hadoop HDFS HA叢集客戶端+eclipse配置

首先我們選擇一臺客戶機,任意選擇,只要能與叢集通訊即可,這裡就使用真機 將叢集中配置好的 hadoop 安裝包拷貝到真機上 配置 hadoop 的環境變數 HADOOP_HOME:hadoop安裝包的位置 HADOOP_USER_NAME:登入叢集的使用者名稱稱,只要是可以登入叢集的使用者名稱就可以,這裡配

VCSA 6.5 HA配置 三 :準備工作

vmware vcenter ha 高可用 vcsa 接著上一篇文章部署完成VCSA 6.5後,還需要做一些準備工作才能開啟高可用功能,本篇文章主要就講述如何為vCenter 高可用進行準備工作配置vCenter HA網絡從vCenter HA的架構圖中可以看出對於vCenter HA的高

VCSA 6.5 HA 配置五:故障轉移測試

center style justify 接著上篇文章配置完成VCSA的高可用後,其是否真的能實現高可用的效果,本篇文章將會一探究竟手動故障切換在vCenter HA配置頁面可以看到當前的主動節點、被動節點和見證節點;在例行維護或者其他時候可以手動執行故障切換通過右上方的"啟動故障切換" ,在一般

Hadoop的配置文件設置(HDFS HA)

stop love edi 搶占 守護 core .html 搶占式 zookeep 參考:http://hadoop.apache.org/docs/r2.7.4/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWi

使用Zookeeper 部署HDFS HA 配置

大數據 hadoop 一:系統環境配置 二:軟件需求 三:安裝zookeeper處理 四:編輯hadoop 配置文件 五:啟動服務 六:配置zookeeper自動故障轉移 一:系統環境配置: 承接 在上文檔hadoop 分布式的文檔進行部署 二: 軟件需求: 在前環境 狀態下增加zooke

Hadoop 2.5.2 HDFS HA+YARN HA 應用配置

大數據 hadoop 一:所需安裝配置包 二:CentOS6.4x64 主機名配置 三:journalnode 配置zookeeper 安裝 四:在namenode節點上部署hadoop 2.5.2 五:hadoop 集群的測試: 一:所需安裝配置包 系統:CentOS 6.4 X64 軟件

HadoopHDFSHA的搭建

Hadoop 1.0存在的問題:單點故障和記憶體受限 (1)NameNode單點故障(NameNode只有一個,一旦宕機了,則資料就會丟失,雖然有配置SecondaryNameNode,但是SecondardyNameNode 合併元資料和日誌檔案需要時間的,所有還是會有部分資料會丟失) (2)Name

大資料四 hadoop HDFS HA 高可用的完全分散式

HDFS HA HA即為High Availability,用於解決NameNode單點故障問題,該特性通過熱備的方式為主NameNode提供一個備用者,一旦主NameNode出現故障,可以迅速切換至備NameNode,從而實現對外提供更穩定的服務 Second

Hadoop(25)-高可用叢集配置,HDFS-HA和YARN-HA

一. HA概述 1. 所謂HA(High Available),即高可用(7*24小時不中斷服務)。 2. 實現高可用最關鍵的策略是消除單點故障。HA嚴格來說應該分成各個元件的HA機制:HDFS的HA和YARN的HA。 3. Hadoop2.0之前,在HDFS叢集中NameNode存在單點故障(SPOF

一鍵配置高可用Hadoop叢集(hdfs HA+zookeeper HA

準備環境 3臺節點,主節點 建議 2G 記憶體,兩個從節點 1.5G記憶體, 橋接網路    關閉防火牆 配置ssh,讓節點之間能夠相互 ping 通 準備  軟體放到 autoInstall  目錄下,已存放 hadoop-2.9.0.tar.g

HDFS-HA配置-----自動Failover(ZKFC)

1.1  ZK叢集:     作為一個高可靠系統,能夠為一小部分協同資料提供監控,將資料的更改隨時反應給客戶端。HDFS的HA依賴zk提供的兩個特性:一個是錯誤監測,一個是活動節點選舉 Failure detection    每個NN都會在ZK中註冊並且持久化一個session。一旦一個NN失效了,那麼

Hadoop叢集Hive HA 安裝配置

Hive是基於Hadoop構建的一套資料倉庫分析系統,它提供了豐富的SQL查詢方式來分析儲存在Hadoop 分散式檔案系統中的資料。其在Hadoop的架構體系中承擔了一個SQL解析的過程,它提供了對外

【Hadoop學習四】HDFS HA搭建(QJM)

環境  虛擬機器:VMware 10   Linux版本:CentOS-6.5-x86_64   客戶端:Xshell4  FTP:Xftp4   jdk8   hadoop-3.1.1 由於NameNode對於整個HDFS叢集重要性,為避免NameNode單點故障,在叢集裡建立2個或以上NameNode(不

HDFS-HA配置-----自動Failover

tickTime=2000 dataDir=/home/ziang/DfsDataDir/zookeeper clientPort=31315 initLimit=5 syncLimit=2 server.1=dw13:31316:31317 server.2=dw14:31316:31317 server.

Hadoop旅(7)— HDFS HA Zookeeper自動故障轉移

<!-- 兩個NameNode --> <property> <name>dfs.nameservices</name> <value>ns1</value> </property> <property&g

CDH中配置HDFS HA 及shell 指令碼

最近又安裝 hadoop 叢集, 故嘗試了一下配置 HDFS 的 HA,CDH4支援Quorum-based Storage和shared storage using NFS兩種HA方案,而CDH5只支援第一種方案,即 QJM 的 HA 方案。 叢集規劃 我一共安裝了三個節點的叢集,對於 HA 方案來說