1. 程式人生 > >HAWQ整合Yarn HA作為資源管理服務

HAWQ整合Yarn HA作為資源管理服務

一、第一步當然是配置YARN HA,這在使用ambari管理時很簡單,這裡不在贅述。

二、建立HAWQ的專用資源佇列queue

不要手工編輯scheduler設定,最方便的當然是使用queue manager,入口看圖。

新增一個hawq_queue

三、重啟受影響的yarn服務

新增或修改queue之後,ambari管理介面中會有提示,點選重啟即可。

四、編輯hawq的配置檔案

1,修改hawq-site.xml中hawq_global_rm_type值為yarn

        <property>
                <name>hawq_global_rm_type</name>
                <value>yarn</value>
                <description>The resource manager type to start for
allocating resource. 'none' means hawq resource manager exclusively uses whole cluster; 'yarn' means hawq resource manager contacts YARN resource manager to negotiate resource.
</description> </property>

其他的hawq_rm_*相關鍵值不用動,因為配置yarn HA模式時無用,需要修改yarn_client.xml中HA相關配置。

2,修改yarn-client.xml中HA相關配置

<!-- HA  -->
        <property>
                <name>yarn.resourcemanager.ha</name>
                <value>ep-bd05:8032,ep-bd01:8032</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.ha</name>
                <value>ep-bd05:8030
,ep-bd01:8030</value> </property> <!-- end HA -->

注意active RM節點寫在前面,可以減少網路訪問時間!

3,分發修改後配置檔案到各個節點

cd /opt/gpadmin/apache-hawq/etc
gpscp -f slaves hawq-site.xml =:/opt/gpadmin/apache-hawq/etc/.
gpscp -f slaves yarn-client.xml =:/opt/gpadmin/apache-hawq/etc/.

四、在HAWQ主節點上重新啟動hawq cluster

su - gpadmin
hawq restart cluster -a

五、兩個注意事項:

1,HDP叢集,在ambari中啟用YARN HA後,RM服務埠沒有配置,在配置檔案中看不到,檔案中只有未啟用HA之前的單節點埠地址,例如我這裡是:

<property>
      <name>yarn.resourcemanager.address</name>
      <value>ep-bd01:8050</value>
</property>

這個並不是啟用HA後RM的埠,實際上應該查詢配置項

yarn.resourcemanager.address.rm1

由於沒有此項配置,所以我這裡的HA rm的埠號是預設的埠號8032,這個需要注意。

2,啟用yarn RM管理後,每個hawq 的segment節點,都需要配套nodemanager服務,否則不能與rm通訊,沒有安裝的需要在ambari管理介面中新增。 使用hawq自己管理資源時當然是不需要的。

相關推薦

HAWQ整合Yarn HA作為資源管理服務

一、第一步當然是配置YARN HA,這在使用ambari管理時很簡單,這裡不在贅述。 二、建立HAWQ的專用資源佇列queue 不要手工編輯scheduler設定,最方便的當然是使用queue manager,入口看圖。 新增一個hawq_queue 三、重啟受影響的yarn服務 新增或修改queue之後

文件資源管理服務器中為指定的ftp用戶開啟磁盤配額及實驗

ces ftp站點 密文 配額設置 配額管理 過度 共享 軟件 watermark 磁盤配額設置的功能作用: 1、磁盤配額可以限制指定賬戶能夠使用的磁盤空間,這樣可以避免因某個用戶的過度使用磁盤空間造成其他用戶無法正常工作甚至影響系統運行。在服務器管理中此功能重要,但對單機

windows server 文件資源管理服務器為指定的ftp用戶開啟磁盤配額

fff ces 無法 roc str mark log f11 pro windows server 文件資源管理服務器為指定的ftp用戶開啟磁盤配額配額和用戶磁盤配額監視個人用戶的使用情況,因此每個用戶對磁盤空間的利用都不會影響同一卷上的其他用戶的磁盤配額。例如,如果配額

文件資源管理服務器中為指定的ftp用戶開啟磁盤配額

pro fad 情況 png 存儲 圖片 fff 設置 mage 如題:一、安裝文件資源管理服務器:1、打開服務器管理器→添加角色和功能2、服務器角色→文件和存儲服務→文件服務器資源管理器→安裝二、設置一個ftp指定用戶1、設置一個用戶jack2、設置一個指定用戶ftp站點

AWS Config常見問題_雲資源管理服務

問:使用 AWS Config 和 AWS Config 規則時,我將如何付費? 使用 AWS Config 時,您需要根據您 AWS 賬戶中為受支援資源記錄的配置項 (CI) 數量付費。每當 AWS Config 檢測到其記錄的資源型別發生更改時,就會建立配

AWS Config價格_雲資源管理服務

配置快照和配置歷史檔案將傳送到您選擇的 Amazon S3 儲存桶中,而配置更改通知將通過 Amazon Simple Notification Service (SNS) 傳送。適用 Amazon S3 和 Amazon SNS 的標準費率。使用 AWS Lambda 編寫自定義規則。我

Hadoop Yarn多使用者資源管理–Fair Scheduler介紹與配置

關鍵字:Hadoop 多使用者、資源、fair scheduler 在一個公司內部的Hadoop Yarn叢集,肯定會被多個業務、多個使用者同時使用,共享Yarn的資源,如果不做資源的管理與規劃,那麼整個Yarn的資源很容易被某一個使用者提交的Application佔滿,其它任務只能等待,這種當然很不合

你的數據安全麽?Hadoop再曝安全漏洞| 黑客利用Hadoop Yarn資源管理系統未授權訪問漏洞

分布式摘要: 4月30日,阿裏雲發現,俄羅斯黑客利用Hadoop Yarn資源管理系統REST API未授權訪問漏洞進行攻擊。 Hadoop是一款由Apache基金會推出的分布式系統框架,它通過著名的 MapReduce 算法進行分布式處理,Yarn是Hadoop集群的資源管理系統。4月30日,阿裏雲發現,俄

spark on yarn模式下內存資源管理(筆記2)

warn 計算 nta 堆內存 註意 layout led -o exc 1.spark 2.2內存占用計算公式 https://blog.csdn.net/lingbo229/article/details/80914283 2.spark on yarn內存分配*

資源管理(大資料):Zookeeper、 Yarn簡介、原理

https://blog.csdn.net/wzk646795873/article/details/79583218 Zookeeper Zookeeper是一個分散式協調服務,一個leader,多個follower組成的叢集,就是為使用者的分散式應用程式提供協調服務。 Zookeep

yarn資源管理優化

叢集環境: chd5-2.5.2 我們叢集使用的是FailScheduler,如果佇列引數設定不合理,會直接影響到任務執行的快慢。 佇列設定不合理 舉例如下: 現狀:該隊裡minshare設定的過小,同時起的任務太多 導致的問題:該佇列中平均每個任務分的資源比較少,任務跑的特別慢,同時,

yarn資源管理優先順序設定

作業提交到的佇列:mapreduce.job.queuename 作業優先順序:mapreduce.job.priority,優先順序預設有5個:LOW VERY_LOW NORMAL(預設) HIGH VERY_HIGH 1、靜態設定 1.1

YARN——Hadoop的叢集資源管理系統

     相對於昨天的HDFS,YARN明顯難一些。    聽過大資料的人最多,聽過Hadoop的次之,聽過YARN的再次之。    本文參考官方文件以及百度百科,去除了一些跟上一代的資源排程管理系統的對比,只求略懂一二,為後面的MapReduce任務鋪路。  

資源管理與排程系統YARN(一)

文章目錄 why YARN MRv1 侷限性 YARN設計動機 YARN 設計思想 YARN 基本架構

Nginx作為靜態資源web服務_防盜鏈配置

Nginx作為靜態資源web服務_防盜鏈配置 1、新建http_referer.html檔案 (1)touch http_referer.html      (2)編輯http_referer.html檔案     

Nginx作為靜態資源web服務_防盜鏈目的

Nginx作為靜態資源web服務_防盜鏈目的 1、防盜鏈目的     目的:防止資源被盜用。     防止非正常使用者訪問,佔用網站資源,影響網站效能,勢必影響正常使用者訪問。   2、防盜鏈設定思路  &nbs

Nginx作為靜態資源web服務_跨站訪問場景配置

Nginx作為靜態資源web服務_跨站訪問場景配置 跨域訪問場景演示 設施準備:兩臺雲伺服器 or 建立兩臺虛擬伺服器(VMWare、VirtureBox等) (1)騰訊雲伺服器上新增CSRF.html檔案 使用JQuery Ajax請求模擬跨域訪問: CSRF.

Nginx作為靜態資源web服務_跨站訪問

Nginx作為靜態資源web服務_跨站訪問 1、跨域訪問          瀏覽器同時訪問多個域名   2、為什麼瀏覽器禁止跨域訪問?        不

Nginx作為靜態資源web服務_瀏覽器快取場景演示

Nginx作為靜態資源web服務_瀏覽器快取場景演示 1、expires過期時間語法 Nginx在響應頭中新增:Cache-Control、Expires頭 Syntax: expires [modified] time;e

Nginx作為靜態資源web服務_瀏覽器快取

Nginx作為靜態資源web服務_瀏覽器快取 1、瀏覽器快取     HTTP協議定義的快取機制(如:Expire;Cache-control等) 2、瀏覽器無快取場景圖      3、瀏覽器有快取場景圖   &