1. 程式人生 > >Hadoop web監控介面加上安全機制設定

Hadoop web監控介面加上安全機制設定

1. 配置core-site.xml,並scp到其他節點

引數說明:

The following properties should be in the core-site.xml of all the nodes in the cluster.

hadoop.http.filter.initializers: add to this property the org.apache.hadoop.security.AuthenticationFilterInitializer initializer class.

hadoop.http.authentication.type: Defines authentication used for the HTTP web-consoles. The supported values are: simple | kerberos | #AUTHENTICATION_HANDLER_CLASSNAME#. The dfeault value is simple.

hadoop.http.authentication.token.validity: Indicates how long (in seconds) an authentication token is valid before it has to be renewed. The default value is 36000.

hadoop.http.authentication.signature.secret.file: The signature secret file for signing the authentication tokens. The same secret should be used for all nodes in the cluster, JobTracker, NameNode, DataNode and TastTracker. The default value is $user.home/hadoop-http-auth-signature-secret. IMPORTANT: This file should be readable only by the Unix user running the daemons.

hadoop.http.authentication.cookie.domain: The domain to use for the HTTP cookie that stores the authentication token. In order to authentiation to work correctly across all nodes in the cluster the domain must be correctly set. There is no default value, the HTTP cookie will not have a domain working only with the hostname issuing the HTTP cookie.

IMPORTANT: when using IP addresses, browsers ignore cookies with domain settings. For this setting to work properly all nodes in the cluster must be configured to generate URLs with hostname.domain names on it.

hadoop.http.authentication.simple.anonymous.allowed: Indicates if anonymous requests are allowed when using 'simple' authentication. The default value is true

hadoop.http.authentication.kerberos.principal: Indicates the Kerberos principal to be used for HTTP endpoint when using 'kerberos' authentication. The principal short name must be HTTP per Kerberos HTTP SPNEGO specification. The default value is HTTP/
[email protected]
$LOCALHOST, where _HOST -if present- is replaced with bind address of the HTTP server. hadoop.http.authentication.kerberos.keytab: Location of the keytab file with the credentials for the Kerberos principal used for the HTTP endpoint. The default value is $user.home/hadoop.keytab.i

2. 手動建立 ${user.home}/hadoop-http-auth-signature-secret 檔案,並sep到其他節點

3、重新啟動後發現如下錯誤,確認是該Hadoop版本不支援:

4、升級Hadoop版本,新版本為Hadoop1.2.1,升級過程如下;

1:執行dfsadmin -upgradeProgress status 檢查是否存在備份 如果是第一次升級 就不存在備份
2:備份dfs.namenode.dir下檔案
3:停止所有節點 bin/stop-all.sh
4:在所有節點上重新部署hadoop 並替換conf資料夾下所有檔案(就是將原有的hadoop-0.19.1更名為hadoop-0.21.0-oldverstion,然後解壓hadoop-1.2.1.tar.gz 將0.19.2中的conf檔案替換為0.21.0中的conf資料夾),注意複製檔案後文件許可權問題。

[[email protected] hadoop]$ vi /etc/profile.d/java.sh

export JAVA_HOME=/usr/java/jdk1.6.0_22/
export HADOOP_HOME=/opt/modules/hadoop/hadoop-0.21.0/
export HIVE_HOME=/opt/modules/hive-0.11.0/
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$PATH
[[email protected] profile.d]# source /etc/profile
[[email protected] profile.d]# cd $HADOOP_HOME


5:使用 bin/start-dfs.sh -upgrade 進行升級
6:執行一段時間後 沒有問題 再 執行升級終結操作bin/hadoop dfsadmin -finalizeUpgrade

7:升級完成

注意:

HDFS從一個版本升級到另外一個版本的時候,NameNode和DataNode使用的檔案格式有可能會改變。當你第一次使用新版本的時候,你要使用

bin/start-dfs.sh -upgrade

告訴Hadoop 去改變HDFS版本(否則,新版本不會生效)。

然後它開始升級,你可以通過

bin/hadoop dfsadmin -upgradeProgress

命令來檢視版本升級的情況。

當然你可以使用

bin/hadoop dfsadmin -upgradeProgress details

來檢視更多的詳細資訊。

當升級過程被阻塞的時候,你可以使用

bin/hadoop dfsadmin -upgradeProgress force

來強制升級繼續執行(當你使用這個命令的時候,一定要慎重考慮)。


當HDFS升級完畢後,Hadoop依舊保留著舊版本的有關資訊,
以便你可以方便的對HDFS進行降級操作。
可以使用bin/start-dfs.sh -rollback來執行降級操作。

4、重新驗證:

 

6、最後:bin/hadoop dfsadmin -finalizeUpgrade

Started: Sun Oct 20 07:54:08 EDT 2013
Version: 1.2.1, r1503152
Compiled: Mon Jul 22 15:23:09 PDT 2013 by mattf
Upgrades: There are no upgrades in progress.

7、50030埠2個NODE處理Save安全模式下,最後離開安全模式;

重新檢視效果;

7

相關推薦

Hadoop web監控介面加上安全機制設定

1. 配置core-site.xml,並scp到其他節點 引數說明: The following properties should be in the core-site.xml of all the nodes in the cluster. hadoop.

hadoop web監控介面加上安全機制

當hadoop叢集安裝完成後,如果叢集是部署在區域網上,相對來講,可不考慮安全問題,但部署在網際網路上,需要對web控制介面進行安全機制設定。如果沒有設定時,在瀏覽器中輸入namenode的主機地址加上50070埠時,出現如下的介面: 注意,圖中有一名:Security

【阿里雲IoT+YF3300】13.阿里雲IoT Studio WEB監控介面構建

       Web視覺化開發是阿里雲IoT Studio中比較重要的一個功能,通過視覺化拖拽的方式,方便地將各種圖表元件與裝置相關的資料來源關聯,無需程式設計,即可將物聯網平臺上接入的裝置資料視覺化展現。     &n

ActiveMQ的安全機制(管控臺密碼的設定和mq使用者認證)

activemq的web管理介面:http://127.0.0.1:8161/admin (1)activemq管控臺使用jetty部署,所以需要修改密碼則需要修改相應的配置檔案D:\apache-activemq-5.12.0\conf\jetty-realm.properties。

WEB網站設計使用者登入的安全機制

https://blog.csdn.net/iechenyb/article/details/78249791 1   伺服器端不要儲存密碼明文,因為攻擊者甚至不需要很高深的技術,利用SQL注入就可以獲取所有的明文密碼,後果嚴重。    &n

hadoop web安全認證

Hadoop叢集配置完成,web監控介面的50070和50030埠不需使用者驗證即可訪問,對生產環境是不容許的,需要加上安全機制。 1、修改core-site.xml,增加如下內容,配置完成後拷貝到其他節點上。     <property>     <na

介面安全控制 (JWT) JSON Web Tokens

前言 如果你的介面是開放的,誰都可以成功呼叫,那麼會非常危險。因此除非你真的想做開放式服務,否則要對使用者的請求做許可權控制 舉例:假如我想自己寫一個“張三版新浪微博”的APP。 新浪微博開放了微博的介面,所有人可以呼叫這些介面“發微博”、“看微博”等。當然不是隨便呼叫,而

Hadoop web頁面的授權設定

一、相關概念   在預設情況下,相關的WEB頁面(JobTracker, NameNode, TaskTrackers and DataNodes)是不需要什麼許可權驗證就可以直接進入的,誰都可以檢視到當前叢集上有哪些作業在執行,這對安全來說是很不合理的。我們應該限定

Hadoop平臺安全機制Kerberos認證

日前筆者在使用flume採集資料直接入到Hadoop平臺HDFS上時,由於Hadoop平臺採用了Kerberos認證機制。flume配置上是致辭kerberos認證的,但由於flume要採集的節點並不在叢集內,所以需要學習Kerberos在Hadoop上的應用。 1、Ker

Android安全機制介紹

backup 可能 mbed 集合 應用程序 linux用戶 內存空間 bin 實施 Android的安全機制包含下面幾個方面: ? 進程沙箱隔離機制。 ? 應用程序簽名機制。 ? 權限聲明機制。 ? 訪問控制機

基於Tomcat 的WEB Project存在的安全漏洞總結

能力 .org target prot 結果 dea 漏洞 ring 解決 1 檢查工具:Acunetix Web Vulnerability Scanner V9破解版 2 檢查漏洞說明結果顯示: 2.1 HTML Form Without CSRF Protecti

Android安全機制

android安全 manage add detail 分配 strong rac 地址 創建 Android安全機制 下載地址:地址 Android應用程序是執行在一個沙箱中。這個沙箱是基於Linux內核提供的用戶ID(UID)和用戶組ID(GI

Hadoop(七)HDFS容錯機制詳解

技術 分布式文件系 設計 1.3 1.5 不足 故障類型 sys 數據恢復 前言   HDFS(Hadoop Distributed File System)是一個分布式文件系統。它具有高容錯性並提供了高吞吐量的數據訪問,非常適合大規模數據集上的應用,它提供了一個高度容錯

asp.net web api 接口安全與角色控制

unix時間戳 客戶 unix時間 space nal gui 接口安全 不同的 ict 1 API接口驗證與授權 JWT JWT定義,它包含三部分:header,payload,signature;每一部分都是使用Base64編碼的JSON字符串。之間以句號分隔。sign

支持多用戶web終端實現及安全保障(nodejs)

ant 設置 寬高 處理 out locking nec tdi 背景 背景 terminal(命令行)作為本地IDE普遍擁有的功能,對項目的git操作以及文件操作有著非常強大的支持。對於WebIDE,在沒有web偽終端的情況下,僅僅提供封裝的命令行接口是完全不能滿

Web緩存機制系列】2 – Web瀏覽器的緩存機制-(新鮮度 校驗值)

logs 決定 transfer action n-n clas 響應頭 正常 text Web緩存的工作原理 所有的緩存都是基於一套規則來幫助他們決定什麽時候使用緩存中的副本提供服務(假設有副本可用的情況下,未被銷毀回收或者未被刪除修改)。這些規則有的在協議中有定義(

03_ActiveMQ安全機制

password alt groups 配置 apache 配置文件 use body 安全機制 【ActiveMQ安全機制】 [ ActiveMQ的web管理界面 ]   地址 http://127.0.0.1:8161/admin   ActiveMQ管理控制臺

zabbix之web監控

zabbixWeb monitoring(web監控)是用來監控Web程序的,可以監控到Web程序的下載速度,返回碼以及響應時間,還支持把一組連續的Web動作作為一個整體進行監控。 1.Web監控的原理 Web監控即對HTTP服務的監控,模擬用戶去訪問網站,對特定的結果進行比較,如狀態碼 ,返回字符串等特定的

Zabbix 3.0 配置web監控

zabbix web監控 一、客戶端配置 1、安裝nginx [root@node2 ~]# yum install nginx 2、啟動服務 [root@node2 ~]# systemctl start nginx [root@node2 ~]# systemctl status nginx

webservice安全機制實現方法

profile 對不起 form public hds pcl generic AR bject 今天,抽空研究了一下webservice的安全機制,主要一種方法使用SoapHader來實現。使用SoapHeader可以來控制非法用戶對webservice的調用。下面是