Ambari管理Hadoop叢集時遇到的問題
一、執行MapReduce程式出現的問題
mapreduce.task.io.sort.mb無效
java.io.IOException: Invalid "mapreduce.task.io.sort.mb": 4096
解決辦法：
這個引數的值設定的過大了，不能超過2047，注意單位是mb
二、當叢集的某個從節點宕機了，怎麼辦？
解決辦法：
先在掛掉的節點上重啟ambari代理，使用ambari-agent restart命令，然後操作後臺介面重啟服務即可。
三、當叢集突然斷電之後，重啟怎麼辦？
解決辦法：
1、啟動ntpd（時間同步）服務
有的系統管理員在測試叢集上沒有讓ntpd開機啟動，就要手動啟動了，一般情況下，生產叢集上是肯定開啟的。
service ntpd start
2、重啟ambari服務和ambari代理
ambari-server restart（主節點）
ambari-agent restart（各個節點都要重啟）
3、通過圖形介面啟動和管理各個服務
通過瀏覽器訪問一下地址http://主機ip:8080進行管理即可。
相關推薦
Ambari管理Hadoop叢集時遇到的問題
一、執行MapReduce程式出現的問題 mapreduce.task.io.sort.mb無效 java.io.IOException: Invalid "mapreduce.task.io.so
搭建hadoop叢集時的一些問題
1、在做格式化時，/bin/hdfs namenode -format出錯：ERROR namenode.NameNode: Failed to start namenode.java.lang.IllegalArgumentException: URI has an authority componenta
在ubuntu14.04上使用ambari搭建hadoop叢集
一、環境準備 在使用ambari搭建hadoop叢集之前需要準備一些環境。本文使用三臺機器搭建hadoop叢集。IP分別為： ubuntu 的 IP :192.168.127.138 hadoop1 的 IP： 192.168.127.1
HDP學習--Ambari安裝Hadoop叢集步驟
一、 安裝前的準備 軟硬體需求： 專案 指標 os red hat6.5.x86_64 java 1.8.0_101 ambari AMBARI-2.2.1.0 HDP HDP2.4.0.0
Ambari搭建Hadoop叢集之配置SSH免密登入
Ambari搭建Hadoop叢集時為了實現叢集之間的主機進行快速的聯機，我們需要對叢集的虛擬機器進行免密登入配置。下面來說說具體步驟。 前提：3臺虛擬機器。 1.修改主機名 a）首先root許可權下分別對3臺虛擬機器進行修改。修改的命令如下： sudo hostnam
配置hadoop叢集時，ssh無密碼登陸設定（各個主機的使用者名稱需要一樣）
目標： 在配置hadoop分散式安裝過程中，需要配置ssh的無密碼登入。在組建hadoop叢集的時候，需要多臺實體機進行通訊（傳送或者讀取資料，namenode和datanode之間）就是藉助ssh，在通訊過程中如果需要操作人員頻繁輸入密碼是不切實際的，所以需要ssh的
Hadoop建設工具Ambari的安裝部署及完整使用（五）——Ambari使用之叢集解除安裝
五.Ambari使用——解除安裝叢集 方式一： ambari本身並沒有提供基於web管理端的自動化解除安裝的功能。ambari web管理端的操作更多的是實現服務或是主機的擴充套件（無法完全清除服務和主機）。因此本人通過實踐，也整理了一份手動解除安裝指令碼： 注：因為此指令碼只是根
Hadoop建設工具Ambari的安裝部署及完整使用（四）——Ambari使用之叢集建立
四.Ambari使用——建立叢集 登入並建立叢集 1) 以管理員登入ambari-server,使用者名稱和密碼預設為：admin/admin 2) 點選【Launch Install Wizard】開始安裝叢集 3) 給叢集命名
在搭建Hadoop叢集環境時遇到的一些問題
最近在學習搭建hadoop叢集環境，在搭建的過程中遇到很多問題，在這裡做一些記錄。1. SSH相關的問題 問題一: ssh: connect to host localhost port 22: Connection refused 問題二: 遠端連線需要輸入密碼。 參照以下部落格即可解決: Li
從主機名談真實Hadoop叢集與虛擬機器叢集管理
本文出處：http://blog.csdn.net/chaijunkun/article/details/23283431，轉載請註明。由於本人不定期會整理相關博文，會對相應內容作出完善。因此強烈建議在原始出處檢視此文。隨著大資料的普及，Hadoop應用也越來越廣泛，然而不斷
hadoop-叢集管理——記憶體設定
1.記憶體 hadoop為各個守護程序（namenode,secondarynamenode,jobtracker,datanode,tasktracker）統一分配的記憶體在hadoop-env.sh中設定，引數為HADOOP_HEAPSIZE，預設為100
Linux7 下Hadoop叢集使用者管理方案之二 CDH5.9.0版本安裝配置
前期準備： 第一步：裝NTP 這個單獨做了一個文件專門寫NTP. 我擦。搞死了。一上午都在搞這個ntp。。。終於搞定了。 第二步：改Hosts檔案 echo '10.10.106.156 edu-bigdata-01.novalocal' > /etc/hos
CentOS 7.4 安裝 Ambari 2.6.0 + HDP 2.6.3 搭建Hadoop叢集
1.安裝環境說明 三臺機器安裝好CentOS-7-x86_64-Minimal-1708.iso 下載地址：https://www.centos.org/download/ 最好在安裝時設定好IP和HOSTNAME 三臺機器的IP和HOSTNAME下載如下 主
Centos7下Hortonworks的Ambari-server和Hadoop叢集平臺重灌.
Ambari是apache的頂級專案, 是一套類似一鍵包安裝hadoop叢集的快速部署工具. 本文是因為配置kerberos 授權的時候, 需要加安裝一些功能, 比如tez的時候, 某個包(pig 安裝失敗,) 導致禁用kerberos 無效. 進而
第123講：Hadoop叢集管理之Namenode目錄元資料結構詳解學習筆記
第123講：Hadoop叢集管理之Namenode目錄元資料結構詳解學習筆記 hadoop-2.x的叢集管理與hadoop-1.x有很大不同 hdfs-site.xml： dfs.replication dfs.namenode.name.dir 存放namenode元資
hadoop叢集ambari搭建(1)之ambari-server安裝
Apache Ambari是一種基於Web的工具，支援Apache Hadoop叢集的供應、管理和監控。Ambari目前已支援大多數Hadoop元件，包括HDFS、MapReduce、Hive、Pig
【hadoop】HA叢集時遇到的問題
【持續更新】解決一些使用HA叢集遇到的問題，包括搭建、使用、開發等 1. 在格式化HDFS時報錯： 17/11/25 16:44:25 WARN namenode.NameNode: Encountered exception during format
搭建hadoop高可用叢集時的錯誤 ERROR namenode.NameNode: Failed to start namenode.
在執行name node格式化（hdfs namenode -format）的時候，出現了以下無法啟動NameNode的錯誤，研究了很久，請教了本班的大神後，終於知道原因是core-site的檔案配置中 tmp 的目錄路徑寫錯了 17/07/19 01:32:48 ERR
linux 設定時間（hadoop 對於時間要求比較高，所有在叢集時特別要注意時間）
一：檢視當時時間： date Thu Mar 26 02:30:59 EDT 2015 二：檢視當時時區列表： 2.1: 檢視當前所有時區-》 cd /usr/share/zoneinfo/ 2.2: 檢視亞洲所有時區-》cd Asia 3.3:
第127講：Hadoop叢集管理之安全模式解析及動手實戰學習筆記
第127講：Hadoop叢集管理之安全模式解析及動手實戰學習筆記 hadoop在啟動時namenode會把fsimage載入進記憶體，同時和edits內容合併，以此建立整個檔案系統的元資料的映象（記憶體級別），所以客戶端可以通過namenode訪問檔案系統的資訊。完成後變成