① 問題描述：HBase只能啟動HRegionServer，HMaster啟動後瞬間又停止

② 日誌

java.net.UnknownHostException: Invalid host name: local host is: (unknown); destination host is: "namenode":9000; java.net.UnknownHostException;

③ 解決：

修改Hbase-site.xml檔案，將Rootdir地址改為IP形式。

① 問題描述：Hiveserver2無法啟動元資料服務

② 日誌：

Exception in thread "main" org.apache.thrift.transport.TTransportException: Kerberos principal should have 3 parts: hadoop
 

③ 解決
所有節點（包括thrift節點）在core-site.xml中加入：

<property>
   <name>hadoop.security.authorization</name>
   <value>true</value>
</property>

<property>
   <name>hadoop.security.authentication</name>
   <value>kerberos</value>
</property>
 

① 問題描述： hive整合kerberos後通過
./hive –service metastore & 啟動元資料服務
./schematool -initSchema -dbType mysql 啟動元資料庫
此時報錯：
Error: Duplicate key name ‘PCS_STATS_IDX’ (state=42000,code=1061)
②解決
在hive主機拷貝檔案到thrift：

scp /home/hadoop/hive/scripts/metastore/upgrade/mysql /hive-schema-1.2.0.mysql.sql [email protected]
 
:/usr/local/mysql 

進入mysql：

mysql -u hive -p hive
> use metastore;
> source /usr/local/mysql/hive-schema-1.2.0.mysql.sql;

啟動hive服務：

./hive

① 問題描述：無法進入hive命令列
② 日誌

java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient MetaException(message:Could not connect to meta store using any of the URIs provided. Most recent failure:org.apache.thrift.transport.TTransportException: java.net.ConnectException: Connection refused

③ 解決

 造成此問題的原因在於設定了元資料來自：thrift://etl:9083該配置用於spark sql與hive的整合，一旦配置了這個屬性，hive將不能進入命令列。

① 描述：Hbase產生大量錯誤日誌
② 日誌

java.io.IOException: error or interrupt while splitting logs in [hdfs://inc-dp-hbase-01.hst.bjc.kfc.alidc.NET:9000/hbase/.logs/inc-dp-hbase-02,60020,1335429401869-splitting

③ 解決

解讀：hmaster一直在做log的分散式spit，但是都無法成功：
修改Hbase-site.xml

<property>
<name>hbase.master.distributed.log.splitting</name>
<value>false</value>
</property>

① 描述：spark-shell，spark-sql均無法啟動，不斷重試。
② 日誌：

ERROR netty.NettyTransport: failed to bind to /192.168.6.187:0, shutting down Netty transport

③ 解決

檢視HRegionServer是否宕機

①日誌：

java.lang.IllegalArgumentException: KeyValue size too large

② 解決：

conf.set("hbase.client.keyvalue.maxsize","524288000");

① 描述：Hbase shell中list無效：
② 日誌：

ServerNotRunningYetException: Server is not running yet

③ 解決：

 檢視HDFS是否處於安全模式。關閉安全模式之後重啟zookeeper，再重啟hbase

① 描述：hive進行select（*）時，出現以下異常：

Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer

② 解決：

增大系統檔案描述符數量，修改2個檔案： 
vi /etc/security/limits.conf 加上： 
    * soft nofile 102400 
    * hard nofile 409600  

vi /etc/pam.d/login 加上：     
    session    required     /lib/security/pam_limits.so 

① 描述：spark啟動出錯

   NoClassDefFoundError: org/apache/hadoop/conf/Configuration

② 解決：

在spark-env.sh中加入：
export SPARK_DIST_CLASSPATH=$(/home/hadoop/bin/hadoop classpath)

① 描述：hive JDBC無法連線，報錯如下：

   Hive JDBC : Could not open client transport with JDBC Uri

② 解決：

is your hive Server is running in HTTP mode? When HiveServer2 Is Running in HTTP Mode:Default port for HTTP transport mode is 10001.

①描述：hbase shell下通過list查看錶資訊，speech_hbase不存在。scan “speech_hbase”報錯如下：

ERROR: Unknown table speech_hbase

② 解決：
修復.META.表：

hbase hbck -fixMeta

如果依然失敗：

hbase hbck -fixAssignments(重新分割槽)

① 描述：hive啟動時，報錯如下：

"com.mysql.jdbc.Driver") was not found in the CLASSPATH.

② 解決：
在hive/lib/目錄下匯入jar包：mysql-connector-java-5.1.34.jar
若jar包版本不符，將在刪除表時報以下錯誤：
For direct MetaStore DB connections, we don’t support retries at the
client level

埠被佔用

Java.net.BindException:Address already in use
①通過netstat -apn | grep port檢視該埠號是否被佔用，對用無用程序，可將其kill後重新執行命令
②修改配置檔案，修改繫結埠

磁碟沒有剩餘空間

java.io.IOException:No space left on device
清理磁碟，清理無用日誌

Datanode節點無法啟動，且無datanode.log輸出
jsvc日誌：

Cannot start secure datanode with unprivileged RPC ports
Cannot start secure datanode with unprivileged HTTP ports
分析：
JSVC是一組讓java在UNIX上更容易執行的庫和應用程式，JSVC允許應用程式（如Tomcat）以root許可權執行一些特權操作（如繫結到一個埠<1024），然後切換到一個非特權使用者的身份。
整合kerberos後的HDFS需要以root身份啟動datanode程序，由此需要用到jsvc。
日誌提示無法使用一個非特權RPC和HTTP埠啟動datanode，特權埠為1024以下的埠，因此編輯hdfs-site.xml手動設定埠號：

dfs.datanode.address
192.168.6.229:900

dfs.datanode.http.address
192.168.6.229:901

應注意：900、901埠未被佔用

啟動datanode時，其中一個節點未啟動，通過daemon.sh單獨啟動時也無法啟動，檢視datanode.log無記錄。檢視jsvc.err發現如下資訊：

Still running according to PID file /home/hadoop/pids/hadoop_secure_dn.pid, PID is 1829
Service exit with a return value of 122

分析：
由於之前掉電停機，導致datanode下線前未登出hadoop_secure_dn.pid，重啟datanode時datanode將檢查該檔案，如果沒有值則註冊新的id。解決辦法：將該檔案中的id值清空，重啟該datanode。

HA，啟動後只有一個namenode，即兩個namenode間的協調出現問題。日誌顯示：

 journalnode storage directory ...... is not formatted

解決方案：

sbin/start-dfs.sh

啟動叢集（暫時只有一個namenode啟動）

hdfs namenode -initializeSharedEdits

從已啟動的namenode同步初始edits檔案到備用主節點

sbin/hadoop-daemon.sh start namenode  （在備用主節點執行）