2. 程式人生 > >Hadoop64位版本安裝後遇到的警告處理

Hadoop64位版本安裝後遇到的警告處理

阿新 • • 發佈：2019-02-03

在使用hadoop的過程中，會遇到一個警告，內容如下：

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

對於這個問題網上很多說法是由於系統位數和所下載的hadoop的位數不同造成的，說到這裡就需要看一下自己的hadoop的位數了，檢視方法如下：

1.進入到hadoop的安裝資料夾下；

2.進入如下目錄：


3.看到上圖中的libhadoop.so後，使用file命令：


到這裡，就可以完全知道了自己的hadoop的版本是32位的還是64位的了；

如果確實是因為位數不一樣，ok那麼只能選擇下載原始碼然後自己編譯了；但是我這裡遇到的不是這個問題，因為我的是64位的作業系統，並且我的hadoop也是64位的；那麼問題出在哪裡呢？

編輯一下/etc/profile，讓hadoop列印日誌到console中，來看一下；

1.給/etc/profile 中加入如下內容：

export HADOOP_ROOT_LOGGER=DEBUG,console

截圖如下：


然後source一下/etc/profile讓它生效：

source /etc/profile

2.執行任意的hadoop命令，來看一下彈出的警告資訊，主要內容如下

[[email protected]
 
 ~]$ hdfs dfs -ls /
17/01/13 14:04:39 DEBUG util.Shell: setsid exited with exit code 0
17/01/13 14:04:39 DEBUG conf.Configuration: parsing URL jar:file:/home/hadoop/app/hadoop-2.5.2/share/hadoop/common/hadoop-common-2.5.2.jar!/core-default.xml
17/01/13 14:04:39 DEBUG conf.Configuration: parsing input stream [email protected]
 
891
17/01/13 14:04:39 DEBUG conf.Configuration: parsing URL file:/home/hadoop/app/hadoop-2.5.2/etc/hadoop/core-site.xml
17/01/13 14:04:39 DEBUG conf.Configuration: parsing input stream [email protected]
17/01/13 14:04:40 DEBUG lib.MutableMetricsFactory: field org.apache.hadoop.metrics2.lib.MutableRate org.apache.hadoop.security.UserGroupInformation$UgiMetrics.loginSuccess with annotation @org.apache.hadoop.metrics2.annotation.Metric(value=[Rate of successful kerberos logins and latency (milliseconds)], about=, valueName=Time, type=DEFAULT, always=false, sampleName=Ops)
17/01/13 14:04:40 DEBUG lib.MutableMetricsFactory: field org.apache.hadoop.metrics2.lib.MutableRate org.apache.hadoop.security.UserGroupInformation$UgiMetrics.loginFailure with annotation @org.apache.hadoop.metrics2.annotation.Metric(value=[Rate of failed kerberos logins and latency (milliseconds)], about=, valueName=Time, type=DEFAULT, always=false, sampleName=Ops)
17/01/13 14:04:40 DEBUG lib.MutableMetricsFactory: field org.apache.hadoop.metrics2.lib.MutableRate org.apache.hadoop.security.UserGroupInformation$UgiMetrics.getGroups with annotation @org.apache.hadoop.metrics2.annotation.Metric(value=[GetGroups], about=, valueName=Time, type=DEFAULT, always=false, sampleName=Ops)
17/01/13 14:04:40 DEBUG impl.MetricsSystemImpl: UgiMetrics, User and group related metrics
17/01/13 14:04:41 DEBUG security.Groups:  Creating new Groups object
17/01/13 14:04:41 DEBUG util.NativeCodeLoader: Trying to load the custom-built native-hadoop library...
17/01/13 14:04:41 DEBUG util.NativeCodeLoader: Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: /home/hadoop/app/hadoop-2.5.2/lib/native/libhadoop.so: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by /home/hadoop/app/hadoop-2.5.2/lib/native/libhadoop.so)
17/01/13 14:04:41 DEBUG util.NativeCodeLoader: java.library.path=/home/hadoop/app/hadoop-2.5.2/lib/native
17/01/13 14:04:41 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
17/01/13 14:04:41 DEBUG security.JniBasedUnixGroupsMappingWithFallback: Falling back to shell based
17/01/13 14:04:41 DEBUG security.JniBasedUnixGroupsMappingWithFallback: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping
17/01/13 14:04:41 DEBUG security.Groups: Group mapping impl=org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback; cacheTimeout=300000; warningDeltaMs=5000
17/01/13 14:04:41 DEBUG security.UserGroupInformation: hadoop login
17/01/13 14:04:41 DEBUG security.UserGroupInformation: hadoop login commit
17/01/13 14:04:41 DEBUG security.UserGroupInformation: using local user:UnixPrincipal: hadoop
17/01/13 14:04:41 DEBUG security.UserGroupInformation: UGI loginUser:hadoop (auth:SIMPLE)
17/01/13 14:04:42 DEBUG hdfs.BlockReaderLocal: dfs.client.use.legacy.blockreader.local = false
17/01/13 14:04:42 DEBUG hdfs.BlockReaderLocal: dfs.client.read.shortcircuit = false
17/01/13 14:04:42 DEBUG hdfs.BlockReaderLocal: dfs.client.domain.socket.data.traffic = false
17/01/13 14:04:42 DEBUG hdfs.BlockReaderLocal: dfs.domain.socket.path = 
17/01/13 14:04:42 DEBUG hdfs.HAUtil: No HA service delegation token found for logical URI hdfs://ns1/
17/01/13 14:04:42 DEBUG hdfs.BlockReaderLocal: dfs.client.use.legacy.blockreader.local = false
17/01/13 14:04:42 DEBUG hdfs.BlockReaderLocal: dfs.client.read.shortcircuit = false
17/01/13 14:04:42 DEBUG hdfs.BlockReaderLocal: dfs.client.domain.socket.data.traffic = false
17/01/13 14:04:42 DEBUG hdfs.BlockReaderLocal: dfs.domain.socket.path = 
17/01/13 14:04:42 DEBUG retry.RetryUtils: multipleLinearRandomRetry = null
17/01/13 14:04:42 DEBUG ipc.Server: rpcKind=RPC_PROTOCOL_BUFFER, rpcRequestWrapperClass=class org.apache.hadoop.ipc.ProtobufRpcEngine$RpcRequestWrapper, rpcInvoker=or[email protected]440b2a8c
17/01/13 14:04:42 DEBUG ipc.Client: getting client out of cache: [email protected]
17/01/13 14:04:43 DEBUG shortcircuit.DomainSocketFactory: Both short-circuit local reads and UNIX domain socket are disabled.
17/01/13 14:04:43 DEBUG ipc.Client: The ping interval is 60000 ms.
17/01/13 14:04:43 DEBUG ipc.Client: Connecting to hadoop1/192.168.1.232:9000
17/01/13 14:04:43 DEBUG ipc.Client: IPC Client (382257985) connection to hadoop1/192.168.1.232:9000 from hadoop: starting, having connections 1
17/01/13 14:04:43 DEBUG ipc.Client: IPC Client (382257985) connection to hadoop1/192.168.1.232:9000 from hadoop sending #0
17/01/13 14:04:43 DEBUG ipc.Client: IPC Client (382257985) connection to hadoop1/192.168.1.232:9000 from hadoop got value #0
17/01/13 14:04:43 INFO retry.RetryInvocationHandler: Exception while invoking getFileInfo of class ClientNamenodeProtocolTranslatorPB over hadoop1/192.168.1.232:9000. Trying to fail over immediately.
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state standby
        at org.apache.hadoop.hdfs.server.namenode.ha.StandbyState.checkOperation(StandbyState.java:87)
        at org.apache.hadoop.hdfs.server.namenode.NameNode$NameNodeHAContext.checkOperation(NameNode.java:1688)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkOperation(FSNamesystem.java:1258)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getFileInfo(FSNamesystem.java:3684)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.getFileInfo(NameNodeRpcServer.java:803)
        at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.getFileInfo(ClientNamenodeProtocolServerSideTranslatorPB.java:779)
        at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2013)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2009)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1614)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2007)

        at org.apache.hadoop.ipc.Client.call(Client.java:1411)
        at org.apache.hadoop.ipc.Client.call(Client.java:1364)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)
        at com.sun.proxy.$Proxy9.getFileInfo(Unknown Source)
        at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getFileInfo(ClientNamenodeProtocolTranslatorPB.java:707)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187)
        at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
        at com.sun.proxy.$Proxy10.getFileInfo(Unknown Source)
        at org.apache.hadoop.hdfs.DFSClient.getFileInfo(DFSClient.java:1785)
        at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(DistributedFileSystem.java:1068)
        at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(DistributedFileSystem.java:1064)
        at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
        at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1064)
        at org.apache.hadoop.fs.Globber.getFileStatus(Globber.java:57)
        at org.apache.hadoop.fs.Globber.glob(Globber.java:265)
        at org.apache.hadoop.fs.FileSystem.globStatus(FileSystem.java:1623)
        at org.apache.hadoop.fs.shell.PathData.expandAsGlob(PathData.java:326)
        at org.apache.hadoop.fs.shell.Command.expandArgument(Command.java:224)
        at org.apache.hadoop.fs.shell.Command.expandArguments(Command.java:207)
        at org.apache.hadoop.fs.shell.Command.processRawArguments(Command.java:190)
        at org.apache.hadoop.fs.shell.Command.run(Command.java:154)
        at org.apache.hadoop.fs.FsShell.run(FsShell.java:287)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84)
        at org.apache.hadoop.fs.FsShell.main(FsShell.java:340)
17/01/13 14:04:43 DEBUG retry.RetryUtils: multipleLinearRandomRetry = null
17/01/13 14:04:43 DEBUG ipc.Client: getting client out of cache: [email protected]
17/01/13 14:04:43 DEBUG ipc.Client: The ping interval is 60000 ms.
17/01/13 14:04:43 DEBUG ipc.Client: Connecting to hadoop2/192.168.1.233:9000
17/01/13 14:04:43 DEBUG ipc.Client: IPC Client (382257985) connection to hadoop2/192.168.1.233:9000 from hadoop sending #0
17/01/13 14:04:43 DEBUG ipc.Client: IPC Client (382257985) connection to hadoop2/192.168.1.233:9000 from hadoop: starting, having connections 2
17/01/13 14:04:43 DEBUG ipc.Client: IPC Client (382257985) connection to hadoop2/192.168.1.233:9000 from hadoop got value #0
17/01/13 14:04:43 DEBUG ipc.ProtobufRpcEngine: Call: getFileInfo took 8ms
17/01/13 14:04:43 DEBUG ipc.Client: IPC Client (382257985) connection to hadoop2/192.168.1.233:9000 from hadoop sending #1
17/01/13 14:04:43 DEBUG ipc.Client: IPC Client (382257985) connection to hadoop2/192.168.1.233:9000 from hadoop got value #1
17/01/13 14:04:43 DEBUG ipc.ProtobufRpcEngine: Call: getListing took 6ms
Found 3 items
-rw-r--r--   3 hadoop supergroup  179161400 2017-01-09 13:35 /apache-storm-1.0.2.tar.gz
-rw-r--r--   3 hadoop supergroup  147197492 2017-01-07 12:28 /hadoop-2.5.2.tar.gz
drwxr-xr-x   - hadoop supergroup          0 2017-01-12 08:54 /hbase
17/01/13 14:04:43 DEBUG ipc.Client: stopping client from cache: [email protected]
17/01/13 14:04:43 DEBUG ipc.Client: stopping client from cache: [email protected]
17/01/13 14:04:43 DEBUG ipc.Client: removing client from cache: [email protected]
17/01/13 14:04:43 DEBUG ipc.Client: stopping actual client because no more references remain: [email protected]
17/01/13 14:04:43 DEBUG ipc.Client: Stopping client
17/01/13 14:04:43 DEBUG ipc.Client: IPC Client (382257985) connection to hadoop2/192.168.1.233:9000 from hadoop: closed
17/01/13 14:04:43 DEBUG ipc.Client: IPC Client (382257985) connection to hadoop2/192.168.1.233:9000 from hadoop: stopped, remaining connections 1
17/01/13 14:04:43 DEBUG ipc.Client: IPC Client (382257985) connection to hadoop1/192.168.1.232:9000 from hadoop: closed
17/01/13 14:04:43 DEBUG ipc.Client: IPC Client (382257985) connection to hadoop1/192.168.1.232:9000 from hadoop: stopped, remaining connections 0


綠色的部分不用管，主要是因為我這個是叢集中的standby的節點造成的重試現象；主要看紅色部分，說來說去就是一個問題

GLIBC_2.14沒有找到

那我們來看一下當前系統的GLIBC的版本，執行如下命令：


看到的結果很明顯，系統的版本是2.12，額，版本太低了，需要升級一下了；那麼現在就開始升級。

升級過程如下：

升級過程中最好在root環境下進行，否則會因為許可權問題而導致編譯安裝失敗。

1.如果沒有安裝wget，自己安裝一個吧

2.下載如下兩個tar包

3.解壓

tar -xvf glibc-2.15.tar.gz 

tar -xvf glibc-ports-2.15.tar.gz 

4.移動一下，把glibc-ports-2.15移動到glibc-2.15中去

mv glibc-ports-2.15 glibc-2.15/ports 

5.建立一個目錄來進行編譯

mkdir glibc-build-2.15

6、進入編譯目錄

cd glibc-build-2.15

7.配置編譯引數

../glibc-2.15/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin

8.編譯（這個過程有些慢，需要等待)

make

9.安裝

make install

到這裡就成功安裝完成了，這時候再看一下glibc的版本


呵呵，已經升級完成了，在執行一下hadoop的測試命令看看


已經沒有剛才的警告了，然後呢，編輯/etc/profile，去掉剛才加入的資料。大功告成！

相關推薦

Hadoop64位版本安裝後遇到的警告處理

在使用hadoop的過程中，會遇到一個警告，內容如下： WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java clas

opencascade7.3版本安裝後不能使用問題

先描述下高版本特點： occt官網釋出了7.3最新版本後，很積極的安裝後，執行是成功的，但是每次關的時候就會出現錯誤。這個問題讓我鬱悶很久，就是覺得哪個配置出了問題，因為前期工程包編譯時間太久，所以我嘗試修改的次數不太久。最近安裝OpenCV時有些部落格說了32位與64位的區別，我查到了vs20

ubuntu 14.04.5LTS 64位版本安裝花生殼

轉載自 http://bluegemyf.blog.163.com/blog/static/11816340201571181221133/ 1、下載64位deb檔案包 wget http://download.oray.com/peanuthull/linux/phddns_2.0.

Linux系統安裝後螢幕傾斜處理辦法

螢幕斜的處理辦法，如下 在安裝啟動的時候，加入nomodeset引數。 如果你已經安裝完畢，則可以修改 vi/etc/sysconfig/grub， 加入nomodeset引數：在GRUB_CMDLINE_LINUX這行的結尾加上 nomodeset引數。 然後

ARTS-S CentOS 7 minimal 版本安裝後網路配置

用root登入伺服器,執行 nmcli d 可以看到ethernet disconnected,網絡卡是處於禁用狀態.執行 nmtui 選Edit a connection-Edit,選中Automatically connect.注意按空格選中.選OK退出.然後執行 service network

win7 or win10 64位版本安裝pyspider的問題

玩爬蟲怎麼能少得了pyspider這個神擴充套件，可是由於博主習慣（沒錢買mac，用不慣linux）用windows作為開發環境，在安裝pyspider的時候居然報錯了，我們來看看pyspider的官方解釋吧： Does pyspider Work wi

Android APP監聽自己被解除安裝以及解除安裝後的邏輯處理

兩個月前發了兩篇有關監聽自己是否被解除安裝和解除安裝反饋功能實現的部落格，第二版的地址如下：http://www.cnblogs.com/zealotrouge/p/3159772.html，感謝@whiletrue_童鞋發現了我的程式碼在4.2.2系統上無法實現解除安裝反饋，經過除錯，有了問題的解決方案

CentOS 7 minimal 版本安裝後網路配置

1、首先使用root登入伺服器，輸入 nmcli d 我們發現網絡卡是處於禁用狀態。 2、開啟網路管理器介面，再終端輸入 nmtui 開啟介面如上，使用tab鍵進行選擇，使用enter進入，這裡我們選擇第一個編輯網絡卡。 3、然後進入網絡卡選擇 4、進行選擇編輯

SQL Server 安裝後服務器改名後需處理問題

問題 當前 cal 處理 pro erp 適用於 解決 exec SQL Server 安裝後，服務器再改名，造成名稱不一致的，使用以下方法解決： 此操作也適用於修改服務器名。 １、查詢當前服務器的舊服務器名： SELECT @@servername AS 舊服務器名 ２、

關於電腦安裝多個版本JDK後使用時的切換

安裝 build 兩種方法 期望 保存 span 版本 查看 nbsp 轉自：https://www.cnblogs.com/yanzige/p/5377332.html 具體操作和描述如下（前兩種方法都是沒有成功的） 原本安裝了jdk1.7，環境變量也是配置的1.7相關路

關於python使用requests依賴包時出現版本不匹配的警告問題，如下處理

    近日一直可正常使用用python中request庫進行http介面請求，今天再次執行控制檯報出以下警告： RequestsDependencyWarning: urllib3 (1.24.1) or chardet (3.0.4) doesn't match a suppor

無法安裝64位版本的微軟Office

“無法安裝64位版本的Office，因為在您的PC上找到了以下32位程式：Office 15 Click-to-Run Extensibility Component ，請解除安裝所有32位Office程式，然後重試安裝64位Office。如果要安裝32位Office，請執行32位安裝程式”

VirtualBox虛擬機器安裝Linux redhat 5.4 64位版本的過程中出現的問題及解決方法

問題一：     在使用VirtualBox虛擬機器安裝Linux redhat 5.4 64位版本的過程中，彈出   “VT-x/AMD-V 硬體加速器已被啟動，但當前處於無效狀態。您虛擬電腦內的作業系統將無法檢測到64位的CPU，因此也將無法啟動。”&n

（Ubuntu64）valgrind安裝+編譯64位 32位版本

安裝編譯步驟： wget http://valgrind.org/downloads/valgrind-3.12.0.tar.bz2 tar xvf valgrind-3.12.0.tar.bz2 cd valgrind-3.12.0 sudo apt-g

Code Composer Studio CCS4到CCS8 版本在window10系統中安裝後閃退的解決方案

我們在Windows10系統中安裝了DSP編譯軟體Code Composer Studio後，在開啟此軟體後，經常會發生閃退現象。 這是因為CCS軟體為英文軟體，對中文的支援度非常低。我在當初在windows10上安裝了各個版本的CCS，結果全部都是閃退，沒有一個版本能夠使

WIN10 64位版本下如何解決 PL232串列埠驅動安裝失敗的情況

      做研發，搭建編譯環境有時候是個講究運氣的活，運氣不好，環境就容易搭建失敗，折騰人。嵌入式開發的兄弟們離不開PL232串列埠，因為需要經常通過串列埠將除錯資訊輸出到PC端的串列埠除錯助手中。現在WINDOWS系統均已經更新到WIN10作業系統，但是PL232的驅動在

錯誤: 未能完成程式集的安裝(hr = 0x8007000b),.net程式關於使用Oracle.DataAccess.dll不同版本x86和x64問題，即oracle odp.net 32位/64位版本的問題

如果你的機器上安裝了odp.net，且確信machine.config也有類似以下結節：(64位+.net 4.0環境下，machine.config可能會有4份，分別對應於.net2.0/4.0的32/64位版本，要每個都檢查過去哦) <DbProviderFactories>

Logstash在win7系統64位下的安裝流程&報錯處理

JAVA環境：安裝jdk並配置環境變數   官方提示需求java8: Logstash requires Java 8. Java 9 is not supported. win7安裝&配置java8教程： https://jingyan.baidu.c

64位系統安裝了32位的MySQL後出現的error LNK2019錯誤解決方法

1>mysql_test.obj : error LNK2019: 無法解析的外部符號 mysql_close，該符號在函式 main 中被引用 1>mysql_test.obj : error LNK2019: 無法解析的外部符號 mysql_free_result，該符號在函式 main 中

如何處理vsftpd安裝後，解決root賬號ftp無法登陸的問題

今天在linux上安裝完了vsftpd後，使用root賬號一直無法登陸到伺服器上。於是就開始百度解決方法。很多方法講的都不是很清楚，一直沒有結覺我的問題。後來，我想為什麼別人按照那些方法可以解決問題，而我不行。是不是我的系統還有其他的地方有問題，於是我就開始思索。我在連線f