編譯hadoop遇到的protocbuf問題
安裝protoc
解壓, 進入根目錄執行 sudo ./configure –prefix=/usr
sudo make
sudo make check
sudo make install
protoc –version
遇到protoc: error while loading shared libraries: libprotoc.so.8: cannot open shared object file: No such file or directory時,如ubuntu系統,預設安裝在/usr/local/lib下,需要指定/usr。sudo ./configure –prefix=/usr 。同時通過修改~/.bashrc,可以修改這個環境變數。而source 某檔案,可以直接使該檔案起作用而不用重啟
這樣設定,就可以包含兩種lib
LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib:/usr/local/lib
export LD_LIBRARY_PATH
相關推薦
編譯hadoop遇到的protocbuf問題
安裝protoc 解壓, 進入根目錄執行 sudo ./configure –prefix=/usr sudo make sudo make check sudo make install protoc –version 遇到proto
Hadoop自己編譯Hadoop安裝包
span per blog code 文件中 centos apps 是我 bootstrap CentOS-6.7 編譯 hadoop-2.6.5 (只需輸入紅色命令即可) 目錄 1、閱讀編譯文檔 .....................................
ant 編譯 hadoop-eclipse-plugin.jar包
1.安裝 ant sudo apt-get install ant 測試: 2.下載 hadoop 已配置 hadoop-2.7.3 https://download.csdn.net/download/qq_38038143/10752615 未配置,
在Windows 7中編譯Hadoop 2.7.7
一、下載Hadoop2.7.7原始碼 解壓後,檢視BUILDING.txt檔案,其中詳細描述了在windows下編譯hadoop需要的條件和步驟,具體見下: -------------------------------------------------------------------
Apache spark2.1.0編譯hadoop-2.6-cdh5.11.2的對應版本
Apache spark2.1.0 編譯 hadoop-2.6-cdh5.11.2 的對應版本 搞了兩天,終於把spark編譯成功了,把編譯過程記錄一下 編譯失敗的坑: 1)linux記憶體不足,maven編譯過程中記憶體溢位 2)找不到cloudera倉庫 3)報各種錯誤 考慮到ma
編譯hadoop並獲取native
文件說明 該文件為完成編譯後,根據印象編寫,並未經過重新編譯測試,大體步驟應該沒錯,如有錯誤,望指正。 編譯的最初目的,是為了獲取合適的native包,並且檢測手動編譯的native包和自帶的native包有何差別。
編譯 hadoop 2.2.0
2013-10-17 周海漢 /文 2013.10.17 Hadoop 2.2 是 Hadoop 2 即yarn的第一個穩定版。並且解決單點問題。 maven安裝 解壓後放到/usr/local目錄下。 增加國內m
編譯hadoop 1.0.4的 libhdfs庫
2013-02-04 周海漢 2013.2.4 [[email protected] hadoop-1.0.4]$ echo $JAVA_HOME /usr/java/jdk1.7.0 [[email pro
win7原始碼編譯hadoop-eclipse-plugin-2.7.0.jar
當你厭煩了本地編碼,打包,部署到遠端伺服器,然後通過hadoop jar xxx.jar wordcount /input /output的方式執行mapreduce程式,那麼可以考慮本地編譯一個合適的hadoop-eclipse-plugin外掛,進行本地執行遠端mapre
CentOS 64位上編譯Hadoop 2.6.0原始碼包
Hadoop不提供64位編譯好的版本,只能用原始碼自行編譯64位版本。學習一項技術從安裝開始,學習hadoop要從編譯開始。 1.作業系統編譯環境 yum install cmake lzo-devel zlib-devel gcc gcc-c++ autocon
win7通過原始碼編譯hadoop-2.7.0
編譯hadoop原始碼,意義在於當我們使用eclipse進行hadoop開發時,可以直接在本地執行,而無需打包成jar,然後再提交到hadoop伺服器進行執行。當然,這還需要一個可以支援hadoop對應版本的eclipse外掛,即hadoop-eclipse-2.
Hadoop2 自己動手編譯Hadoop的eclipse外掛
前言: 畢業兩年了,之前的工作一直沒有接觸過大資料的東西,對hadoop等比較陌生,所以最近開始學習了。對於我這樣第一次學的人,過程還是充滿了很多疑惑和不解的,不過我採取的策略是還是先讓環境跑起來,然後在能用的基礎上在多想想為什麼。 通過這三個禮拜(基本上就是週六週日,其他時間都在
Centos 6.5 X64 環境下編譯 hadoop 2.6.0 --已驗證
詳細參照原始碼路徑下的BUILDING.txt檔案 Centos 6.5 x64 hadoop 2.6.0 jdk 1.7 protobuf-2.5.0 maven-3.0.5 set environment export JAVA_HOME=/home/linux/jdk export
CentOS7下用jdk1.8編譯hadoop-2.7.1全過程詳解
說實話,本人編譯hadoop的過程比較曲折,但收穫也很多,下面系統介紹一下CentOS7下編譯hadoop-2.7.1的全過程吧。 1.工具準備,最靠譜的是hadoop說明文件裡要求具備的那些工具。 解壓之 tar -zxvf hadoop-
如何用命令 編譯hadoop的java檔案
hadoop編譯需要的jar包 // 由於環境是hadoop2.x所以,沒有hadoop1.x中的hadoop-core.jar檔案,需要用到hadoop-common和hadoop-annota
Hadoop2.2.0偽分散式環境搭建(附:64位下編譯Hadoop-2.2.0過程)
Hadoop2.2.0偽分散式環境搭建: 寫在前面:Hadoop2.2.0預設是支援32位的OS,如果想要在64位OS下執行的話,可以通過在64位OS下面編譯Hadoop2.2.0來實現,編譯的操作步驟在最後面呈現。 1: 操作:下載軟體; 檔案:Hadoop-2.2.0.
CentOS7下編譯Hadoop-2.7.2詳解
1.工具準備,最靠譜的是hadoop說明文件裡要求具備的那些工具。 到hadoop官網,點選source下載hadoop-2.7.2-src.tar.gz。 利用FileZilla上傳壓縮包到/opt/software/目錄下 在該目錄下,解壓到/opt/modu
Windows下編譯hadoop 2.x Hadoop-eclipse-plugin外掛
由於使用的Hadoop版本是2.7.3,沒有相應的Eclipse開發外掛,就只好自己編譯一個。 編譯環境: 2.1 JDK配置 2.2安裝Eclipse,只需按正常開發配置好,能執行HelloWorld即可 2.3配置Ant,新增%ANT_HOME%\b
mac os x 編譯hadoop
執行 clean install package -Pdist -P-cbuild -DskipTests -Dtar 報各種錯誤 1、報錯[ERROR] Failed to execute goal org.codehaus.mojo:native-maven-plugin
在Windows作業系統上編譯Hadoop原始碼
在上篇部落格中,筆者提到曾經在Windows上編譯Hadoop原始碼。這裡將具體流程列出。 一、作業系統和Hadoop版本 Windows 10專業版(64位),Hadoop 2.7.2。 二、安裝