Windows 10下編譯安裝Hadoop2.6
Windows 10下安裝Hadoop2.6,Windows10下編譯64位Hadoop2.x。詳細記錄了Windows10版本下對Hadoop的編譯、安裝步驟,以及相關包或者軟體下載安裝過程。
-
不需要在Cygwin下安裝Hadoop,官方也不推薦使用Cygwin。
-
Hadoop版本支援情況:Hadoop 2.2版本起包括Windows的原生支援。截至2014年一月份,官方的Apache Hadoop的版本不包括Windows二進位制檔案。
-
Windows版本支援情況:Hadoop官方人員開發、測試環境分別是32的 Windows Server 2008 和32位的 Windows Server 2008 R2 。因為伺服器型號win32位的API相似,所以官方推測Windows7或者Windows Vista應該也是支援的。Windows XP Hadoop官方不測試也不支援。
總之,Windows版本的Hadoop需要在2.2之後可自行編譯,並且不支援Windows XP,在其他Windows平臺下,官方不予嚴格的支援(僅僅提供二進位制檔案,部分元件需要自行編譯)。
以下內容是具體實施,Hadoop叢集在Windows環境下支援情況調研與測試部署,羅列了Windows實際部署情況,以及所遇到的問題和解決方案。
1. 自行編譯Windows環境的二進位制包
Requirements:
* Windows System * JDK 1.6+ * Maven 3.0 or later * Findbugs 1.3.9 (if running findbugs) * ProtocolBuffer 2.5.0 * CMake 2.6 or newer * Windows SDK or Visual Studio 2010 Professional * Unix command-line tools from GnuWin32 or Cygwin: sh, mkdir, rm, cp, tar, gzip * zlib headers (if building native code bindings for zlib) * Internet connection for first build (to fetch all Maven and Hadoop dependencies)
1. 配置編譯環境
1.1. 設定JDK環境
JAVA_HOME設定
jdk設定path
1.2. 安裝編譯工具maven
下載maven的zip包 將maven的根目錄放置系統變數path中
測試mvn -v
1.3. 安裝ProtocolBuffer
下載 先切換到帶有pom檔案路徑中
cd E:\IDE\protobuf-3.0.0-beta-3\java
通過mvn 安裝 mvn test 測試 mvn install
1.4. 安裝CMake
下載 安裝即可。
1.5. 安裝visual studio 2010之後(直接下載安裝,不再贅述) 或者安裝Windows SDK
下面關於Hadoop的文章您也可能喜歡,不妨看看:
2. 編譯安裝
設定環境編譯環境位數 set Platform=x64 (when building on a 64-bit system) set Platform=Win32 (when building on a 32-bit system) 設定安裝包環境 設定環境變數新增至將ZLIB_HOME至環境變數中 set ZLIB_HOME=C:\zlib-1.2.7 mvn編譯命令
mvn package -Pdist,native-win -DskipTests -Dtar
相關推薦
Windows 10下編譯安裝Hadoop2.6
Windows 10下安裝Hadoop2.6,Windows10下編譯64位Hadoop2.x。詳細記錄了Windows10版本下對Hadoop的編譯、安裝步驟,以及相關包或者軟體下載安裝過程。 不需要在Cygwin下安裝Hadoop,官方也不推薦使用Cygwin。
Windows 10 下在python 3.6中安裝scrapy框架包
第一步,開啟命令列視窗,使用pip指令,安裝wheel,pip install wheel 第二步,安裝lxml,pip install lxml 第三步,安裝PyOpenssl,pip install twisted 第四步,進入網站https://www.lfd.uci.
windows 10 64位安裝Python3.6.4
win 10 安裝Python3.6.41、下載Python3.6 windows版本的安裝包 Python官網地址:https://www.python.org 下載軟件包:python-3.6.4.exe 2、安裝Python3.6版本,右擊軟件,以管理員身份運行,選擇自定義安裝,在此
Windows 10下無法安裝 CAD 2013/2014的解決方法
選擇 原因 dot 安裝日誌 RoCE 大量 9.png 關鍵人物 文件 最近打算在安裝win10的系統下安裝多個版本的CAD,之前安裝了08版本,打算再安裝2013版本。之前,使用的win7,安裝08和2014兩個版本共存沒有問題,拿同樣的軟件安裝到win10卻提示失敗,
apache2.2下編譯安裝php5.6
安裝環境 1.centos6.6、apache2.2、php5.6 2.由於apache2.2是通過mod_php方式執行的php,在apache2.4版本中才過渡到php-fpm,所以本章不做php-fpm說明 外掛安裝 [[emai
linux下編譯安裝python3.6.2即是升級本機的python2版本到3
cd /usr/local/src wget https://www.python.org/ftp/python/3.6.2/Python-3.6.2.tgz 如果無法下載則下載到本地然後sz即可 tar -zxf Python-3.6.2.tgz
centos 6.5下編譯安裝php-7.1.6和 php memcached擴展
php 編譯安裝 memcached 0,安裝 php-7.1.6 依賴包# yum groupinstall "Development tools" "Desktop Platform Development" # yum -y install openssl-devel libcurl-dev
CentOS 6下編譯安裝MySQL 5.6
是否 local profile pre utf8 readline 依賴 版本 centos 6 一:卸載舊版本 使用下面的命令檢查是否安裝有MySQL Server rpm -qa | grep mysql 有的話通過下面的命令來卸載掉 rpm -e mysql /
centos 6下編譯安裝rrdtool-1.4.5.tar.gz 過不去
centos 6下編譯安裝rrdtool-1.4.5.tar.gz 過不去#tar zxvf rrdtool-1.4.5.tar.gz#cd rrdtool-1.4.5#./configure --prefix=/usr/local/rrdtool出現: configure: e
Windows 10下安裝scrapy(pip方式,非wheel)
pytho www log compiler rap compile sof soft ref 1、安裝Microsoft Visual Studio Build Tools 打開下載鏈接,點擊“https://aka.ms/BuildTools”
Windows 10下安裝配置Caffe並支持GPU加速(改)
nvi 基本 一個 應該 添加 它的 右鍵 分享圖片 vid 基本環境 建議嚴格按照版本來 - Windows 10 - Visual Studio 2013 - Matlab R2016b - Anaconda - CUDA 8.0.44 - cuDN
windows 10下安裝cuda9.2總結
for 加速 win 文件 如果 驅動 too uda 同時 安裝需求 支持cuda的顯卡 支持cuda的操作系統版本 支持cuda的vs版本 cuda toolkit最後確定Windows 10 下安裝cuda9.2,同時安裝vs2015.3。許多geforce顯卡不支
在 CentOS 7上安裝並配置 Python 3.6 環境 超詳細的 Linux CentOS 編譯安裝python3 Linux下編譯安裝python3
前言 按照此方法安裝保證以下報錯什麼的統統都沒有! 基礎環境 系統:centos7.4 軟體:python3 Retrying (Retry(total=0, connect=None, read=None, redirect=None, status=None)) after connect
linux下編譯安裝配置php5.6.30過程
在第一次編譯安裝php5.6.30失敗後,參考了http://www.phpworld.cn/system/php/11.html的一些內容,第二次編譯安裝成功,特此記錄過程。 一、編譯安裝php5.6.30 安裝環境: # cat /etc/redhat-release CentOS
linux下編譯安裝php7(相容現有的php5.6版本)
1.首先去php官網下載一個php7版本原始碼包 http://php.net/downloads.php,我這下載的是php7.2.13版本. 2.使用ftp或者linux的rz命令將包上傳到linux下,開始進行編譯安裝. 3.解壓安裝包 # tar -zxvf
Windows 10下CPU版caffe框架安裝心路教程
初次安裝caffe,耗費苦心終於安裝成功,下面總結一下自己遇到的問題以及解決的方法,小夥伴結合自己情況拿來參考。 前期準備:1,VS2013,2,Windows版caffe。無GPU的情況下不需要下載cuda和cudnn,配置過程中沒有修改環境變數。 這裡有個問題,我最初
CentOS 6.8下編譯安裝MySQL 5.6.14
CentOS 6.8下編譯安裝MySQL 5.6.14 概述: 通過原始碼安裝高版本的5.6.14。 正文: 一:解除安裝舊版本 使用下面的命令檢查是否安裝有MySQL Server rpm -qa | grep mysql 有的話通過下面的命令來解除安裝掉 目前我們查詢到的
windows 10下安裝Cisco VPN 5.0.07.X出錯
升級了windows 10之後,發現Cisco VPN安裝出了問題。折騰了很久,才找到了解決辦法,寫個短部落格記錄下解決方案。 1) 27850錯誤 如果報如下錯誤: Error 27850. Unable to manage networking
CentOS 6.4下編譯安裝MySQL 5.6.14
概述: CentOS 6.4下通過yum安裝的MySQL是5.1版的,比較老,所以就想通過原始碼安裝高版本的5.6.14。 正文: 一:解除安裝舊版本 使用下面的命令檢查是否安裝有MySQL Server rpm -qa | grep mysql 有的話通過下面的命令來解除安裝掉 rpm -e
Windows環境下免安裝版MySQL 5.6.11安裝配置詳解
Windows環境下免安裝版MySQL 5.6.11安裝配置詳解 轉自 1. 下載 5.6.11.0.msi/from/http://cdn.mysql.com/ 更多版本下載,請直接訪問:http://dev.mysql.com/downloads/