編譯hadoop原始碼，意義在於當我們使用eclipse進行hadoop開發時，可以直接在本地執行，而無需打包成jar，然後再提交到hadoop伺服器進行執行。當然，這還需要一個可以支援hadoop對應版本的eclipse外掛，即hadoop-eclipse-2.x.x.jar。

      如果在linux系統上，其實很容易，沒有那麼多磕磕盼盼。在windows系統上編譯，需要安裝的程式或者工具比較多。但是總結起來，就那麼幾個，能夠通過ant,maven構建java專案，能夠通過gcc編譯c++專案。這其中還需要依賴protobuf庫。

編譯環境需要安裝的工具：

1. jdk1.8,ant1.9,maven3.3（並配置aliyun源，加速構建）
2. protobuf庫 2.4+
3. visual studio 2010+ （提供msbuild環境）
4. cmake 2.8+ （命令列下編譯c++專案）
5. cygwin/msys/gitshell （能夠執行sh命令）

    關於環境的幾點說明，如果安裝的是visual studio 2010，那麼在執行maven package的時候無需更改任何配置，或者重新構建winutils.sln,native.sln。如果是visual studio 2015 或者 visual studio 2017，需要修改一個pom.xml配置檔案。並且需要在visual studio中開啟winutils.sln,native.sln專案，均重新構建。如果有錯誤提示，忽略構建的過程中出現的錯誤提示。

修改和重新編譯的工程或檔案位置：

1. pom.xml->hadoop-2.7.0/hadoop-hdfs-project/hadoop-hdfs/pom.xml
2. winutils.sln->hadoop-2.7.0/hadoop-common-project/hadoop-common/src/main/winutils/winutils.sln
3. native.sln->hadoop-2.7.0/hadoop-common-project/hadoop-common/src/main/native/native.sln

關於環境的說明：

1. 為什麼安裝了visual studio還需要安裝cmake？visual studio提供了msbuild環境，但是並沒有提供命令列下構建多專案的工具。
2. 為什麼安裝了maven還需要安裝ant？構建hadoop-hdfs專案的時候需要ant構建。
3. 為什麼還需要cygwin的環境？構建過程中需要執行maven-antrun-plugin的一些任務，這些任務中需要本地能夠執行sh命令。

 我本機的環境如下：

另外我的linux like環境是git-shell，而不是cygwin。 

開始構建：

       一定要從visual studio提供的命令列工具進入命令列：開始選單->所有程式->Visual Studio 2017->Visual Studio Tools->VC->適用於VS 2017的x64本機工具命令提示，然後通過切換目錄的方式進入hadoop-2.7.0原始碼目錄，如下所示：

編譯命令：mvn package -Pdist,native-win -DskipTests -Dtar -Dmaven.javadoc.skip=true -e

我這裡復現瞭如果是vs2017，編譯開始之前，不做重新構建的修改時，出現編譯環境不相容的問題。

D:\Program Files (x86)\Microsoft Visual Studio\2017\Community\Common7\IDE\VC\VCTargets
\Microsoft.Cpp.Platform.targets(65,5): error MSB8020: 無法找到 Visual Studio 2010 的生成工具
(平臺工具集 =“v100”)。若要使用 v100 生成工具進行生成，請安裝 Visual Studio 2010 生成工具。或者，
可以升級到當前 Visual Studio 工具，方式是通過選擇“專案”選單或右鍵單擊該解決方案，然後選擇“重定解決
方案目標”。 [E:\workspace\hadoop-2.7.0\hadoop-common-project\hadoop-common\src\main\winutils
\libwinutils.vcxproj]

為了後面編譯hadoop-hdfs也能順利通過，這裡一次性修改三處。將前面提到的因為visual studio版本不一致的問題全部解決。

重新生成native,winutils專案。開啟visual studio 2017，開啟專案，找到native.sln所在的位置，匯入之後，會提示按照新的windows sdk版本來編譯，預設編譯版本是windows sdk8。

1>------ 已啟動全部重新生成: 專案: native, 配置: Release x64 ------
1>lz4.c
1>lz4hc.c
1>Lz4Compressor.c
1>Lz4Decompressor.c
1>file_descriptor.c
1>NativeIO.c
1>e:\workspace\hadoop-2.7.0\hadoop-common-project\hadoop-common\src\main\native\src\org\apache\hadoop\io\nativeio\nativeio.c(292): warning C4312: “型別強制轉換”: 從“long”轉換到更大的“HANDLE”
1>e:\workspace\hadoop-2.7.0\hadoop-common-project\hadoop-common\src\main\native\src\org\apache\hadoop\io\nativeio\nativeio.c(582): warning C4311: “型別強制轉換”: 從“HANDLE”到“long”的指標截斷
1>e:\workspace\hadoop-2.7.0\hadoop-common-project\hadoop-common\src\main\native\src\org\apache\hadoop\io\nativeio\nativeio.c(655): warning C4311: “型別強制轉換”: 從“HANDLE”到“long”的指標截斷
1>e:\workspace\hadoop-2.7.0\hadoop-common-project\hadoop-common\src\main\native\src\org\apache\hadoop\io\nativeio\nativeio.c(996): warning C4312: “型別強制轉換”: 從“long”轉換到更大的“HANDLE”
1>e:\workspace\hadoop-2.7.0\hadoop-common-project\hadoop-common\src\main\native\src\org\apache\hadoop\io\nativeio\nativeio.c(1051): warning C4312: “型別強制轉換”: 從“long”轉換到更大的“HANDLE”
1>JniBasedUnixGroupsMappingWin.c
1>bulk_crc32.c
1>e:\workspace\hadoop-2.7.0\hadoop-common-project\hadoop-common\src\main\native\src\org\apache\hadoop\util\bulk_crc32.c(58): warning C4091: “static ”: 沒有宣告變數時忽略“int”的左側
1>NativeCodeLoader.c
1>NativeCrc32.c
1>windows_secure_container_executor.c
1>LINK : fatal error LNK1181: 無法開啟輸入檔案“libwinutils.lib”
1>已完成生成專案“native.vcxproj”的操作 - 失敗。
========== 全部重新生成: 成功 0 個，失敗 1 個，跳過 0 個 ==========

忽略構建過程中的警告和錯誤。同理，winutils.sln也是一樣的方式重新構建。

修改hadoop-2.7.0/hadoop-hdfs-project/hadoop-hdfs/pom.xml配置檔案，修改構建器的版本，如果是vs2015，那麼修改為14，如果是vs2017，那麼修改為15：

如果不修改hadoop-2.7.0/hadoop-hdfs-project/hadoop-hdfs/pom.xml配置檔案中的構建器版本資訊，那麼在構建hadoop-hdfs時會報錯，沒有可用的c和cxx編譯器：

main:
     [exec] -- The C compiler identification is unknown
     [exec] CMake Error in CMakeLists.txt:
     [exec]   No CMAKE_C_COMPILER could be found.
     [exec]
     [exec]
     [exec]
     [exec] CMake Error in CMakeLists.txt:
     [exec]   No CMAKE_CXX_COMPILER c-- The CXX compiler identification is unknown
     [exec] -- Configuring incomplete, errors occurred!
     [exec] See also "E:/workspace/hadoop-2.7" could be found.
     [exec]
     [exec]
     [exec]
     [exec] .0/hadoop-hdfs-project/hadoop-hdfs/target/native/CMakeFiles/CMakeError.log".

當我們修改了構建器版本的時候，當構建到hadoop-hdfs時，會出現這樣的資訊：

這樣，繼續編譯，那麼就會順利編譯完成了。

構建成功的hadoop版本在hadoop-dist/target目錄。

 至此，整個編譯hadoop原始碼的過程就完成了，其中經歷過很多報錯，以及查詢報錯解決辦法，這是一個很有意義的過程。編譯一個原始碼，不僅可以得到我們想要的檔案，而且還可以學到很多程式設計時無法接觸到的東西。這裡搗鼓visual studio將我的visual studio折騰的無法進行設定專案屬性。這其中遇到的兩三個問題，是由於hadoop中依賴的native,winutils專案編譯版本不一致導致的相容問題。

接下來就是原始碼編譯一個合適hadoop版本的eclipse外掛，可以在本地以Run As ->Java Application的方式進行遠端mapreduce程式執行。