Spark2.1.X原始碼編譯總結(參考官網)
一、環境
1.硬體:
虛擬機器記憶體4G以上。(吐血記憶,因為這個吃虧無法編譯成功!)
2.軟體:
(1)Java1.8:官網要求1.7+
檢視java版本,確認1.8。(如果不是則刪除系統自帶的java,重新安裝java,自己沒有檢查,結果發現java是1.5,導致編譯失敗!)
java -version
(2)maven:3.3.9+
(3)scala:官網要求2.11+
(4)配置maven記憶體:(官網)
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
二、spark編譯
在spark原始碼根目錄下執行
./dev/make-distribution.sh --name spark-hadoop2.7.3 --tgz -Psparkr -Phadoop-2.7 -Phive -Phive-thriftserver -Pyarn
三、總結
多看官網,一切盡在官網!
相關推薦
Spark2.1.X原始碼編譯總結(參考官網)
一、環境 1.硬體: 虛擬機器記憶體4G以上。(吐血記憶,因為這個吃虧無法編譯成功!) 2.軟體: (1)Java1.8:官網要求1.7+ 檢視java版本,確認1.8。(如果不是則刪除系統自帶的java,重新安裝java,自己沒有檢查,結果發現java是1.5
MySQL入門(參考官網)
目錄 一、登陸和退出 1. 遠端主機 2. 登陸本機 3. 退出mysql 二、輸入查詢 三、建立和使用資料庫 3.1 建立和選擇資料庫 3.2 建立表 3.3 將資料載入到表中 3.4 操作表格 3.4 獲取
PHP-原始碼編譯安裝(李作強)
yum install http://dev.mysql.com/get/Downloads/Connector-C/mysql-connector-c-devel-6.1.6-1.linux_glibc2.5.x86_64.rpm yum -y install libcurl-devel
01-postgres9.4.5在redhat6.5環境下原始碼編譯安裝(2016-11-08)
0讀者須知 1安裝redhat65 2更改本地yum源 4解壓postgres 5安裝依賴包 6增加使用者設定密碼 7開始編譯和安裝postgres 8設定環境變數 9初始化資
Python2.x和3.x主要區別總結(入門Python必備)
Python2.x與3.x版本區別(推薦邊看邊用編輯器嘗試)Python的3.0版本,常被稱為Python 3000,或簡稱Py3k。相對於Python的早期版本,這是一個較大的升級。為了不帶入過多的累贅,Python 3.0在設計的時候沒有考慮向下相容。許多針對早期
Java面試知識點總結(牛客網)
---------------------https://blog.csdn.net/u012456528/article/details/79759487?utm_source=copy 1. 什麼是Java虛擬機器?為什麼Java被稱作是“平臺無關的程式語言”?
Ubuntu下nagios安裝(來源官網)
update gawk ibm plain cert lib account adding resolv Ubuntu下nagios安裝(來源官網) https://assets.nagios.com/downloads/nagioscore/docs/nagioscore
【轉載】koa相關知識(來自官網)
然而 koa res web 信號 connect 支持 ng- pro 什麽是Koa? koa 是由 Express 原班人馬打造的,致力於成為一個更小、更富有表現力、更健壯的 Web 框架。使用 koa 編寫 web 應用,通過組合不同的 generator,可以免除重
Ardupilot 增加一個mavlink訊息(翻譯官網)
目錄 目錄 摘要 第一: 翻譯官網資料 增加一條新的mavlink訊息(Adding a new MAVLink Message) 第二: Mavl
elasticsearch 產生未分配分片的原因(es官網)
Reasons for unassigned shard: These are the possible reasons for a shard to be in a unassigned state: 1. INDEX_CREATED Unassigned as a resul
MS COCO官網資料集(百度雲)下載,COCO API、MASK API和Annotation format介紹(來自官網)
由於coco的官網老是打不開,因此把官網內容記錄在此 包括MS COCO官網資料集下載地址,COCO API介紹和Result Format介紹 下面是影象和註解下載地址: Images Annotations 如果下載不下來可以用百度雲下載
MS COCO資料集目標檢測評估(Detection Evaluation)(來自官網)
目標檢測評估 1. Detection Evaluation 本頁介紹了COCO使用的檢測評估指標。此處提供的評估程式碼可用於在公開可用的COCO驗證集上獲得結果。它計算下面描述的多個指標。為了在COCO測試集上獲得結果,其中隱藏了實際真值註釋,必須將生成的結果上傳到評
chrome裡debug network的timing說明(翻譯官網)
Stalled/Blocking 是瀏覽器得到要發出這個請求的指令,到請求可以發出的等待時間,一般是代理協商、以及等待可複用的TCP連線釋放的時間,不包括DNS查詢、建立TCP連線等時間等 Proxy Negotiation 與代理伺服器連線的協商的時間。 DNS
MS COCO資料集輸出資料的結果格式(result format)和如何參加比賽(participate)(來自官網)
一,Results Format 本頁面描述了COCO使用的結果格式。結果格式的一般結構類似於所有的註解型別砂(annotation type sand),它們與下載頁面上描述的基本事實的格式非常相似。我們建議在繼續之前檢視實際真值(ground truth)的格式。 每
pixhawk自學筆記之建立一個應用程式(按官網)
當把環境搭建好,整個工程下載後,開啟src-->examples--->px4_simple_app。 當然了,也可以自己新增想實現的功能和任務。當寫好這些應用程式,還要考慮要把它註冊為NuttShell命令。為了使該應用程式進入韌體的編譯,將其新增到模組
緬甸華納國際13095223110(開戶官網)
生成 內容 微信 篩選 緬甸 付出 ssd clas 檢測 下面給大家介紹一下:KesionCMS X2.0更新概況 1、添加運用頻率極高的微信付出功用 2、前後臺UI重新設計,後臺支撐UI切換,全新的UI體驗; 3、圖片,下載、商城、動漫、影視、供求
ARM64從原始碼編譯docker(v1.9.1)
在X86_64機器fedora系統下,不要使用官方編譯的rpm包,交叉編譯bootstrap會出現異常,使用原始碼編譯的go. 1.編譯X86_64的go binary cd /root git clone https://github.co
Linux學習總結(三十九)lnmp環境搭建1-mysql,php 安裝
lnmp mysql php php-fpm 之前我們介紹過lamp,lnmp和lamp相比就是把apache換為了nginx,nginx也是目前比較流行的一款web server,在處理高並發請求上,性能要遠勝於apache。apache將php作為一個自己的一個擴展模塊來使用,nginx則
Linux學習總結(五十七) shell腳本1
shell 腳本 1 什麽shellshell是一種腳本語言 可以使用邏輯判斷、循環等語法可以自定義函數shell是系統命令的集合shell腳本可以實現自動化運維,能大大增加我們的運維效率2 shell腳本結構和執行方法開頭需要加#!/bin/bash以#開頭的行作為解釋說明腳本的名字以.sh結尾,
1.EOS原始碼編譯執行
目前網路上都是針對老版EOS2.0原始碼編譯的文章,我在mac上參考這些文章編譯,最後發現根本就不對,最新版本只需一條命令(./eosio_build.sh,依賴庫會自動安裝的)即可。我根據這些文章手動安裝的庫還導致如下問題,最後大部分時間都花在解決這個問題上。【官網安裝文件傳送門】 ItleaksDeMa