Giraph 1.0叢集環境配置
- 檢查 openssh-server
- 注意這裡一般是對Host *設定的StrictHostKeyChecking no,會對所有SSH key的檢查都放寬要求。如果不想這麼做,可以google其他解決方案。
- 處理資料格式,使得上述工具生成的資料集調整為Giraph支援的格式
- 新增屬性等等
- 針對Vertex的程式設計(屬於應用必須)
- 改寫資料輸入輸出格式(屬於應用必須)
- 改寫底層資料儲存格式(改寫底層都比較複雜)
- 改寫底層同步非同步等形式(比較複雜,詳情可以參考師姐留下來的文件)
- 打包Giraph的Job上傳到叢集中執行(操作固定但是有待優化,可以選擇性瞭解,該部分跟專案匯入Eclipse的部分相關,在最初關於深圳報告的協商中,對方提出希望所有的測試都通過命令列來操作,支援這樣的操作形式存在一定難度)
- 無論是Hadoop還是Giraph,都有一些引數是至關重要的,這些引數可以在程式中動態修改,也可以在配置檔案中指定,對程式效能,甚至程式能否執行都至關重要,需要儘量多的瞭解.
- 甚至關於JVM的相關引數在這裡也只為重要,舉個例子mapred.child.java.opts,詳情可以參見測試報告關於儲存優化部分
- 騰訊雲上面的環境配置由於許可權受限比較特殊,詳細說起來也需要大量的篇幅,這裡簡單的總結一下,解決大部分後,比較嚴重的就是公網IP和內網IP的問題
- 經過多種嘗試,公網IP和內網IP的解決方案是對於每一臺機器上的Hosts,它自己對應的IP用公網的IP,其它的機器的IP用內網IP,叢集即可配置成功
相關推薦
Giraph 1.0叢集環境配置
環境說明 以下配置過程在實驗室叢集,深圳叢集,騰訊雲集群上均測試成功,系統包括CentOS,Ubuntu Hadoop-1.0.2 Giraph-1.0.0 Jdk1.7 下面詳細敘述一下在實驗室叢集上面配置的細節 系統環境 Distributor ID: Ubun
最新版本OpenCV 3.1.0 beta環境配置
STEP ONE 開啟OpenCV官網 開啟Release 直接點選開啟,這個.exe就是一個自解壓程式 出現如下介面,選一下路徑 解壓中... 解壓完成後,指定的路徑下會有名為OpenCV的資料夾 build 支援OpenCV使用的
WebLogic 10.3.5.0 叢集環境配置(二)
四、測試 在本實驗中使用HttpClusterServlet做叢集分發。 1. 在10.16.65.110伺服器上的cluster_domain中再建立一個受管伺服器proxy_server,監聽埠為8000,用於部署代理服務應用程式。 2.
Windows 7 JDK 1.8.171 + Tomcat 9.0.8 環境配置
windows tomcat環境 windows tomcat 安裝服務 Windows環境 C:\>systeminfo|find "OS" OS 名稱: Microsoft Windows 7 專業版 OS 版本: 6.1.7601 Service Pac
3臺機器配置spark-2.1.0叢集
一. 環境介紹 三臺主機,主機名和ip分別為: ubuntu1 10.3.19.171 ubuntu2 10.3.19.172 ubuntu3 10.3.19.173 三臺主機的登入使用者名稱是bigdata,home目錄是/home/bigdata 現在三臺主機上部
hadoop-3.0.0叢集環境搭建、配置
12月13日hadoop-3.0.0釋出正式版啦,試試最新的 Release Notes:Minimum required Java version increased from Java 7 t
Lettuce 5.1.1連線池在Redis5.0叢集環境測試
package org.util; import io.lettuce.core.ReadFrom; import io.lettuce.core.RedisFuture; import io.lettuce.core.RedisURI; import io.lettuce
Maven3.1.0的環境變數配置
下載後,把它解壓到D盤根目錄 3.配置maven的環境變數,先點選新建配置M2_HOME的環境變數,值為D:\apache-maven-3.1.0-bin\apache- maven-3.1.0,如下圖所示: 再配置path環境變數,在path值的末尾新增";%M2_HOME%\bi
macOS Sierra 10.12.6 odoo 10.0 開發環境配置
python text 超過 database initial base 包管理器 -- tps 參考了網上的一些教程,將最終過程記錄一下,其中需要的一些程序,我已經放到百度網盤: https://pan.baidu.com/s/1boKHSTL 1、抹盤安裝m
ambari 2.6.0.0開發環境配置
環境配置 pom span url c-c++ pack max adl clean ambari 2.6.0.0開發環境配置安裝git安裝依賴 yum -y install curl-devel expat-devel gettext-devel openssl-deve
Emgucv3.0+VS2010環境配置
轉載於 https://blog.csdn.net/jhgb1457/article/details/50401015?locationNum=10 VS2010進行Emgucv3.0配置 2015-11-25 1、Emgucv3.0.exe解壓之D盤(也可以是其它盤,配置環境變數要根據具體
Hive 2.1.0叢集安裝
Hive 2.1.0叢集安裝 1.配置伺服器 1個主節點:master(192.168.20.191),2個(從)子節點, node1(192.168.20.192), node2(192.168.20.193) 2.將jdbc的jar包放到$HIVE_HOME下 cd
1.0-Node環境中的javascript
1.什麼是Node.js? node.js就是javascript的伺服器執行環境,可以讓程式設計師使用javascript來實現伺服器的程式設計。 2.Node.js中javascript的組成部分 ECMAScript核心 + 全域性成員 + 核心API模組。
Win10+vs2010+cmake3.12.1.+vtk6.30環境配置及編譯
首先你需要下載這些:(當然vs2010已經安裝好了) 1、安裝cmake按步驟來即可; 2 、將vtk6.3.0和vtkData6.3.0解壓到同一個資料夾,命名為VTK 3、開啟cmake, bin資料夾會自動新建;點選確認即可; 4、
數字影象處理實驗筆記(0)環境配置
conda的官方入門文件(英文) OpenCV的官方教程(英文) 下載Anacoda: Anacoda下載 啟用conda並更新: 在命令列介面鍵入: sudo conda --version conda update conda 建立虛擬環境:(這裡的虛擬環境僅作環境搭建用,具體步驟可以將其
Opencv4.0+VS2017環境配置教程
相比於OpenCV3.4的功能改進: 1.OpenCV DNN模組新增ONNX解析器,支援各種分類網路,比如AlexNet, Inception v2, Resnet, VGG 等。部分支援tiny YOLO v2 目標檢測網路。 2.DNN模組新的改進 2.1)支援M
Phpstorm 2017.1+PHPWAMP+Xdebug環境配置以及斷點除錯
首先先來說下IDE和服務環境的配置: 第一步,在PHPWAMP的站點根目錄下建立專案資料夾,然後把IDE專案檔案指向該檔案,如下圖所示: 第二步,建立檔案,然後通過伺服器進行顯示,這裡我寫了兩個檔案,分別是form.html,welcome.php: form.html:
Ubuntu 18.04安裝OpenCV4.0和環境配置
下載原始檔 可以在官網下載相應版本的OpenCV Sources原始檔。 但因為官方版本是git上的,有時候可能出現下載失敗的情況,所有我將官網下載的原始檔分享到百度網盤連結https://pan.baidu.com/s/1Bu4xOiz8zWU_R8Me0T_SIg,提取碼:s4s
3臺機器部署storm-1.1.0叢集
一. 環境介紹 三臺主機,主機名和ip分別為: ubuntu1 10.3.19.171 ubuntu2 10.3.19.172 ubuntu3 10.3.19.173 三臺主機的登入使用者名稱是bigdata,home目錄是/home/bigdata 現在三臺主機上部
從VMware虛擬機器安裝到hadoop叢集環境配置詳細說明
虛擬機器安裝 我安裝的虛擬機器版本是VMware Workstation 8.04,自己電腦上安裝的有的話直接在虛擬機器安裝Linux作業系統,沒有的話這裡有我的一個百度雲網盤虛擬機器安裝共享檔案 虛擬機器的具體安裝不再詳細說明了。 Linux作業系統安裝除錯