2. 程式人生 > >distcc 分散式部署步驟

distcc 分散式部署步驟

阿新 • • 發佈：2019-01-02

前言

  • 我們機器在絕大多數時間是空閒的，如果你在Windows下用工作管理員或其他的Linux平臺觀察CPU，你會看到CPU的使用率常見在1～2%，如果能利用現有的計算機資源，把空閒的CPU利用起來，或者能讓伺服器智慧的遷移負荷，加快我們的編譯速度，就是我們部署distcc的理由。
  • 分散式叢集中的節點需要硬體儘可能的一致，不一致的硬體叢集稱為異構叢集,雖然這並不能改變叢集的特性，但是異構導致叢集會花費額外的時間來處理由於異構帶來的延遲,另一方面這也是叢集的優勢，任何其他的多CPU系統都是嚴格要求CPU是一致的，叢集就有足夠的自由度增減節點，不受型別的限制。
  • 本次部署選擇distcc作為叢集的方案，架構叢集並沒有想象中那樣複雜,參考下面的步驟可以一步步的架構叢集，整個的方案並不是很昂貴，而且便於擴充套件。使用ubuntu是因為這是完全free的版本，不論是初學者還是專業工作者，都可以在ubuntu中定製自己的版本。

硬體環境：

Intel(R) Core(TM)2 CPU 6600 @ 2.40GHz ,黑金剛1G×2, 華碩P5B-Eplus , WD250G SATA (7200轉)16M
Intel(R) Core(TM)2 [email protected] 1.86GHz, 1GDDR ,華碩 P5B-VM,WD80SATA
24口100MB交換機（需 一個千兆口模組）
5類線，按照693A壓1米網線3根
顯示器，鍵盤，滑鼠僅在安裝時使用
Kvm-4A
DVD usb光碟機
安裝所有硬體，並能確保可以從光碟啟動伺服器系統，檢查BIOS的啟動設定，並確認可以正確啟動。連線好電源後，使用kvm把兩臺伺服器連到一套顯示器和鍵盤滑鼠上。

（除特殊說明外，高版本不一定適用）
Linux Ubuntu6.6server（免費下載http://mirror.lupaworld.com/ubuntu/releases/6.06/）
vsftpd
Distcc-2.18.3.tar.bz2
Ccache-2.3.tar.gz
Gcc4.0.tar.gz
G++4.0.tar.gz
Make
1.安裝ubuntu 6.0.6 server版本在所有的伺服器上，分割槽使用自動分割槽（比較簡單，本文不討論Linux其他問題），選擇ｓｅｒｖｅｒ安裝，這樣可以把系統佔用的空間減少到最小，額外需要的軟體包，可以在系統正常啟動後手動安裝。2.在主伺服器上部署編譯農場環境：安裝ｍａｋｅ　，ｇｃｃ，ｇ＋＋，ｐｐｃ－ｅａｂｉ，ｓｄｅ－ｅａｂｉ啟用ngcf編譯農場服務 (具體參見前頁編譯農場部署）
3.搭好ftp伺服器 (具體參見前頁編譯農場部署）
4.在每臺伺服器上建立ngcf 使用者，並分配到ngcf組中

首先用網線連線交換機和各節點，交換機再連到區域網中
主伺服器 IP 192.168.201.49 閘道器192.168.201.1
節點伺服器IP 192.168.201.39 閘道器 192.168.201.1
有多臺節點伺服器時最好在主伺服器上配DHCP

  • 在伺服器上配置IP及閘道器
 編輯interface 配置檔案

 sudo vi /etc/network/interfaces  //這個應該是決定是否啟用這個埠

 auto eth0//靜態設定

 iface eth0 inet static

 address 192.168.201.39

 netmask 255.255.255.0

 gateway 192.168.201.1

 最後  需要重啟下網路裝置  sudo /etc/init.d/netwoking restart

當以上條件都具備時，可以開始架構distcc分散式叢集。
1.在每臺機器上都安裝ｄｉｓｔｃｃ包，注意操作步驟的準確性:
A．將所有下載的軟體包上載到伺服器的/home目錄下，確認下載的軟體包是完整的
B．解壓軟體包　tar xvfz distcc-2.18.3.tar.bz2
C．安裝ditcc軟體包

 #./configure –help　（仔細看下幫助）

 # Mkdir /usr/local/distccserver

 # ./configure –prefix=/usr/local/distccserver----(#設定軟體的安裝目錄)
 #Make

 #make install

在執行#./configure[options]配置軟體後，它會根據你當前系統、編譯、安裝相關的資訊，生成一個安裝配置檔案Makefile。Makefile檔案通常是用來編譯和安裝軟體的，執行make命令時系統會自動根據Makefile檔案中的設定對軟體進行編譯和安裝，如果編譯能夠順利通過的話，執行#makeinstall命令來安裝。
D．把 /usr/local/distccserver/bin下的distcc , distccd,distccmon-text ,三個檔案拷到 /usr/local/bin目錄下
（驗證：如果輸入檔案的前幾個字母 如 disc 再按TAB鍵 出現disccdisccd等提示說明已經安裝好distcc)
E. 設定環境變數
vi /etc/environment

 添:/usr/local/distccserver/bin:

2.完成以上步驟後開始配置distcc

  • 主控伺服器配置：

a．建masquerade directory
Mkdir /home/data/ngcf/distcc
Cd /home/data/ngcf/distcc
b．在/home/data/ngcf/distcc下建偽裝連結 ppc-eabi-gcc ,sde-gcc

 Vi  ppc-eabi-gcc 

 #!/bin/sh

 distcc /usr/local/ppc-eabi/bin/ppc-eabi-gcc $*  


 vi sde-gcc

 #!/bin/sh

 distcc /usr/local/sde/bin/sde-gcc $*

c．建一個啟動distccd的指令碼
Mkdir /home/data/ngcf/distccd
Cd /home/data/ngcf/distccd

 Vi start-distccd

 #!/bin/sh

 distccd --daemon --pid-file /home/data/ngcf/distccd/distccd.pid --allow 0.0.0.0／0 (允許訪問本機的Ip地址，這裡表示所有)

d．開啟多工編譯

 在makes指令碼中新增

     export QUIET=1

    export MAKEFLAGS="-j8 -i -k --no-print-directory"

 -j 標誌告訴 ppc-eabi-gcc 一次需要編譯多少任務。

e．完成以上操作後 可以開始啟用distcc

  ◆#Su ngcf  （注意要用ngcf帳號 啟用distcc）

  ◆需要設定PATH   export PATH=/home/data/ngcf/distcc:$PATH

  ◆設定主機列表export DISTCC_HOSTS="192.168.201.49/4 localhost/2 192.168.201.47/2"

  ◆ 啟用distcc

 Cd  /home/data/ngcf/distccd
 ./start-distccd

f．使用top檢視程序 確認distccd已經啟動
檢視PATH 確認路徑正確$echo $PATH
檢視distcc_hosts 確認列表正確$echo $DISTCC_HOSTS
g．當以上都確認後可以開始測試編譯了
這裡選擇 s86v2_11398版本

 #Cd /home/data/ngcf/src/trunk./project/mail/s86v2/

 #./makes

h．上面的設定都是手工操作，我們當然希望能夠讓distcc自動執行啦～所以我們要在ngcf的config.py中設定環境變數，使得從ftp上傳編譯任務時，自動呼叫distcc服務

 environ = {
    'PATH':'/home/data/ngcf/distcc:/usr/local/ccache/bin:/usr/local/ppc-  eabi/bin:/usr/local/sde/bin:/usr/local/bin:/usr/bin:/bin',
    'LANG':'en_US.UTF-8',
    'LANGUAGE':'en_US:en',
    'QUIET':'1',
    'MAKEFLAGS':'-j 8 -i -k --no-print-directory'
  • 節點伺服器配置

節點伺服器上部署所需要的編譯環境，及安裝並啟動distccd即可.
建立啟動指令碼

 Vi start-distccd
 #!/bin/sh
 distccd --daemon --pid-file /home/data/ngcf/distccd/distccd.pid --allow 192.168.201.49／0  (允許主控伺服器訪問)
  • distcc 有自帶的任務監視器，讓我們來看一看 distcc監視器，看它正在做什麼：
 #distccmon-text 0 3 
 5338  Compile     minilzo.c             192.168.201.39 [1]
 5363  Preprocess  prefork.c             192.168.201.39 [2]
 5360  Compile     ncpus.c               192.168.201.39 [0]
 5352  Compile     dparent.c                   localhost[1]
 5356  Compile     dsignal.c                   localhost[2]
 5349  Compile     dopt.c                     localhost [0]

使用 distcc監視器，我們可以觀察到哪個節點上正在編譯哪個檔案。右邊節點名後面的數字指出了它是第n個當前編譯檔案.

  • 關於版本還有最後一個注意事項。如果能保持對 distcc叢集中的所有節點使用相同副版本號的 ppc-eabi-gcc，則 distcc程式可以獲得最佳工作狀態；如果這些節點使用的是不同副版本號，則可能會導致編譯不穩定，甚至可能導致編譯過程完全失敗，因為已經修改的部分gcc 足以產生這樣的後果.

總結

那麼，最後我們來總結一下這個過程：

 ◆準備好硬體
 ◆準備好所需的軟體包
 ◆搭好網路環境
 ◆在所有您想用來編譯的機器上安裝 distcc 
 ◆啟動每臺機器上的 distcc 新程序 
 ◆注意設定環境變數
 ◆用變數名匯出 DISTCC_HOSTS 環境變數
 ◆使用 make -j n 來進行編譯，其中，n 是DISTCC_HOSTS中機器數目的兩到三倍
 ◆啟動 distcc 監視器（這樣就可以觀察正在發生什麼事！


相關推薦

distcc 分散式部署步驟

前言 我們機器在絕大多數時間是空閒的，如果你在Windows下用工作管理員或其他的Linux平臺觀察CPU，你會看到CPU的使用率常見在1～2%，如果能利用現有的計算機資源，把空閒的CPU利用起來，或者能讓伺服器智慧的遷移負荷，加快我們的編譯速度，就是我們部署distcc

JMeter分散式部署的大致步驟以及誤區解釋

一、Linux執行JMeter server 出現說 "is a loopback address"，迴環地址有問題 解決方案： 1、修改hosts檔案，127.0.0.1 besttest   將127.0.0.1 換成Linux機器的ip地址，或者將127.0.0.1 best

zookeeper單機多例項和分散式部署的步驟

介紹zookeeper單機多例項部署（實驗性質）以及生產環境的分散式部署 1. 準備工作：    1）需要linux環境，推薦用ubuntu的系統。學習的話使用oracle的virtual box安裝虛擬機器，網上找下安裝文件就可以裝好了，而生產環境一般都會裝好的。ub

高可用rabbitmq集群服務部署步驟

步驟 file 基本 0.10 lar note stat 同事 cli 消息隊列是非常基礎的關鍵服務，為保證公司隊列服務的高可用及負載均衡，現通過如下方式實現: RabbitMQ Cluster + Queue HA + Haproxy + Keepalived3臺rab

170825、SolrCloud 分布式集群部署步驟

where enc dns解析 分享圖片 setquery 圖片 args tco msh 安裝軟件包準備 apache-tomcat-7.0.54 jdk1.7 solr-4.8.1 zookeeper-3.4.5 註：以上軟件都是基於 Linux 環境的 64位

ceph 部署步驟和原理理解

href www rbd data 設備節點 ref 雲平臺 大量 clas 概念：Ceph是一個支持大量小文件和隨機讀寫的分布式文件系統，在維護 POSIX 兼容性的同時加入了復制和容錯功能。 生產環境主要的兩種應用： 對象系統，類似Swift, 這裏是RADOS,

django-內網項目上線測試部署步驟

fix con c-c admin python gcc-c++ sta .py readline 1.安裝python環境 由於測試環境只有內網，所以在外網同系統上安裝python. wget https://www.python.org/ftp/python/3.6.5

Tomcat服務部署步驟

star serve stop inf cat 內容 文件夾 無法啟動 tomcat服務 Tomcat服務部署步驟 1. 2. 3. tar -zxvf apache-tomcat-7.0.68.tar.gz，然後修改文件夾名稱為需要的名稱， 使用mv命令 4. 刪除

完全分散式配置步驟

完全分散式： 1.準備三臺客戶機（配置IP，配置主機名...） 2.安裝jdk，安裝hadoop 3.配置JAVA_HOME和HADOOP_HOME 4.使每個節點上的環境變數生效（source /etc/profile） 5.準備分發指令碼 xsync 6.明確叢集的配置 7.修改配置檔案 &nb

Linux 分散式部署

分散式Hadoop部署：         第一步：為每一臺機器生成一個公鑰。     命令： $ ssh-keygen -t rsa    &nbs

Web網頁版編譯部署步驟

原文出處：https://www.jianshu.com/p/11772fed6f90   1.編譯原始碼 ionic build --prod 在專案根目錄下執行以上命令，會在www目錄下生成專案編譯後的檔案。 2.部署編譯後文件 將第一步生成的www目

KVM實現分散式部署lamp並安裝WordPress

實驗思維導圖： 分析： 本實驗要求使用KVM安裝三臺虛擬機器，實現mysql，php，httpd，分散式部署，並完成lamp環境搭建WordPress 搭建整體環境，克隆一臺新的虛擬機器，在啟動之前選擇如下，從而使得本機支援虛擬化實現 首先安裝kvm環境 [[emai

HDFS高可用完全分散式搭建步驟

一、準備階段 分散式思想 分散式叢集規劃 主機名 IP地址 NN-1 NN-2 DN ZK ZKFC JNN

HDFS完全分散式搭建步驟

1.準備階段 分散式叢集規劃 準備4個Linux作業系統，並配置好IP地址，將NameNode在Hadoop1節點上啟動，SecondaryNameNode和DataNode在Hadoop2節點上啟動，其餘兩個DataNode分別在Hadoop3和Hadoop4節點

JMeter學習（十三）分散式部署

Jmeter 是java 應用，對於CPU和記憶體的消耗比較大，因此，當需要模擬數以千計的併發使用者時，使用單臺機器模擬所有的併發使用者就有些力不從心，甚至會引起JAVA記憶體溢位錯誤。為了讓jmeter工具提供更大的負載能力，jmeter短小精悍一有了使用多臺機器同時產生負載的

SpringCloud從入門到進階（四）——生產環境下Eureka的完全分散式部署

內容 　　由於前兩節的內容我們知道，開啟了preferIpAddress後，Eureka的偽分散式部署會提示replica不可用。這一節我們講解如何在生產環境下部署完全分散式的Eureka叢集，確保開啟了preferIpAddress後replica的可用性。 版本 　　IDE：IDEA 2017.2.

docker簡易環境搭建實戰篇：以人人網開源專案（renren-fast）搭建分散式部署（後端篇）

docker簡易環境搭建實戰篇：以人人網開源專案（renren-fast）搭建分散式部署（後端篇） 寫在前面：注：閱讀本文前，請先閱讀docker標籤的docker簡易系列的文章。 後端最終實現的架構圖： 第一步 簡單瞭解人人開源專案renren-fast 官網：h

docker簡易環境搭建實戰篇：以人人網開源專案（renren-fast-vue）搭建分散式部署（前端篇）

docker簡易環境搭建實戰篇：以人人網開源專案（renren-fast-vue）搭建分散式部署（前端篇） 寫在前面：注：閱讀本文前，請先閱讀docker標籤的docker簡易系列的文章。 前端最終實現的架構圖： 第一步 修改前端專案配置 修改專案目錄中 static/co

新浪雲個人專案部署步驟

新浪雲個人專案部署步驟 步驟1：進入新浪雲   步驟2：登入     步驟3：點選‘建立新應用’   步驟4：輸入資訊 ① 二級域名如果提示“該應用名已經被佔用”，請你再嘗試輸入一些其他的名字 我這裡輸入的是JCguanw

storm詳細部署步驟

環境：centos6.4 軟體： jzmq-master-----java與c++通訊的橋樑，有了它，就可以使用zeromp了 storm-0.8.2 zeromq-2.1.7-----號稱史上最牛逼的訊息佇列（用c++寫的） zookeeper-3.4.5 1.編譯安裝ZMQ：