Jenkins Pipeline+Maven+Gitlab持續整合構建

阿新 • • 發佈：2018-11-22

1.以下全是個人理解，此文全是在實際工作環境中實現，如果您是想看著這篇部落格去練習，可能有些環境您沒法搭建（maven庫，編譯順序），得問問一個搞開發的朋友，開發得提供些東西，或者，您可以通過此文件，學習到pipeline指令碼的知識，您可以去除掉用mvn build這一項，其他的環境，作為運維人員，都可以搭建得好。

2.為了方便各位看得清楚，以及我個人這麼多年生活知識的基類，我是很恨馬賽克的，所以全文沒有馬賽克，我的配置可以全部看到，沒有隱私。

3.文中伺服器全是私有ip，本人現在維護的是私有云環境，所以利用現有環境給各位看官寫這篇部落格，你們是連不上我這兒的內網ip的。

#什麼是pipeline？

pipeline 流水線,簡單來說就是將原本獨立執行的操作結合起來，統一有序的運作。

聯想一下，電視裡面的工廠廠子裡面的流水線，每部分人，任務可能不同，但是都是在一條線上工作的

工人做的事情可能是裝手機殼，裝電池，那pipeline中做什麼呢，拉取程式碼，提交程式碼等

準備階段

#jenkins主機:安裝git客戶端安裝maven

下面是git和maven的包:

 連結：https://pan.baidu.com/s/1q5zNU2e69GKeoqz2Yfd94w 密碼：kvlp

git安裝：[[email protected] git-2.10.2]$ ./configure && make && make install

maven安裝：[[email protected] soft]$ tar xf maven.tar.gz -C /home/jenkins/

#maven安裝後在/etc/profile裡面配置環境變數PATH即可，以下是我的配置

export JAVA_HOME=/opt/edas/jdk/java/
export JRE_HOME=/opt/edas/jdk/java/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export JENKINS_HOME=/home/jenkins/jenkins
export MAVEN_HOME=/home/jenkins/maven

export PATH=${JAVA_HOME}/bin:$PATH:${MAVEN_HOME}/bin:/usr/local/bin/:$JRE_HOME/bin:/home/jenkins/soft/node-v8.12.0-linux-x64/lib/node_modules

#jenkins平臺上安裝：pipeline等外掛

由於jenkins的版本跟jenkins所需要的外掛版本有著依賴性，我這次使用的jenkins版本跟上一篇部落格是有區別的，所以，建議使用一致的版本，通過下面連結下載我現在版本的jenkins，以及一個plugins.tar.gz檔案

連結：https://pan.baidu.com/s/11mZ6aK1p1q9ymb3pmjFNRA 密碼：ed2p

#plugins檔案是幹嘛的？？

當你安裝jenkins後，預設有一個變數JENKINS_HOME指向的是第一次啟動jenkins時，如果沒指定這個變數，預設是 “啟動使用者家目錄下的.jenkins/”，此目錄用於儲存jenkins中的一些資料,jenkins家目錄下有一個叫plugins的目錄，此目錄用於存放外掛，我的jenkins跟plugins版本是吻合的，所以，你如果要使用我這個版本的jenkins，就不用自己去尋思安裝啥外掛了，我都給你準備好了。

#啟動jenkins

java -Djava.awt.headless=true -Xms256m -Xmx512m -XX:MaxNewSize=256m -XX:MaxPermSize=256m    -jar jenkins.war  --ajp13Port=-1 --httpPort=8088 --debug=5 --handlerCountMax=100 --handlerCountMaxIdle=20   &> /home/jenkins/jenkins_log/mesages &

這是講的jenkins，jvm調優引數啥意思自己百度吧，順便了解下，就是指定記憶體大小啥的。

java -jar 名稱.war # 前臺啟動某個jar包

--httpPort=8088 指定jenkins的埠

&> /home/jenkins/jenkins_log/mesages & #標準輸出，以及錯誤輸出，全都重定向到某個檔案（實現了日誌功能），並將這個專案放入後臺執行

#jenkins啟動了，你要訪問http://localhost:8088 進行第一次啟動的配置，你配置的時候，什麼外掛都不用安裝，只需要設定使用者名稱和密碼就行了，安裝成功後，將我給你的plugins.tar.gz 解壓，copy，並覆蓋掉jenkins家目錄下的plugins目錄，然後重啟jenkins（kill掉程序，然後再次執行上面的命令）

重啟成功後，登入進入jenkins，選擇左側的系統管理-外掛管理，已安裝外掛，看有沒有pipeline等很多的外掛

#好的，至此，恭喜你，你已經搞好了2/1了，剩下的循序漸進即可。

1.新增git賬戶

　　#新增一個賬戶用來連線gitlab

　　進入後選擇 Add Credentials,進行使用者新增

　　#下圖的其他選項你應該看得懂，但是那個箭頭指向的選項還得特別說下：給它設立一個簡潔，有含義的名稱，因為後面我們將要在指令碼中通過這個id名稱來呼叫這個賬戶來連線gitlab獲取資料。

2.新建任務

　　建立好賬戶後可以直接新建任務了，起一個開發人員能夠認識的名字，並且選擇pipeline

　　建立好任務後，直接拉到最下面，找到pipeline，編寫pipeline指令碼

3.編寫pipeline指令碼

　　#編寫之前，先想想具體邏輯是什麼樣的。

　　1.從gitlab上拉取程式碼

　　2.備份網站伺服器之前的程式碼

　　3.刪除網站伺服器之前的程式碼

　　4.將新程式碼傳到網站伺服器伺服器上

　　5.重啟網站伺服器上的web應用

　　總的來說就是這5個步驟，接下來要做的是將這5步翻譯成指令碼命令。

　　指令碼結構：

node () {
def workspace = pwd()
    stage 'checkout'

     
    stage 'Build'
   
  
 
    stage 'backup'
    
   
    
    stage 'delete_old'
    
    
    stage 'upload'
   
    
    stage 'restart_tomcat'
   
}

View Code

　　共是5個階段（stage）

　　具體程式碼

node () {
def workspace = pwd()
war_name='custinfo_partner'
tomcat_home='/home/admin/taobao-tomcat-production-7.0.59.3'
host='10.124.193.76'
user='admin'
passwd='A1B2C3D4'

  stage 'checkout'
    dir('base'){
     git branch: 'dev', credentialsId: 'git-yatai', url: 'http://10.124.198.74/AsiaSatComBOSS/base.git'

     }
     dir('business_customer_inform'){
     git branch: 'dev', credentialsId: 'git-yatai', url: 'http://10.124.198.74/AsiaSatComBOSS/business_customer_inform.git'
     }
     
     dir('business_partner'){
     git branch: 'dev', credentialsId: 'git-yatai', url: 'http://10.124.198.74/AsiaSatComBOSS/business_partner.git'
     }
     dir('custinfo_partner'){
     git branch: 'dev', credentialsId: 'git-yatai', url: 'http://10.124.198.74/AsiaSatComBOSS/custinfo_partner.git'
     }
     
    stage 'Build'
   
      
    sh"""
   
         cd $workspace/base
        /home/jenkins/maven/bin/mvn clean install -U -Pdev
		cd $workspace/business_customer_inform
        /home/jenkins/maven/bin/mvn clean install -U -Pdev
        cd $workspace/business_partner
        /home/jenkins/maven/bin/mvn clean install -U -Pdev
		cd $workspace/custinfo_partner
        /home/jenkins/maven/bin/mvn clean install -U -Pdev
 """
 
      stage 'backup'
    
    sh """sshpass -p'$passwd' ssh  -o StrictHostKeyChecking=no  '$user'@'$host'  "cd '$tomcat_home'/deploy/ && tar cfz '$tomcat_home'/backup/'$war_name'`date +%y%m%d-%s`.tar.gz   '$war_name'.war "
    """
    
    stage 'delete_old'
    sh """sshpass  -p'$passwd' ssh -o StrictHostKeyChecking=no '$user'@'$host' "rm -rf  '$tomcat_home'/deploy/'$war_name'* "
    """
    
    
    stage 'upload'
    sh """
        cd '$workspace'/'$war_name'/target
        sshpass -p'$passwd' scp -o StrictHostKeyChecking=no '$war_name'.war '$user'@'$host':'$tomcat_home'/deploy/'$war_name'.war
    """ 
    
    stage 'restart_tomcat'
    sh "sshpass  -p'$passwd' ssh -o StrictHostKeyChecking=no '$user'@'$host' 'bash  /home/admin/if_tomcat.sh'"
     echo 'done_______________'
}

解釋：

#程式碼中以下部分是定義變數部分，在一處定義變數，文中存在多處呼叫，這樣做可以提高擴充套件性，別到時候，登入密碼改了，還得一處一處去改

def workspace = pwd()    #此處等同於linux命令列中pwd命令  等於把當前路徑賦值給workspace變數
　　war_name='mgr_resource'                    #最終網站伺服器上的war包名稱，跟maven打包出來的名稱相同，故用變數標識，減少重複編寫工作
　　tomcat_home='/home/admin/taobao-tomcat-production-7.0.59.3'
　　host='10.124.193.76'           #網站伺服器的ip和web應用地址，以及登入密碼資訊。
　　user='admin'
　　passwd='A1B2C3D4'

#以下部分作用是從gitlab中拉取程式碼

#選此處進行講解
——————————————————————————————————————————————————————————————————————————————————————————————————————————————
    　dir('base'){            #建立目錄：base  用於存放下一行程式碼從gitlab中拉取的程式碼
　　　　　　　　　　　　　　　　　 #base目錄絕對路徑是：Jenkins家目錄下/workspace/任務名稱(這兒是mgr_resource-test)/base
　　　　　　　　　　　　　　　　   #(我的環境中是：/home/jenkins/jenkins/workspace/mgr_resource-test/base)
　　　git         branch: 'dev',    credentialsId: 'git_account',                       url: 'http://10.124.198.74/AsiaSatComBOSS/base.git' }
     git客戶端    指定gitlab分支　　　指定用於登入gitlab的賬戶id(沒忘吧，我們在步驟1建立過的)       #指定gitlab的地址   

　　　#除了git客戶端你自己安裝，實際工作環境中，gitlab分支，gitlab賬戶密碼，gitlab地址，以及編譯順序，都是開發人員給你的。
　　　#不知道gitlab分支是什麼，沒事兒，忽略這個知識點，就當沒說，你理解為簡單的拉取程式碼，用哪個使用者，拉哪塊的程式碼，後期你再去了解分支是幹啥的。
——————————————————————————————————————————————————————————————————————————————————————————————————————————————

stage 'checkout'

　　　dir('base'){
　　  git branch: 'dev', credentialsId: 'git-yatai', url: 'http://10.124.198.74/AsiaSatComBOSS/base.git'
      }

     dir('business_customer_inform'){
     git branch: 'dev', credentialsId: 'git-yatai', url: 'http://10.124.198.74/AsiaSatComBOSS/business_customer_inform.git'
     }
     
     dir('business_partner'){
     git branch: 'dev', credentialsId: 'git-yatai', url: 'http://10.124.198.74/AsiaSatComBOSS/business_partner.git'
     }
     dir('custinfo_partner'){
     git branch: 'dev', credentialsId: 'git-yatai', url: 'http://10.124.198.74/AsiaSatComBOSS/custinfo_partner.git'
     }

#我先從gitlab上拉取程式碼，不做其他操作，先試試水，結果如下（我只使用了stage('checkout')階段的程式碼，從git上拉取資料，其他操作還未指定。）

node () {
def workspace = pwd()
war_name='mgr_resource'
tomcat_home='/home/admin/taobao-tomcat-production-7.0.59.3'
host='10.124.193.76'
user='admin'
passwd='A1B2C3D4'
  stage 'checkout'
    dir('base'){
     git branch: 'dev', credentialsId: 'git-yatai', url: 'http://10.124.198.74/AsiaSatComBOSS/base.git'

     }
     dir('business_customer_inform'){
     git branch: 'dev', credentialsId: 'git-yatai', url: 'http://10.124.198.74/AsiaSatComBOSS/business_customer_inform.git'
     }
     
     dir('business_partner'){
     git branch: 'dev', credentialsId: 'git-yatai', url: 'http://10.124.198.74/AsiaSatComBOSS/business_partner.git'
     }
     dir('custinfo_partner'){
     git branch: 'dev', credentialsId: 'git-yatai', url: 'http://10.124.198.74/AsiaSatComBOSS/custinfo_partner.git'
     }
}

View Code

#仔細看看stage('checkout')階段的程式碼,每個dir('')生成的目錄，這裡面都有，而這些目錄裡面儲存的，就是每個dir（‘’）後的那段git程式碼拉取下來的資料

#好的，平緩下來，繼續解釋程式碼

#以下程式碼，作用於編譯程式碼,*可以在jenkins裡面執行bash命令，真好。

#maven編譯程式碼之前，需要配置一些東西，如jar包倉庫，等才能成功編譯，也就是說，你要讓你自己得到知識上的滿足，你必須多看書，你從哪看這些書呢，要不你有書，要不你就上網找書，方案很多，但是需要跟開發人員配合後才知道如何獲取這些jar包，這裡就不做介紹。

stage 'Build'
   
      
    sh"""       #sh """command """     sh"command" 都可以執行shell命令(每個單獨的sh，等於說新開一個bash環境執行命令)，前者一般是執行多行的命令的時候使用，後者執行一條命令時用
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　    #牛逼的人也可以執行一條命令就用sh """command"""，你可以試試。
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 
　　　　　　　#沒忘記吧？ $workspace是pwd()，也就是jenkins工作目錄，就是jenkins家目錄/jenkins/workspace/任務名稱/
        cd $workspace/base             　　　　　　　　　　　　　　　　　　 #進入下載了的git程式碼的目錄中
        /home/jenkins/maven/bin/mvn clean install -U -Pdev            #編譯的結果是得到一個war包，但是1個專案一般只有1個war包，為什麼要編譯這麼多檔案呢？   
	cd $workspace/business_customer_inform                        #因為開發要求這樣編譯。
        /home/jenkins/maven/bin/mvn clean install -U -Pdev            #這是一次有順序的編譯操作，1，2,3,4，按照有循序的邏輯來
        cd $workspace/business_partner                                #先有1才能有2，有了2才能有3，我最終要的結果是4，那麼也要一步一步來才行
        /home/jenkins/maven/bin/mvn clean install -U -Pdev
	cd $workspace/custinfo_partner                                #通常，最後編譯的包裡面，就是需要的war包存在的目錄，前三個只是打鋪墊。
        /home/jenkins/maven/bin/mvn clean install -U -Pdev            #編譯成功後會在目錄下新建一個target目錄存放war包

"""

#編譯完成後，我就得到這個war包了，再試一下水，war包如下。

#下一段程式碼,對網站伺服器做一些操作，備份-刪除-上傳新的，重啟網站服務。

#以下全是linux命令，不多做解釋，這還看不懂，那就沒法了。

sshpass：提供非互動式的密碼認證環境

StrictHostKeyChecking=no   #主機key檢查，當你第一次連線某臺機器時，會出現互動式頁面，如下，指令碼可不會只能幫我們輸入“yes”,所以，避免出現這種情況！

最後一個動作是重啟tomcat，當你把新的程式碼傳上去，你得讓tomcat識別，所以得重啟，簡單的操作，我的指令碼如下。

#!/bin/bash
tomcat_home=/home/admin/taobao-tomcat-production-7.0.59.3

process_count=`ps aux |grep $tomcat_home |wc -l `

if [ $process_count -gt 1 ];then
        kill  -9 `cat $tomcat_home/catalina.pid`
        sleep 2
        $tomcat_home/bin/startup.sh  &>/dev/null
else
        $tomcat_home/bin/startup.sh  &>/dev/null
fi

View Code

#需要額外注意一點：pipeline中使用變數，除了變數 workspace = pwd() 呼叫方法是$workspace，其他自定義變數，如user，呼叫方式是 '$user'

stage 'backup'
    
    sh """sshpass -p'$passwd' ssh  -o StrictHostKeyChecking=no  '$user'@'$host'  "cd '$tomcat_home'/deploy/ && tar cfz '$tomcat_home'/backup/'$war_name'`date +%y%m%d-%s`.tar.gz   '$war_name'.war "
    """
    
    stage 'delete_old'
    sh """sshpass  -p'$passwd' ssh -o StrictHostKeyChecking=no '$user'@'$host' "rm -rf  '$tomcat_home'/deploy/'$war_name'* "
    """
    
    
    stage 'upload'
    sh """
        cd '$workspace'/'$war_name'/target   #maven 編譯後，在目錄下新建一個target檔案，將war包放在其中
        sshpass -p'$passwd' scp -o StrictHostKeyChecking=no '$war_name'.war '$user'@'$host':'$tomcat_home'/deploy/'$war_name'.war
    """ 
    
    stage 'restart_tomcat'
    sh "sshpass  -p'$passwd' ssh -o StrictHostKeyChecking=no '$user'@'$host' 'bash  /home/admin/if_tomcat.sh'"
     echo 'done_______________'

Jenkins Pipeline+Maven+Gitlab持續整合構建

Jenkins Pipeline+Maven+Gitlab持續整合構建

docker+jenkins+maven+gitlab搭建整合java持續整合環境(待完成)

Springboot Gitlab Jenkins Maven Docker 持續整合/持續交付

jenkins+maven+git持續整合部署問題總結

Jenkins+Maven+Gitlab+Tomcat 自動化構建打包、部署 tomcat企業級Web應用伺服器配置與會話保持

jenkins+Docker+maven專案持續構建及docker化

Jenkins持續整合構建Docker容器

在Redhat上為.Net 專案構建基於Jenkins + Github + Mono 的持續整合環境

jenkins+gitlab持續整合圖文教程

【iOS】Jenkins Gitlab持續整合打包平臺搭建

Jenkins Gitlab持續整合打包平臺搭建

docker-compose 安裝Jenkins+gitlab持續整合

Jenkins + Github持續整合構建Docker容器

jenkins pipeline maven 使用

用Gitlab持續整合解放你的雙手

淺談持續整合構建在網際網路軟體測試專案中應用與分析·

Jenkins是什麼：持續整合（CI）流程、特點、應用場景

GitLab持續整合持續部署（CI&CD）

搭建hudson/jenkins+cppcheck+cpplint+cccc持續整合環境

jenkins+python自動化測試持續整合

Jenkins Pipeline+Maven+Gitlab持續整合構建

相關推薦