基於Jenkins,docker實現自動化部署(持續交付)
前言
隨著業務的增長,需求也開始增多,每個需求的大小,開發週期,釋出時間都不一致。基於微服務的系統架構,功能的疊加,對應的服務的數量也在增加,大小功能的快速迭代,更加要求部署的快速化,智慧化。因此,傳統的人工部署已經心有餘而力不足。
持續整合,持續部署,持續互動對於微服務開發來說,是提高團隊整體效率不可或缺的一環。合理的使用CI,CD能夠極大的提高了生產效率,也提高了產品的互動質量。本文不對三個概念做過多的介紹,有興趣可以讀讀這篇文章:The Product Managers’ Guide to Continuous Delivery and DevOps 我想會有一定的收穫。
本文主要介紹下基於Jenkins+docker 實現自動化部署
希望閱讀此文對maven,docker的使用有一定的瞭解
Jenkins + Docker
下圖是構想的網路結構圖
大體結構
-
開發人員在gitLab上打了一個tag
-
gitLab把tag事件推送到Jenkins
-
Jenkins 獲取tag原始碼,編譯,打包,構建映象
-
Jenkins push 映象到阿里雲倉庫
-
Jenkins 執行遠端指令碼
5-1. 遠端伺服器 pull 指定映象
5-2. 停止老版本容器,啟動新版本容器 -
通知測試人員部署結果
基於maven構建映象,上傳阿里雲docker倉庫
maven 構建映象配置
pom.xml 檔案新增docker外掛
<plugin> <groupId>com.spotify</groupId> <artifactId>docker-maven-plugin</artifactId> <version>0.4.11</version> <configuration> <imageName>${docker.image.prefix}/${project.artifactId}</imageName> <imageTags> <imageTag>${project.version}</imageTag> <imageTag>latest</imageTag> </imageTags> <dockerDirectory>src/main/docker</dockerDirectory> <resources> <resource> <targetPath>/</targetPath> <directory>${project.build.directory}</directory> <include>${project.build.finalName}.jar</include> </resource> </resources> </configuration> </plugin>
${docker.image.prefix} 是映象的字首
${project.artifactId} 是映象名字
${project.version} 版本號,此處也用來當做映象的版本號
docker-maven-plugin 使用可以自行百度。
src/main/docker 目錄下新增檔案 Dockerfile,內容如下:
FROM frolvlad/alpine-oraclejdk8:slim
VOLUME /tmp
ADD demo-service-ver-0.0.1.jar app.jar
RUN sh -c 'touch /app.jar'
ENV JAVA_OPTS=""
ENTRYPOINT [ "sh", "-c", "java $JAVA_OPTS -Djava.security.egd=file:/dev/./urandom -jar /app.jar" ]
以上的配置可以把一個服務打包成映象,只需要執行
$ sudo mvn package docker:build
阿里雲docker倉庫使用
註冊或者啟用阿里雲docker倉庫就不贅述。下面簡單介紹上傳拉取docker映象
-
登入
$ sudo docker login --username=使用者名稱 --password=密碼 registry-internal.cn-hangzhou.aliyuncs.com
-
push 之前生成的映象
$ sudo docker tag [ImageId] registry.cn-hangzhou.aliyuncs.com/xxx/demo-service:[映象版本號] $ sudo docker push registry.cn-hangzhou.aliyuncs.com/xxx/demo-service:[映象版本號]
xxx : 是你映象倉庫的namespace
一堆push後,你就可以在阿里雲的Docker映象倉庫裡面看到你對應的映象了。下圖是我們公司的部分映象列表
-
映象列表
-
pull 映象
登入操作同上
$ sudo docker pull registry.cn-hangzhou.aliyuncs.com/xxx/demo-service:[映象版本號]
jenkins 部署配置
構建Jenkins映象
FROM jenkins
USER root
RUN apt-get update && apt-get install -y sudo && rm -rf /var/lib/apt/lists/*
RUN echo "jenkins ALL=NOPASSWD: ALL" >> /etc/sudoers
USER jenkins
一開始使用官方的映象直接啟用,一些外掛和配置多少都有點問題,比如不能使用sudo,等等。因此基於官方映象構建一個更符合我們需要的映象。
構建命令:
$ sudo docker build -t buxiaoxia/jenkins:1.0
啟動Jenkins容器
sudo docker run --memory 1.5G --name buxiaoxia-jenkins \
-p 18181:8080 -p 50000:50000 -u root -d \
--env JAVA_OPTS="-Xms256m -Xmx512m -XX:MaxNewSize=256m" \
-v /var/run/docker.sock:/var/run/docker.sock \
-v /usr/bin/docker:/usr/bin/docker \
-v /home/buxiaoxia/software/jenkins:/var/jenkins_home \
-v /usr/lib64/libltdl.so.7:/usr/lib/x86_64-linux-gnu/libltdl.so.7 \
buxiaoxia/jenkins:1.0
簡單解釋下:
-v /var/run/docker.sock:/var/run/docker.sock 與 -v /usr/bin/docker:/usr/bin/docker是把宿主機docker 對映到容器內。
-v /home/buxiaoxia/software/jenkins:/var/jenkins_home 指定Jenkins的宿主機儲存路徑
-v /usr/lib64/libltdl.so.7:/usr/lib/x86_64-linux-gnu/libltdl.so.7 在centos7 系統下會出現個別的包丟失,對應的引下宿主機的包就可以。
docker在容器內構建的時候,如果出現許可權不夠什麼的。可以在宿主機中使用以下兩種方式:
$ sudo chmod 777 /var/run/docker.sock
或者
$ usermod -a -G docker jenkin
jenkins 啟動後,訪問對應的Jenkins頁面,初始化只要一步步跟著走就可以了。
Jenkins配置
外掛下載
所需要的外掛:
-
Maven Integration plugin
-
docker-build-step
-
Docker plugin
-
Gitlab Hook Plugin
-
GitLab Plugin
因為使用的是gitlab,對應的外掛也是必須的。下載完外掛後,maven等相關外掛配置好(此處省略...)
maven 映象地址配置
可以直接在宿主機修改,路徑在:/home/buxiaoxia/software/jenkins/tools/hudson.tasks.Maven_MavenInstallation/maven3-1/conf 下的settings.xml
setting.xml 映象改成阿里雲的就OK,飛起。。。
新建一個maven job
原始碼配置
構建
構建後執行特定指令碼
指令碼內容如下:
echo '================開始推送映象================'
sudo docker login --username=使用者名稱 --password=密碼 registry-internal.cn-hangzhou.aliyuncs.com
sudo docker push registry-internal.cn-hangzhou.aliyuncs.com/xxx/demo-service
echo '================結束推送映象================'
echo '================開始遠端啟動================'
ssh [email protected] -tt << remotessh ###首先要ssh上去注意這裡的<< remotessh,需要做公鑰金鑰
####從這裡開始都是在遠端機器上執行命令
cd /home/buxiaoxia/xiaw
./jenkins.sh registry-internal.cn-hangzhou.aliyuncs.com/xxx/demo-service
sudo docker login --username=使用者名稱 --password=密碼 registry-internal.cn-hangzhou.aliyuncs.com
sudo docker pull registry-internal.cn-hangzhou.aliyuncs.com/xxx/demo-service
sudo docker run -d -m 300m --name=demo-service-`date +%Y-%m-%d` --restart=always registry-internal.cn-hangzhou.aliyuncs.com/xxx/demo-service
echo "finished!"
#####執行完畢
exit ###退出遠端機器
remotessh ###結尾哦
echo '================結束遠端啟動================'
jenkins.sh 指令碼內容:
#!/bin/sh
sudo docker stop $(sudo docker ps | grep $1|awk '{print $1}'|sed 's/%//g')
以上就完成了一個簡單的自動化構建
gitlab配置webhook
Jenkins安裝完對應的gitlab外掛,配置中的構建觸發選擇如下
複製紅框中的url
再在gitlab的對應專案中webhooks頁面中的url填入前面複製的url
儲存即可,右下角可以點選測試哦。
配置完成後,每次該專案有個tag push event ,都會觸發Jenkins的自動構建。接著,Jenkins就執行 拉取原始碼 -> 編譯 -> 構建映象 -> 推送映象 -> 執行遠端啟動指令碼完成部署。
總結
一步步的配置,基本就跑通了我們基於Jenkins,docker實現自動化部署的初始版本。開發人員完成功能開發後,需要互動一個測試版本,只需要推送一個tag到git倉庫,就能夠將程式碼自動部署到特定的伺服器上。可喜可賀~ 可以省去一堆的從一個伺服器跑到另一個伺服器,然後執行各種命令的瑣碎操作。。。
關於配置
目前我是使用了consul的配置共享,把不同環境的配置放在了consul上,映象中沒有保留可變的配置,而是根據啟動的引數就可以自由切換環境配置。
當然,consul的配置共享可以看看我git上關於consul的專案:http://git.oschina.net/buxiaoxia/spring-demo
存在問題
-
docker未使用編排,較為獨立,需要知道特定的伺服器網路位置
-
docker映象的push與pull,都需要明文執行阿里雲賬號密碼,可進一步改進
-
未構建版本回退流程
-
shell指令碼健壯性不夠,異常未處理
優化
可以針對以上問題做相應的優化,完善初始化版本的CD流程。例如,docker 使用swarm,讓swarm管理docker 容器等等。
我自己的設想:
更多參考:
k8s+Jenkins+GitLab-自動化部署:
https://blog.csdn.net/ahilll/article/details/81979947?tdsourcetag=s_pcqq_aiomsg
gitlab+jenkins+docker+harbor+k8s自動化開啟docker服務:
https://blog.csdn.net/su4416160/article/details/78574344?tdsourcetag=s_pcqq_aiomsg
參考:
正版 DevOps開發運維訓練營米泰什DevOps實踐參考簡明實用輕鬆部署自動化測試