.Net微服務實戰之CI/CD
系列文章
-
.Net微服務實戰之技術選型篇
-
.Net微服務實戰之技術架構分層篇
-
.Net微服務實戰之DevOps篇
-
.Net微服務實戰之負載均衡（上）
相關原始碼：https://github.com/SkyChenSky/Sikiro
地基
在軟體工程不少的思想、概念來源於建築工程，大家也喜歡把開發軟體比喻成建房子。那麼如果說運維是軟體的地基，那麼框架就是承重牆。起房子就是先打地基，再建承重牆。地基打得越穩，房子才能起得更高。也等同於運維技術越紮實，系統才能更加健壯。
特別在微服務興起得時代，運維越發的現得尤為得重要，DevOps也風靡全球。只要聊起DevOps與微服務，CI/CD總是不能避免的。CI/CD不一定限制於微服務，我認為無論在什麼樣風格的架構和怎麼樣組織架構的團隊，自動化技術越早使用收效越高。
我認為IT人員更多是腦力大於體力的勞動者，一些重複的、錯誤率高的、無法對自己有增長的工作應該儘早交給自動化技術處理，節省了不需要浪費的時間與精力，這樣才能更好的去完成有價值、有意義的工作。
部署圖
以上是我在虛擬機器環境的部署圖：
一共三臺伺服器，每臺伺服器都裝了Docker，Server B是docker swarm的Manger角色，A和C是worker。
在Server B裝了Jenkins、Docker Registry、dotnet sdk，Server A裝了Gitlab，Server C裝了私有Nuget。
那麼工作流程是：
- 遷入程式碼push到Gitlab
- Gitlab觸發webhook的push觸發事件並主動通知Jenkins構建
- Jenkins在Gitlab獲取原始碼並通過配置好的規則與shell指令碼進行構建
- 如果是工具庫則dotnet push到192.168.88.139:8081的私有Nuget
- 如果是Web應用則通過dockerfile構建docker映象並push到192.168.88.141:6000的Docker Registry，然後由docker swarm create多節點
安裝Docker
安裝最新版本Docker，並在所有需要使用docker的伺服器節點根據以下步驟安裝
升級yum並安裝基礎元件
yum upgrade -y sudo yum install -y yum-utils device-mapper-persistent-data lvm2
新增安裝源資訊
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
安裝docker-ce
yum makecache fast yum install docker-ce -y修改映象源
vim /etc/docker/daemon.json
{
"registry-mirrors" : [
"http://ovfftd6p.mirror.aliyuncs.com",
"http://registry.docker-cn.com",
"http://docker.mirrors.ustc.edu.cn",
"http://hub-mirror.c.163.com"
],
"insecure-registries" : [
"registry.docker-cn.com",
"docker.mirrors.ustc.edu.cn"
],
"debug" : true,
"experimental" : true
}
啟動docker
systemctl daemon-reload systemctl enable docker systemctl start docker
安裝 Docker Registry（私有倉儲）
選取一個伺服器-Server B使用docker安裝Registry
docker run -d -p 6000:5000 -v /root/docker_registry:/var/lib/registry --name private_registry registry
開放6000埠
firewall-cmd --permanent --add-port=6000/tcp firewall-cmd --reload
以上就Registry安裝完成了，但為了正常使用還需要做點配置修改
編輯所有需要docker registry使用的節點的daemon.json檔案，確保能正常訪問
vim /etc/docker/daemon.json
{
"insecure-registries":["192.168.88.141:6000"]
}
重啟docker
systemctl daemon-reload service docker restart
如果需要推送映象到私庫確保標籤（tag）字首帶有私庫地址
docker push 192.168.88.141:6000/testdockerswarm
docker swarm的初始化
把相關涉及到docker swarm的節點埠開啟
firewall-cmd --permanent --zone=public --add-port=2377/tcp firewall-cmd --permanent --zone=public --add-port=4789/udp firewall-cmd --permanent --zone=public --add-port=7946/udp firewall-cmd --reload
選取Server B作為Manager節點，執行下面的指令後會出現docker swarm join的指令文字，複製儲存下來
docker swarm init --advertise-addr 192.168.88.141
Server A和Server C為Worker節點，執行剛剛儲存下來指令
docker swarm join --token SWMTKN-1-0odogegq3bwui4o76aq5v05doqqvuycb5jmuckjmvzy4bfmm59-ewht2cz6fo0r39ky44uv00aq5 192.168.88.141:2377檢視節點資訊
docker node ls
私有Nuget的安裝
選擇Server C基於docker的Nuget安裝
docker run -d \
-p 8081:80 \
--env NUGET_API_KEY=chengong \
-v /root/nuget/database:/var/www/db \
-v /root/nuget/packages:/var/www/packagefiles \
--name nuget-server \
sunside/simple-nuget-server
開放相關8081埠
firewall-cmd --permanent --add-port=8081/tcp firewall-cmd --reload
上傳包指令，注意包名有中文會導致上傳出現bad request
dotnet nuget push --source http://192.168.88.139:8081/ -k chengong TestPackage.1.0.0.nupkg
刪除包指令
dotnet nuget delete --source http://192.168.88.139:8081/ -k chengong TestPackage 1.0.0
如果在Windowsx系統可以通過工具上傳
https://github.com/NuGetPackageExplorer/NuGetPackageExplorer
Gitlab的安裝
在Server A伺服器上基於docker安裝
sudo docker run -d \ --hostname 192.168.88.138 \ -p 443:443 -p 8080:80 -p 2222:22 \ --name gitlab \ --restart always \ -v /root/gitlab/config:/etc/gitlab:Z \ -v /root/gitlab/logs:/var/log/gitlab:Z \ -v /root/gitlab/data:/var/opt/gitlab:Z \ gitlab/gitlab-ce
開放埠
firewall-cmd --permanent --add-port=8080/tcp firewall-cmd --reload
第一次啟動會有點慢，需要耐心的等待一下（幾分鐘），初始化完了後進入系統設定root的密碼，登入進去我們建立兩個專案，一個Web應用，一個工具庫，等會需要用到
Jenkins的安裝
在Server B伺服器基於docker安裝Jenkins
mkdir -p /root/jenkins setenforce 0
docker run --name jenkins -u 0 -d --restart always -v /root/jenkins/jenkins_home:/var/jenkins_home -p 8080:8080 -p 50000:50000 jenkins/jenkins:lts
開放埠
firewall-cmd --permanent --add-port=8080/tcp firewall-cmd --reload
啟動完了後需要等待一會，我們先去檢視Jenkins的docker log，我們找到下面那段密碼，在Jenkins歡迎頁輸入，設定好管理員後，選擇Custom Select，如果您對網路有自信就直接點繼續，如果您對網路沒自信，避免花了很長的時間還沒安裝好外掛就直接啥都不選繼續。（如果出現一個XXX失敗代理的頁面直接跳過）
docer logs xxx
Please use the following password to proceed to installation: 53d4a2880bf8460c8ff61936278855ca
外掛自動下載完後了，終於進去了，如果有沒有安裝成功的都得保證以下三個外掛安裝好，Gitlab Hook 、Gitlab、Push Over SSH.
登入後，在左側點選【系統管理】，拖下去點選 【外掛管理】，確保Gitlab Hook 、Gitlab、Push Over SSH成功安裝，如果無法順利安裝則到https://plugins.jenkins.io/下載外掛手動上傳。
修改時區，進入Jenkins容器
docker exec -it 81 /bin/bash執行下面命令
tzselect 4 9 1 1 cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime ##檢視時間 date -R
在Server B安裝.Net SDK，因為在Server B安裝了Jenkins，因此會基於Server B的環境進行.Net的應用進行打包、釋出
新增下載源：
rpm -Uvh https://packages.microsoft.com/config/centos/7/packages-microsoft-prod.rpm
下載安裝：
sudo yum install dotnet-sdk-3.1在Server B新增私有Nuget包源，因為在.Net Core應用 Build和Publish的時候會觸發Restore指令（還原包），預設只有微軟的nuget源，如果缺少了私有Nuget源會還原包失敗
dotnet nuget add source http://192.168.88.139:8081 -n LocalNugetServer
列出已有包源
dotnet nuget list source
當然可以通過 dotnet restore -s http://192.168.88.139:8081 指令指定還原包源，但是為了避免如果服務地址變動後shell指令碼會大面積的修改，還是建議通過dotnet nuget add soure指令。
那麼到這裡所有的關於Linux的工具安裝、初始化的準備工作都完成了，那麼接下來就是講解Jenkins結合Gitlab，把應用與工具包釋出到Nuget與Docker。
Jenkins的使用
在一切開始之前得把SSH配置好，因為後續會使用到，在【SSH Servers】模組把伺服器地址、賬號密碼填進去儲存。
返回到首頁面板點選【新建任務】-選擇【構建一個自由風格的軟體專案】（FreeStyle Project）。
自由風格的專案更多是使用shell指令碼結合相應平臺的指令實現自動化，因此建議大家對shell指令碼有個初步的認識與學習，雖然Jenkins也提供了對應平臺語言的一些外掛，但是隻要您熟悉了shell就會發現它的靈活性與便捷性。
接下來我們只要關注3個模組，原始碼管理、構建觸發器、構建
原始碼構建，填寫您要自動釋出的專案的原始碼地址，並輸入賬號密碼。
構建觸發器，這裡勾選Build when a chenge ……，把URL 複製記錄下來，等下在Gitlab需要使用到。這裡就是與Gitlab webhook做了聯動，可以理解成Jenkins開放了一個介面，讓Gitlab被push程式碼後會主動告訴Jenkins做一次自動化構建。
構建，這裡其實就是執行shell指令碼完成釋出。這裡得注意下我是用ssh，因為我的Jenkins是使用了docker安裝的，如果我使用了【構建】模組裡的【執行shell】就會在Jenkins環境裡進行編譯、打包，同時也需要安裝相應的環境 例如dotnet sdk等。我的環境都是裝在了Server B這個宿主環境，因此通過目錄掛載與SSH完成了這一次構建。
當然有同學想在Jenkins環境先打包然後通過SSH的Transfers模組進行檔案傳也是可以的。
構建指令碼
這個是工具庫釋出到私有Nuget的指令碼
#指令碼開始執行
echo '指令碼開始執行'
base_path=/root/jenkins/jenkins_home/workspace/TestNuget
nuget_url=http://192.168.88.139:8081/
nuget_api_key=chengong
project_path=$base_path/TestNuget
package_path=$project_path/bin/Debug
cd $project_path
rm -rf $package_path/*.nupkg
dotnet pack $project_path &&
dotnet nuget push --source $nuget_url -k $nuget_api_key $package_path/*.nupkg >/dev/null
if [ $? -eq 0 ]; then
echo '釋出成功:'$project_path''
else
echo '釋出失敗:'$project_path''
fi
echo '指令碼執行結束'
下面這個是Web應用釋出到單臺伺服器的指令碼
#!/bin/bash
echo '指令碼開始執行'
base_path=/root/jenkins/jenkins_home/workspace/TestDockerSwarm
project_name=testdockerswarm
project_path=$base_path/TestDockerSwarm
publish_path=$project_path/bin/Release/netcoreapp2.2/publish
cd $project_path
rm -rf $project_path/bin
dotnet publish -c Release && (
cd $publish_path &&
docker stop $project_name
docker rm $project_name
docker image rm $project_name
docker build -t $project_name . &&
docker run -d -p 5000:80 -e ASPNETCORE_ENVIRONMENT="Development" --name $project_name $project_name &&
echo '釋出成功:'$project_path'' ||
echo '釋出失敗:'$project_path''
) || echo '釋出失敗:'$project_path''
echo '指令碼執行結束'
下面這個是通過Docker Swarm把Web應用釋出到多臺伺服器
#!/bin/bash
echo '指令碼開始執行'
base_path=/root/jenkins/jenkins_home/workspace/TestDockerSwarm
project_name=testdockerswarm
project_path=$base_path/TestDockerSwarm
publish_path=$project_path/bin/Release/netcoreapp2.2/publish
private_registry_url=192.168.88.141:6000
version=`date "+%Y%m%d%H%M%S"`
cd $project_path
rm -rf $project_path/bin
dotnet publish -c Release && (
(
cd $publish_path
docker service rm testdockerswarm
docker images | grep $private_registry_url/$project_name | awk '{print $3}' | xargs docker rmi
docker build -t $private_registry_url/$project_name:$version ./
docker push $private_registry_url/$project_name:$version
) &&
docker service create -d -p 5000:80 --replicas 2 -e ASPNETCORE_ENVIRONMENT="Development" --constraint=" node.role==worker" \
--name $project_name $private_registry_url/$project_name:$version &&
echo '釋出成功:'$project_path'' ||
echo '釋出失敗:'$project_path''
) || echo '釋出失敗:'$project_path''
echo '指令碼執行結束'
上面指令碼有一處地址得注意下我指定了--constraint=" node.role==worker" 也就是woker節點才會部署應用，因為我定義了ServerA和C是Web伺服器。當然各位可以按照自己的需要處理。
Dockerfile
FROM microsoft/dotnet:2.2-aspnetcore-runtime AS base WORKDIR /app EXPOSE 80 FROM base AS final WORKDIR /app COPY ./ /app ENTRYPOINT ["dotnet", "TestDockerSwarm.dll"]
Gitlab的使用
進入Gitlab，點選【Admin Area】-【Network】，勾選選項後儲存
進入一個Project，點選【Setting】-【Webhooks】，把剛剛在Jenkins的複製下來的Url填寫進去，勾選相應的觸發事件後儲存。
結束
以上就是本篇的內容了，完成了部署後，可以在Jenkins點選【立刻構建】和在Gitlab遷入一次程式碼檢視執行效果。Shell指令碼作為一個demo，如果對指令碼有更好的建議和優化的寫法可以在評論區反饋給我。