k8s+Jenkins+GitLab-自動化部署asp.net專案
目錄
此文閱讀目錄:
1、閒聊
2、部署流程介紹
3、部署Harbor倉庫
4、jenkins-slave映象搭建
5、部署jenkins
6、jenkins+gitlab掛鉤
7、k8s部署asp.net core專案
一、閒聊
現在基本上是隔幾天寫一篇文章,還是不夠勤奮,努力把自己打造成勤奮的人,把工作上面所用到的技術點分享給大家。為了研究k8s自動化部署aspnet core專案,足足花費了我一個禮拜的時間,過程是痛苦的,但結果是美好的。
如果以下內容有不足的地方,請指出,我會第一時間更正。謝謝大家。
二、部署流程介紹
1、先上一下手繪導圖,大致的流程圖如下:(不喜勿噴呀)
大致的部署流程是這樣的:開發人員把做好的asp.net core專案程式碼通過git推送到gitlab,然後Jenkins通過 gitlab webhook (前提是配置好),自動從拉取gitlab上面拉取程式碼下來,然後進行build,編譯、生成映象、然後把映象推送到Harbor倉庫;然後在部署的時候通過k8s拉取Harbor上面的程式碼進行建立容器和服務,最終釋出完成,然後可以用外網訪問。(ps:看著我講這麼簡單,但心裡有許多小鹿在心裡亂撞,沒關係,下面將會好好的分享給大家)
當然啦,上面只是粗略的,請看下圖才更加形象。
2、先介紹一下我的伺服器IP和在各個伺服器上面所安裝的內容
ps:由於我的電腦配置有限,執行太多的虛擬機器會導致記憶體空間不夠用,因此就弄了三臺,已經是極限了。
如果大家對於k8s怎麼部署,請看我之前的文章有介紹。前提是要安裝好docker環境、gitlab等
IP |
角色 |
192.168.161.151 |
master1、Harbor、Jenkins |
192.168.161.152 |
node1 |
192.168.161.153 |
node2、Gitlab |
三、部署Harbor倉庫
第一步:下載harbor二進位制檔案:https://github.com/goharbor/harbor/releases
第二步:安裝 docker compose
命令:
sudo curl -L https://github.com/docker/compose/releases/download/1.22.0/docker-compose-$(uname -s)-$(uname -m) -o /usr/local/bin/docker-compose
然後把下載的docker-compose 設定可執行許可權
命令:chmod +x /usr/local/bin/docker-compose
第三步:此處應該設定自簽證書的,即訪問的時候是採用HTTPS進行訪問的。此處略去,不影響我們接下去的部署。(後期會出一篇關於自簽證書的文章,僅供參考)
第四步:將下載好的Harbor二進位制包上傳到伺服器上面,然後解壓出來
解壓的命令為: tar xzvf 包名
第五步:進入解壓出來的資料夾harbor中,有如下檔案。
配置檔案,vi harbor.cfg
把其中的hostname修改為:master1 的IP地址。
然後修改harbor的登入密碼:為了方便起見,我修改為123456,大家可自行修改
第六步:在當前資料夾中開啟harbor
執行命令:
./prepare
./install.sh (執行此處的時候需要一定的時間,請等待吧)
第七步:啟動成功,檢視一下(完美的執行)
docker-compose ps
用瀏覽器檢視一下(出現以下內容,代表成功,完美)
進入到裡面後,我先在使用者管理中建立了一個使用者 louie 。大家自行建立,為了後期需要把一些依賴映象先推送到harbor倉庫中。然後在專案中建立專案,如下:
所建立的專案,並且,我在每個專案中都加入了我剛才所建立的使用者,方便後期登入並推送映象
此處介紹一下我的專案,coresdk 主要用來存放 asp.net core 所需要的sdk;ops主要是用來存放的jenkins映象和jenkins-slave映象;projectdemo 主要存放我的asp.netcore 專案的映象,供k8s拉取。
至此,harbor部署完成。
四、jenkins-slave映象搭建
操作伺服器:node1
說明:jenkins-slave 主要是為了分擔jenkins-master的壓力。如下圖所示:(在多工執行的時候可以採用)
1、為了建立jenkins-slave映象,我這邊準備了三個檔案
Dockerfile:構建jenkins-slave映象
jenkins-slave:shell指令碼(需要加入可執行許可權 chmod +x jenkins-slave),在映象構建時需要用到。
slave.jar: 啟動指令碼
Dockerfile 檔案內容如下(如需原始檔可加入QQ群獲取),如下圖所示:可以看到 jenkins-slave需要依賴java的一些環境。
2、配置java的基礎環境。
配置 JDK和maven,把下載的二進位制包放到如下目錄(由於檔案太大,可移步到群中下載)
apache-maven-3.5.3-bin.tar.gz解壓到的地址為 /usr/local/maven裡面。
jdk-8u45-linux-x64.tar.gz解壓到的地址為 /usr/local/jdk裡面。
3、準備好環境後,剛才構建映象,如下:
執行命令:
構建完成後把映象推送到Harbor倉庫中。
在推送的過程中需要先登入到harbor倉庫
執行命令: docker login 192.168.161.151
執行後發現及時輸入賬號和密碼也無法登入,由於在node1中沒有新增harbor倉庫的IP地址導致無法登入,因此
執行命令:vi /etc/docker/daemon.json
把下圖的紅色圈的部分加入,然後重啟一下docker。
執行 docker info ,看一下IP地址是否生效,發現已加入。好了,在試一下登入,發現登入成功,然後開始推送把。
當然harbor 上也給出了映象推送的語句
開始推送:docker push 192.168.161.151/ops/jenkins-slave
至此,jenkins-slave 映象已推送完畢。
五、部署jenkins
部署jenkins時,我把jenkins的資料卷採用pv/pvc、nfs 進行掛載。
1、需要準備檔案有
jenkins-service-account.yml :jenkins的服務賬號建立
jenkins.yml : 建立容器和service 服務得。進行可以訪問。
Dockerfile :主要用來生成 jenkins 映象的。
registry-pull-secret.yaml:主要是用來部署時可以直接登入harbor倉庫來拉取映象(在部署jenkins需要用到)
2、開始吧。
切換到node1伺服器,把之前準備好的Dockerfile檔案構建一下
命令:docker build -t 192.168.161.151/ops/jenkins:lts-alpine .
然後推送到Harbor倉庫中,命令:docker push 192.168.161.150/ops/jenkins:lts-alpine
3、切換到master 伺服器上
構建 jenkins-service-account.yml 和jenkins.yml 檔案以及registry-pull-secret.yaml
特別注意registry-pull-secret.yaml 中的namespace,需要在k8s中建立,以及 data裡面的64位認證資訊(需要登入harbor倉庫後生成的資訊黏貼在這裡)
生成方式為:可以在有登入的harbor 的node伺服器上面執行以下命令生成認證資訊
命令:cat ~/.docker/config.json |base64 -w0即可生成資訊
執行上上面的檔案後,命令: kubectl create -f 檔名。
生成如下,發現jenkins已在執行,而且是執行在153節點上。那麼開始用瀏覽器訪問把
檢視一下 service ,jenkins的外部訪問埠為誒 30001.
4、輸入訪問地址:http://192.168.161.153:30001/
在第一次登陸的時候需要密碼進行解鎖jenkins,按照提示獲取密碼即可。
然後選擇 ""外掛來安裝"",如果需要特別的外掛直接選擇,否則直接安裝即可。
5、要想把jenkins關聯到k8s中需要安裝幾個外掛
開啟 "系統管理" =》"管理外掛" 然後安裝
Kubernetes Continuous Deploy、Kubernetes、Gitlab Hook 、GitLab、Build Authorization Token
6、安裝完畢後就開始構建專案啦。
我新建一個專案,然後選擇流水線、然後點選確定。
7、建立完任務後先不進行配置,我們先要設定一下jenkins掛鉤k8s的環境
點選 "系統管理"=》"系統設定"。一直往下滑動,點選"新增一個雲",選擇k8s,如果這邊沒有出現k8s,則代表你的外掛沒有安裝成功,請重新安裝吧。
然後配置一下里面的內容,只要配置這兩個地方就可以了。針對URL,我這邊是採用kube-dns來做服務發現,不需要實際的ip地址進行輸入。至此搞定。不過還得配置一下 "憑證",即SSH金鑰,方便可以從gitlab那邊拉取程式碼,有玩過gitlab應該知道,拉取程式碼分為git和http。
此處如果發現測試不通過,請現在k8s中安裝一下kube-dns.yaml,檔案在群中k8s叢集部署檔案下面:直至在k8s中執行即可。
命令:kubectl create -f kube-dns.yaml
8、新增憑證
在這裡我添加了兩個憑證,一個是ssh,和k8s的憑證。這個可自行新增一下即可。這裡要注意一下:憑證生成後,進入憑證裡面會有一個自動生成的ID,此ID需要在asp.net core專案中的Jenkinsfile裡面配置。
root中的金鑰時私鑰,並且在伺服器上需要把公鑰配置到gitlab上。
這下面是gitlab 上面配置ssh, ssh的私鑰和公鑰,直接在 node伺服器上生成一下即可 ssh-keygen, 然後把裡面的內容複製出來即可。
六、jenkins+gitlab掛鉤
上面已經建立了一個任務。然後我們開始配置這個任務裡面的內容並且與gitlab掛鉤把
1、進入testproject裡面配置。按照以下圖配置完後即可。然後點選儲存。這樣就完成了任務配置,接下來就是要配置一下gitlab啦
2、配置gitlab
在gitlab中我建立了一個專案Testproject
然後進入到專案中,點選 "Settings"=》Integrations
把上面URL和Token複製到這邊,然後點選儲存即可。接下來就是測試一下這個配置是否可以用
將上面建立好的webhook 進行測試,gitlab會模擬程式碼推送事件,返回200就代表成功啦。
成功啦。
七、終於到了我們asp.net core專案啦
github地址:上面有完整的程式碼https://github.com/LouieGuo/testproject,記得fork me喲。感謝感謝。
在這裡我建立了一個asp.net core webapi 的專案,不做任何修改。然後在專案中加入了這幾個部署檔案。
deploy檔案裡面包含 Jenkinsfile 和deploy.yml(用來部署專案映象的)
注:Jenkinsfile裡面這兩個地方需要配置為你們在Jenkins裡面建立的兩個授權的ID,ID內容可以進入到憑證裡面看。切記,一定要改。
Dockerfile :中是用來構建專案映象的
dockerfile 內容,當然裡面的sdk我已經打包好了,已經上傳到我的harbor倉庫中。
到目前為止我們就可以開始上傳程式碼到gitlab上,然後自動觸發構建啦。
上傳後再這邊會出現構建進行,我們可以檢視控制檯輸出
輸出、以及構建成功
在master上面檢視
發現已經執行我的專案啦,用瀏覽器訪問以下。
檢視一下外部發布的埠
執行成功啦。這篇文章寫了好久,可能中間有漏掉的步驟,歡迎大家留言,後期補充。
轉https://www.cnblogs.com/guolianyu/p/9520046.html
github:fork me
asp.netCore 交流群:787464275歡迎加群交流
如果您認為這篇文章還不錯或者有所收穫,您可以點選右下角的【推薦】按鈕精神支援,因為這種支援是我繼續寫作,分享的最大動力!
作者:LouieGuo