複雜查詢:多對一、一對多
1.初識Docker
1.1.什麼是Docker
微服務雖然具備各種各樣的優勢,但服務的拆分通用給部署帶來了很大的麻煩。
- 分散式系統中,依賴的元件非常多,不同元件之間部署時往往會產生一些衝突。
- 在數百上千臺服務中重複部署,環境不一定一致,會遇到各種問題
1.1.1.應用部署的環境問題
大型專案元件較多,執行環境也較為複雜,部署時會碰到一些問題:
-
依賴關係複雜,容易出現相容性問題
-
開發、測試、生產環境有差異
例如一個專案中,部署時需要依賴於node.js、Redis、RabbitMQ、MySQL等,這些服務部署時所需要的函式庫、依賴項各不相同,甚至會有衝突。給部署帶來了極大的困難。
1.1.2.Docker解決依賴相容問題
而Docker確巧妙的解決了這些問題,Docker是如何實現的呢?
Docker為了解決依賴的相容問題的,採用了兩個手段:
-
將應用的Libs(函式庫)、Deps(依賴)、配置與應用一起打包
-
將每個應用放到一個隔離容器去執行,避免互相干擾
這樣打包好的應用包中,既包含應用本身,也保護應用所需要的Libs、Deps,無需再作業系統上安裝這些,自然就不存在不同應用之間的相容問題了。
雖然解決了不同應用的相容問題,但是開發、測試等環境會存在差異,作業系統版本也會有差異,怎麼解決這些問題呢?
1.1.3.Docker解決作業系統環境差異
要解決不同作業系統環境差異問題,必須先了解作業系統結構。以一個Ubuntu作業系統為例,結構如下:
結構包括:
- 計算機硬體:例如CPU、記憶體、磁碟等
- 系統核心:所有Linux發行版的核心都是Linux,例如CentOS、Ubuntu、Fedora等。核心可以與計算機硬體互動,對外提供核心指令,用於操作計算機硬體。
- 系統應用:作業系統本身提供的應用、函式庫。這些函式庫是對核心指令的封裝,使用更加方便。
應用於計算機互動的流程如下:
1)應用呼叫作業系統應用(函式庫),實現各種功能
2)系統函式庫是對核心指令集的封裝,會呼叫核心指令
3)核心指令操作計算機硬體
Ubuntu和CentOSpringBoot都是基於Linux核心,無非是系統應用不同,提供的函式庫有差異:
此時,如果將一個Ubuntu版本的MySQL應用安裝到CentOS系統,MySQL在呼叫Ubuntu函式庫時,會發現找不到或者不匹配,就會報錯了:
Docker如何解決不同系統環境的問題?
- Docker將使用者程式與所需要呼叫的系統(比如Ubuntu)函式庫一起打包
- Docker執行到不同作業系統時,直接基於打包的函式庫,藉助於作業系統的Linux核心來執行
如圖:
1.1.4.小結
Docker如何解決大型專案依賴關係複雜,不同元件依賴的相容性問題?
- Docker允許開發中將應用、依賴、函式庫、配置一起打包,形成可移植映象
- Docker應用執行在容器中,使用沙箱機制,相互隔離
Docker如何解決開發、測試、生產環境有差異的問題?
- Docker映象中包含完整執行環境,包括系統函式庫,僅依賴系統的Linux核心,因此可以在任意Linux作業系統上執行
Docker是一個快速交付應用、執行應用的技術,具備下列優勢:
- 可以將程式及其依賴、執行環境一起打包為一個映象,可以遷移到任意Linux作業系統
- 執行時利用沙箱機制形成隔離容器,各個應用互不干擾
- 啟動、移除都可以通過一行命令完成,方便快捷
1.2.Docker和虛擬機器的區別
Docker可以讓一個應用在任何作業系統中非常方便的執行。而以前我們接觸的虛擬機器,也能在一個作業系統中,執行另外一個作業系統,保護系統中的任何應用。
兩者有什麼差異呢?
虛擬機器(virtual machine)是在作業系統中模擬硬體裝置,然後執行另一個作業系統,比如在 Windows 系統裡面執行 Ubuntu 系統,這樣就可以執行任意的Ubuntu應用了。
Docker僅僅是封裝函式庫,並沒有模擬完整的作業系統,如圖:
對比來看:
小結:
Docker和虛擬機器的差異:
-
docker是一個系統程序;虛擬機器是在作業系統中的作業系統
-
docker體積小、啟動速度快、效能好;虛擬機器體積大、啟動速度慢、效能一般
1.3.Docker架構
1.3.1.映象和容器
Docker中有幾個重要的概念:
映象(Image):Docker將應用程式及其所需的依賴、函式庫、環境、配置等檔案打包在一起,稱為映象。
容器(Container):映象中的應用程式執行後形成的程序就是容器,只是Docker會給容器程序做隔離,對外不可見。
一切應用最終都是程式碼組成,都是硬碟中的一個個的位元組形成的檔案。只有執行時,才會載入到記憶體,形成程序。
而映象,就是把一個應用在硬碟上的檔案、及其執行環境、部分系統函式庫檔案一起打包形成的檔案包。這個檔案包是隻讀的。
容器呢,就是將這些檔案中編寫的程式、函式載入到記憶體中允許,形成程序,只不過要隔離起來。因此一個映象可以啟動多次,形成多個容器程序。
例如你下載了一個QQ,如果我們將QQ在磁碟上的執行檔案及其執行的作業系統依賴打包,形成QQ映象。然後你可以啟動多次,雙開、甚至三開QQ,跟多個妹子聊天。
1.3.2.DockerHub
開源應用程式非常多,打包這些應用往往是重複的勞動。為了避免這些重複勞動,人們就會將自己打包的應用映象,例如Redis、MySQL映象放到網路上,共享使用,就像GitHub的程式碼共享一樣。
-
DockerHub:DockerHub是一個官方的Docker映象的託管平臺。這樣的平臺稱為Docker Registry。
我們一方面可以將自己的映象共享到DockerHub,另一方面也可以從DockerHub拉取映象:
1.3.3.Docker架構
我們要使用Docker來操作映象、容器,就必須要安裝Docker。
Docker是一個CS架構的程式,由兩部分組成:
-
服務端(server):Docker守護程序,負責處理Docker指令,管理映象、容器等
-
客戶端(client):通過命令或RestAPI向Docker服務端傳送指令。可以在本地或遠端向服務端傳送指令。
如圖:
1.3.4.小結
映象:
- 將應用程式及其依賴、環境、配置打包在一起
容器:
- 映象執行起來就是容器,一個映象可以執行多個容器
Docker結構:
-
服務端:接收命令或遠端請求,操作映象或容器
-
客戶端:傳送命令或者請求到Docker服務端
DockerHub:
- 一個映象託管的伺服器,類似的還有阿里雲映象服務,統稱為DockerRegistry
2.Docker的基本操作
2.1.映象操作
2.1.1.映象名稱
首先來看下映象的名稱組成:
- 鏡名稱一般分兩部分組成:[repository]:[tag]。
- 在沒有指定tag時,預設是latest,代表最新版本的映象
如圖:
這裡的mysql就是repository,5.7就是tag,合一起就是映象名稱,代表5.7版本的MySQL映象。
2.1.2.映象命令
常見的映象操作命令如圖:
2.1.3.案例1-拉取、檢視映象
需求:從DockerHub中拉取一個nginx映象並檢視
1)首先去映象倉庫搜尋nginx映象,比如DockerHub:
2)根據檢視到的映象名稱,拉取自己需要的映象,通過命令:docker pull nginx
3)通過命令:docker images 檢視拉取到的映象
2.1.4.案例2-儲存、匯入映象
需求:利用docker save將nginx映象匯出磁碟,然後再通過load載入回來
1)利用docker xx --help命令檢視docker save和docker load的語法
例如,檢視save命令用法,可以輸入命令:
docker save --help
結果:
命令格式:
docker save -o [儲存的目標檔名稱] [映象名稱]
2)使用docker save匯出映象到磁碟
執行命令:
docker save -o nginx.tar nginx:latest
結果如圖:
3)使用docker load載入映象
先刪除本地的nginx映象:
docker rmi nginx:latest
然後執行命令,載入本地檔案:
docker load -i nginx.tar
結果:
2.1.5.練習
需求:去DockerHub搜尋並拉取一個Redis映象
目標:
1)去DockerHub搜尋Redis映象
2)檢視Redis映象的名稱和版本
3)利用docker pull命令拉取映象
4)利用docker save命令將 redis:latest打包為一個redis.tar包
5)利用docker rmi 刪除本地的redis:latest
6)利用docker load 重新載入 redis.tar檔案
2.2.容器操作
2.2.1.容器相關命令
容器操作的命令如圖:
容器保護三個狀態:
- 執行:程序正常執行
- 暫停:程序暫停,CPU不再執行,並不釋放記憶體
- 停止:程序終止,回收程序佔用的記憶體、CPU等資源
其中:
-
docker run:建立並執行一個容器,處於執行狀態
-
docker pause:讓一個執行的容器暫停
-
docker unpause:讓一個容器從暫停狀態恢復執行
-
docker stop:停止一個執行的容器
-
docker start:讓一個停止的容器再次執行
-
docker rm:刪除一個容器
2.2.2.案例-建立並執行一個容器
建立並執行nginx容器的命令:
docker run --name containerName -p 80:80 -d nginx
命令解讀:
- docker run :建立並執行一個容器
- --name : 給容器起一個名字,比如叫做mn
- -p :將宿主機埠與容器埠對映,冒號左側是宿主機埠,右側是容器埠
- -d:後臺執行容器
- nginx:映象名稱,例如nginx
這裡的-p
引數,是將容器埠對映到宿主機埠。
預設情況下,容器是隔離環境,我們直接訪問宿主機的80埠,肯定訪問不到容器中的nginx。
現在,將容器的80與宿主機的80關聯起來,當我們訪問宿主機的80埠時,就會被對映到容器的80,這樣就能訪問到nginx了:
2.2.3.小結
docker run命令的常見引數有哪些?
- --name:指定容器名稱
- -p:指定埠對映
- -d:讓容器後臺執行
檢視容器日誌的命令:
- docker logs
- 新增 -f 引數可以持續檢視日誌
檢視容器狀態:
- docker ps
- docker ps -a 檢視所有容器,包括已經停止的
2.3.資料卷(容器資料管理)
在之前的nginx案例中,修改nginx的html頁面時,需要進入nginx內部。並且因為沒有編輯器,修改檔案也很麻煩。
這就是因為容器與資料(容器內檔案)耦合帶來的後果。
要解決這個問題,必須將資料與容器解耦,這就要用到資料捲了。
2.3.1.什麼是資料卷
資料卷(volume)是一個虛擬目錄,指向宿主機檔案系統中的某個目錄。
一旦完成資料卷掛載,對容器的一切操作都會作用在資料卷對應的宿主機目錄了。
這樣,我們操作宿主機的/var/lib/docker/volumes/html目錄,就等於操作容器內的/usr/share/nginx/html目錄了
2.3.2.資料集操作命令
資料卷操作的基本語法如下:
docker volume [COMMAND]
docker volume命令是資料卷操作,根據命令後跟隨的command來確定下一步的操作:
- create 建立一個volume
- inspect 顯示一個或多個volume的資訊
- ls 列出所有的volume
- prune 刪除未使用的volume
- rm 刪除一個或多個指定的volume
2.3.3.建立和檢視資料卷
需求:建立一個數據卷,並檢視資料卷在宿主機的目錄位置
① 建立資料卷
docker volume create html
② 檢視所有資料
docker volume ls
結果:
③ 檢視資料卷詳細資訊卷
docker volume inspect html
結果:
可以看到,我們建立的html這個資料卷關聯的宿主機目錄為/var/lib/docker/volumes/html/_data
目錄。
小結:
資料卷的作用:
- 將容器與資料分離,解耦合,方便操作容器內資料,保證資料安全
資料卷操作:
- docker volume create:建立資料卷
- docker volume ls:檢視所有資料卷
- docker volume inspect:檢視資料卷詳細資訊,包括關聯的宿主機目錄位置
- docker volume rm:刪除指定資料卷
- docker volume prune:刪除所有未使用的資料卷
2.3.4.掛載資料卷
我們在建立容器時,可以通過 -v 引數來掛載一個數據捲到某個容器內目錄,命令格式如下:
docker run \
--name mn \
-v html:/root/html \
-p 8080:80
nginx \
這裡的-v就是掛載資料卷的命令:
-v html:/root/htm
:把html資料卷掛載到容器內的/root/html這個目錄中
2.3.5.案例-給nginx掛載資料卷
需求:建立一個nginx容器,修改容器內的html目錄內的index.html內容
分析:上個案例中,我們進入nginx容器內部,已經知道nginx的html目錄所在位置/usr/share/nginx/html ,我們需要把這個目錄掛載到html這個資料捲上,方便操作其中的內容。
提示:執行容器時使用 -v 引數掛載資料卷
步驟:
① 建立容器並掛載資料捲到容器內的HTML目錄
docker run --name mn -v html:/usr/share/nginx/html -p 80:80 -d nginx
② 進入html資料卷所在位置,並修改HTML內容
# 檢視html資料卷的位置
docker volume inspect html
# 進入該目錄
cd /var/lib/docker/volumes/html/_data
# 修改檔案
vi index.html
2.3.6.案例-給MySQL掛載本地目錄
容器不僅僅可以掛載資料卷,也可以直接掛載到宿主機目錄上。關聯關係如下:
- 帶資料卷模式:宿主機目錄 --> 資料卷 ---> 容器內目錄
- 直接掛載模式:宿主機目錄 ---> 容器內目錄
如圖:
語法:
目錄掛載與資料卷掛載的語法是類似的:
- -v [宿主機目錄]:[容器內目錄]
- -v [宿主機檔案]:[容器內檔案]
需求:建立並執行一個MySQL容器,將宿主機目錄直接掛載到容器
實現思路如下:
1)在將課前資料中的mysql.tar檔案上傳到虛擬機器,通過load命令載入為映象
2)建立目錄/tmp/mysql/data
3)建立目錄/tmp/mysql/conf,將課前資料提供的hmy.cnf檔案上傳到/tmp/mysql/conf
# cnf 檔案
[mysqld]
skip-name-resolve
character_set_server=utf8
datadir=/var/lib/mysql
server-id=1000
4)去DockerHub查閱資料,建立並執行MySQL容器,
① 掛載/tmp/mysql/data到mysql容器內資料儲存目錄
② 掛載/tmp/mysql/conf/hmy.cnf到mysql容器的配置檔案
③ 設定MySQL密碼
docker run \
--name mysql3306 \
-e MYSQL_ROOT_PASSWORD=root \
-p 3306:3306 \
-v /opt/mysql/conf/hmy.cnf:/etc/mysql/conf.d/hmy.cnf \
-v /opt/mysql/data:/var/lib/mysql \
-d \
mysql:5.7
2.3.7.小結
docker run的命令中通過 -v 引數掛載檔案或目錄到容器中:
- -v volume名稱:容器內目錄
- -v 宿主機檔案:容器內文
- -v 宿主機目錄:容器內目錄
資料卷掛載與目錄直接掛載的
- 資料卷掛載耦合度低,由docker來管理目錄,但是目錄較深,不好找
- 目錄掛載耦合度高,需要我們自己管理目錄,不過目錄容易尋找檢視
3.Dockerfile自定義映象
常見的映象在DockerHub就能找到,但是我們自己寫的專案就必須自己構建映象了。
而要自定義映象,就必須先了解映象的結構才行。
3.1.映象結構
映象是將應用程式及其需要的系統函式庫、環境、配置、依賴打包而成。
我們以MySQL為例,來看看映象的組成結構:
簡單來說,映象就是在系統函式庫、執行環境基礎上,新增應用程式檔案、配置檔案、依賴檔案等組合,然後編寫好啟動指令碼打包在一起形成的檔案。
我們要構建映象,其實就是實現上述打包的過程。
3.2.Dockerfile語法
構建自定義的映象時,並不需要一個個檔案去拷貝,打包。
我們只需要告訴Docker,我們的映象的組成,需要哪些BaseImage、需要拷貝什麼檔案、需要安裝什麼依賴、啟動指令碼是什麼,將來Docker會幫助我們構建映象。
而描述上述資訊的檔案就是Dockerfile檔案。
Dockerfile就是一個文字檔案,其中包含一個個的指令(Instruction),用指令來說明要執行什麼操作來構建映象。每一個指令都會形成一層Layer。
更新詳細語法說明,請參考官網文件: https://docs.docker.com/engine/reference/builder
3.3.構建Java專案
3.3.2.基於java8構建Java專案
雖然我們可以基於Ubuntu基礎映象,新增任意自己需要的安裝包,構建映象,但是卻比較麻煩。所以大多數情況下,我們都可以在一些安裝了部分軟體的基礎映象上做改造。
例如,構建java專案的映象,可以在已經準備了JDK的基礎映象基礎上構建。
需求:基於java:8-alpine映象,將一個Java專案構建為映象
實現思路如下:
-
① 新建一個空的目錄,然後在目錄中新建一個檔案,命名為Dockerfile
-
② 拷貝課前資料提供的docker-demo.jar到這個目錄中
-
③ 編寫Dockerfile檔案:
-
a )基於java:8-alpine作為基礎映象
-
b )將app.jar拷貝到映象中
-
c )暴露埠
-
d )編寫入口ENTRYPOINT
內容如下:
FROM java:8-alpine COPY ./app.jar /tmp/app.jar EXPOSE 8090 ENTRYPOINT java -jar /tmp/app.jar
-
-
④ 使用docker build命令構建映象
-
⑤ 使用docker run建立容器並執行
3.4.小結
小結:
-
Dockerfile的本質是一個檔案,通過指令描述映象的構建過程
-
Dockerfile的第一行必須是FROM,從一個基礎映象來構建
-
基礎映象可以是基本作業系統,如Ubuntu。也可以是其他人制作好的映象,例如:java:8-alpine
4.Docker-Compose
Docker Compose可以基於Compose檔案幫我們快速的部署分散式應用,而無需手動一個個建立和執行容器!
4.1.初識DockerCompose
Compose檔案是一個文字檔案,通過指令定義叢集中的每個容器如何執行。格式如下:
version:"3.8"
services:
mysql:
image:mysql:5.7.25
environment:
MYSQL_ROOT_PASSWORD: 123
volumes:
-"/tmp/mysql/data:/var/lib/mysql"
-"/tmp/mysql/conf/hmy.cnf:/etc/mysql/conf.d/hmy.cnf"
web:
build:.
ports:
- "8090:8090"
上面的Compose檔案就描述一個專案,其中包含兩個容器:
- mysql:一個基於
mysql:5.7.25
映象構建的容器,並且掛載了兩個目錄 - web:一個基於
docker build
臨時構建的映象容器,對映埠時8090
DockerCompose的詳細語法參考官網:https://docs.docker.com/compose/compose-file/
其實DockerCompose檔案可以看做是將多個docker run命令寫到一個檔案,只是語法稍有差異。
4.2.安裝DockerCompose
參考課前資料
4.3.部署微服務叢集
內容如下:
version: "3.2"
services:
nacos:
image: nacos/nacos-server
environment:
MODE: standalone
ports:
- "8848:8848"
mysql:
image: mysql:5.7.25
environment:
MYSQL_ROOT_PASSWORD: 123
volumes:
- "$PWD/mysql/data:/var/lib/mysql"
- "$PWD/mysql/conf:/etc/mysql/conf.d/"
userservice:
build: ./user-service
orderservice:
build: ./order-service
gateway:
build: ./gateway
ports:
- "10010:10010"
可以看到,其中包含5個service服務:
nacos
:作為註冊中心和配置中心image: nacos/nacos-server
: 基於nacos/nacos-server映象構建environment
:環境變數MODE: standalone
:單點模式啟動
ports
:埠對映,這裡暴露了8848埠
mysql
:資料庫image: mysql:5.7.25
:映象版本是mysql:5.7.25environment
:環境變數MYSQL_ROOT_PASSWORD: 123
:設定資料庫root賬戶的密碼為123
volumes
:資料卷掛載,這裡掛載了mysql的data、conf目錄,其中有我提前準備好的資料
userservice
、orderservice
、gateway
:都是基於Dockerfile臨時構建的
4.3.2.修改微服務配置
因為微服務將來要部署為docker容器,而容器之間互聯不是通過IP地址,而是通過容器名。這裡我們將order-service、user-service、gateway服務的mysql、nacos地址都修改為基於容器名的訪問。
如下所示:
spring:
datasource:
url: jdbc:mysql://mysql:3306/cloud_order?useSSL=false
username: root
password: 123
driver-class-name: com.mysql.jdbc.Driver
application:
name: orderservice
cloud:
nacos:
server-addr: nacos:8848 # nacos服務地址
4.3.3.打包
接下來需要將我們的每個微服務都打包。因為之前檢視到Dockerfile中的jar包名稱都是app.jar,因此我們的每個微服務都需要用這個名稱。
可以通過修改pom.xml中的打包名稱來實現,每個微服務都需要修改:
<build>
<!-- 服務打包的最終名稱 -->
<finalName>app</finalName>
<plugins>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
</plugin>
</plugins>
</build>
4.3.4.拷貝jar包到部署目錄
編譯打包好的app.jar檔案,需要放到Dockerfile的同級目錄中。注意:每個微服務的app.jar放到與服務名稱對應的目錄,別搞錯了。
4.3.5.部署
最後,我們需要將檔案整個cloud-demo資料夾上傳到虛擬機器中,理由DockerCompose部署。
上傳到任意目錄:
部署:
進入cloud-demo目錄,然後執行下面的命令:
docker-compose up -d
5.Docker映象倉庫
5.1.搭建私有映象倉庫
參考課前資料《CentOS7安裝Docker.md》
5.2.推送、拉取映象
推送映象到私有映象服務必須先tag,步驟如下:
① 重新tag本地映象,名稱字首為私有倉庫的地址:192.168.150.101:8080/
docker tag nginx:latest 192.168.150.101:8080/nginx:1.0
② 推送映象
docker push 192.168.150.101:8080/nginx:1.0
③ 拉取映象
docker pull 192.168.150.101:8080/nginx:1.0