1. 程式人生 > 其它 >複雜查詢:多對一、一對多

複雜查詢:多對一、一對多

1.初識Docker

1.1.什麼是Docker

微服務雖然具備各種各樣的優勢,但服務的拆分通用給部署帶來了很大的麻煩。

  • 分散式系統中,依賴的元件非常多,不同元件之間部署時往往會產生一些衝突。
  • 在數百上千臺服務中重複部署,環境不一定一致,會遇到各種問題

1.1.1.應用部署的環境問題

大型專案元件較多,執行環境也較為複雜,部署時會碰到一些問題:

  • 依賴關係複雜,容易出現相容性問題

  • 開發、測試、生產環境有差異

例如一個專案中,部署時需要依賴於node.js、Redis、RabbitMQ、MySQL等,這些服務部署時所需要的函式庫、依賴項各不相同,甚至會有衝突。給部署帶來了極大的困難。

1.1.2.Docker解決依賴相容問題

而Docker確巧妙的解決了這些問題,Docker是如何實現的呢?

Docker為了解決依賴的相容問題的,採用了兩個手段:

  • 將應用的Libs(函式庫)、Deps(依賴)、配置與應用一起打包

  • 將每個應用放到一個隔離容器去執行,避免互相干擾

這樣打包好的應用包中,既包含應用本身,也保護應用所需要的Libs、Deps,無需再作業系統上安裝這些,自然就不存在不同應用之間的相容問題了。

雖然解決了不同應用的相容問題,但是開發、測試等環境會存在差異,作業系統版本也會有差異,怎麼解決這些問題呢?

1.1.3.Docker解決作業系統環境差異

要解決不同作業系統環境差異問題,必須先了解作業系統結構。以一個Ubuntu作業系統為例,結構如下:

結構包括:

  • 計算機硬體:例如CPU、記憶體、磁碟等
  • 系統核心:所有Linux發行版的核心都是Linux,例如CentOS、Ubuntu、Fedora等。核心可以與計算機硬體互動,對外提供核心指令,用於操作計算機硬體。
  • 系統應用:作業系統本身提供的應用、函式庫。這些函式庫是對核心指令的封裝,使用更加方便。

應用於計算機互動的流程如下:

1)應用呼叫作業系統應用(函式庫),實現各種功能

2)系統函式庫是對核心指令集的封裝,會呼叫核心指令

3)核心指令操作計算機硬體

Ubuntu和CentOSpringBoot都是基於Linux核心,無非是系統應用不同,提供的函式庫有差異:

此時,如果將一個Ubuntu版本的MySQL應用安裝到CentOS系統,MySQL在呼叫Ubuntu函式庫時,會發現找不到或者不匹配,就會報錯了:

Docker如何解決不同系統環境的問題?

  • Docker將使用者程式與所需要呼叫的系統(比如Ubuntu)函式庫一起打包
  • Docker執行到不同作業系統時,直接基於打包的函式庫,藉助於作業系統的Linux核心來執行

如圖:

1.1.4.小結

Docker如何解決大型專案依賴關係複雜,不同元件依賴的相容性問題?

  • Docker允許開發中將應用、依賴、函式庫、配置一起打包,形成可移植映象
  • Docker應用執行在容器中,使用沙箱機制,相互隔離

Docker如何解決開發、測試、生產環境有差異的問題?

  • Docker映象中包含完整執行環境,包括系統函式庫,僅依賴系統的Linux核心,因此可以在任意Linux作業系統上執行

Docker是一個快速交付應用、執行應用的技術,具備下列優勢:

  • 可以將程式及其依賴、執行環境一起打包為一個映象,可以遷移到任意Linux作業系統
  • 執行時利用沙箱機制形成隔離容器,各個應用互不干擾
  • 啟動、移除都可以通過一行命令完成,方便快捷

1.2.Docker和虛擬機器的區別

Docker可以讓一個應用在任何作業系統中非常方便的執行。而以前我們接觸的虛擬機器,也能在一個作業系統中,執行另外一個作業系統,保護系統中的任何應用。

兩者有什麼差異呢?

虛擬機器(virtual machine)是在作業系統中模擬硬體裝置,然後執行另一個作業系統,比如在 Windows 系統裡面執行 Ubuntu 系統,這樣就可以執行任意的Ubuntu應用了。

Docker僅僅是封裝函式庫,並沒有模擬完整的作業系統,如圖:

對比來看:

小結:

Docker和虛擬機器的差異:

  • docker是一個系統程序;虛擬機器是在作業系統中的作業系統

  • docker體積小、啟動速度快、效能好;虛擬機器體積大、啟動速度慢、效能一般

1.3.Docker架構

1.3.1.映象和容器

Docker中有幾個重要的概念:

映象(Image):Docker將應用程式及其所需的依賴、函式庫、環境、配置等檔案打包在一起,稱為映象。

容器(Container):映象中的應用程式執行後形成的程序就是容器,只是Docker會給容器程序做隔離,對外不可見。

一切應用最終都是程式碼組成,都是硬碟中的一個個的位元組形成的檔案。只有執行時,才會載入到記憶體,形成程序。

映象,就是把一個應用在硬碟上的檔案、及其執行環境、部分系統函式庫檔案一起打包形成的檔案包。這個檔案包是隻讀的。

容器呢,就是將這些檔案中編寫的程式、函式載入到記憶體中允許,形成程序,只不過要隔離起來。因此一個映象可以啟動多次,形成多個容器程序。

例如你下載了一個QQ,如果我們將QQ在磁碟上的執行檔案及其執行的作業系統依賴打包,形成QQ映象。然後你可以啟動多次,雙開、甚至三開QQ,跟多個妹子聊天。

1.3.2.DockerHub

開源應用程式非常多,打包這些應用往往是重複的勞動。為了避免這些重複勞動,人們就會將自己打包的應用映象,例如Redis、MySQL映象放到網路上,共享使用,就像GitHub的程式碼共享一樣。

  • DockerHub:DockerHub是一個官方的Docker映象的託管平臺。這樣的平臺稱為Docker Registry。

  • 國內也有類似於DockerHub 的公開服務,比如 網易雲映象服務阿里雲映象庫等。

我們一方面可以將自己的映象共享到DockerHub,另一方面也可以從DockerHub拉取映象:

1.3.3.Docker架構

我們要使用Docker來操作映象、容器,就必須要安裝Docker。

Docker是一個CS架構的程式,由兩部分組成:

  • 服務端(server):Docker守護程序,負責處理Docker指令,管理映象、容器等

  • 客戶端(client):通過命令或RestAPI向Docker服務端傳送指令。可以在本地或遠端向服務端傳送指令。

如圖:

1.3.4.小結

映象:

  • 將應用程式及其依賴、環境、配置打包在一起

容器:

  • 映象執行起來就是容器,一個映象可以執行多個容器

Docker結構:

  • 服務端:接收命令或遠端請求,操作映象或容器

  • 客戶端:傳送命令或者請求到Docker服務端

DockerHub:

  • 一個映象託管的伺服器,類似的還有阿里雲映象服務,統稱為DockerRegistry

2.Docker的基本操作

2.1.映象操作

2.1.1.映象名稱

首先來看下映象的名稱組成:

  • 鏡名稱一般分兩部分組成:[repository]:[tag]。
  • 在沒有指定tag時,預設是latest,代表最新版本的映象

如圖:

這裡的mysql就是repository,5.7就是tag,合一起就是映象名稱,代表5.7版本的MySQL映象。

2.1.2.映象命令

常見的映象操作命令如圖:

2.1.3.案例1-拉取、檢視映象

需求:從DockerHub中拉取一個nginx映象並檢視

1)首先去映象倉庫搜尋nginx映象,比如DockerHub:

2)根據檢視到的映象名稱,拉取自己需要的映象,通過命令:docker pull nginx

3)通過命令:docker images 檢視拉取到的映象

2.1.4.案例2-儲存、匯入映象

需求:利用docker save將nginx映象匯出磁碟,然後再通過load載入回來

1)利用docker xx --help命令檢視docker save和docker load的語法

例如,檢視save命令用法,可以輸入命令:

docker save --help

結果:

命令格式:

docker save -o [儲存的目標檔名稱] [映象名稱]

2)使用docker save匯出映象到磁碟

執行命令:

docker save -o nginx.tar nginx:latest

結果如圖:

3)使用docker load載入映象

先刪除本地的nginx映象:

docker rmi nginx:latest

然後執行命令,載入本地檔案:

docker load -i nginx.tar

結果:

2.1.5.練習

需求:去DockerHub搜尋並拉取一個Redis映象

目標:

1)去DockerHub搜尋Redis映象

2)檢視Redis映象的名稱和版本

3)利用docker pull命令拉取映象

4)利用docker save命令將 redis:latest打包為一個redis.tar包

5)利用docker rmi 刪除本地的redis:latest

6)利用docker load 重新載入 redis.tar檔案

2.2.容器操作

2.2.1.容器相關命令

容器操作的命令如圖:

容器保護三個狀態:

  • 執行:程序正常執行
  • 暫停:程序暫停,CPU不再執行,並不釋放記憶體
  • 停止:程序終止,回收程序佔用的記憶體、CPU等資源

其中:

  • docker run:建立並執行一個容器,處於執行狀態

  • docker pause:讓一個執行的容器暫停

  • docker unpause:讓一個容器從暫停狀態恢復執行

  • docker stop:停止一個執行的容器

  • docker start:讓一個停止的容器再次執行

  • docker rm:刪除一個容器

2.2.2.案例-建立並執行一個容器

建立並執行nginx容器的命令:

docker run --name containerName -p 80:80 -d nginx

命令解讀:

  • docker run :建立並執行一個容器
  • --name : 給容器起一個名字,比如叫做mn
  • -p :將宿主機埠與容器埠對映,冒號左側是宿主機埠,右側是容器埠
  • -d:後臺執行容器
  • nginx:映象名稱,例如nginx

這裡的-p引數,是將容器埠對映到宿主機埠。

預設情況下,容器是隔離環境,我們直接訪問宿主機的80埠,肯定訪問不到容器中的nginx。

現在,將容器的80與宿主機的80關聯起來,當我們訪問宿主機的80埠時,就會被對映到容器的80,這樣就能訪問到nginx了:

2.2.3.小結

docker run命令的常見引數有哪些?

  • --name:指定容器名稱
  • -p:指定埠對映
  • -d:讓容器後臺執行

檢視容器日誌的命令:

  • docker logs
  • 新增 -f 引數可以持續檢視日誌

檢視容器狀態:

  • docker ps
  • docker ps -a 檢視所有容器,包括已經停止的

2.3.資料卷(容器資料管理)

在之前的nginx案例中,修改nginx的html頁面時,需要進入nginx內部。並且因為沒有編輯器,修改檔案也很麻煩。

這就是因為容器與資料(容器內檔案)耦合帶來的後果。

要解決這個問題,必須將資料與容器解耦,這就要用到資料捲了。

2.3.1.什麼是資料卷

資料卷(volume)是一個虛擬目錄,指向宿主機檔案系統中的某個目錄。

一旦完成資料卷掛載,對容器的一切操作都會作用在資料卷對應的宿主機目錄了。

這樣,我們操作宿主機的/var/lib/docker/volumes/html目錄,就等於操作容器內的/usr/share/nginx/html目錄了

2.3.2.資料集操作命令

資料卷操作的基本語法如下:

docker volume [COMMAND]

docker volume命令是資料卷操作,根據命令後跟隨的command來確定下一步的操作:

  • create 建立一個volume
  • inspect 顯示一個或多個volume的資訊
  • ls 列出所有的volume
  • prune 刪除未使用的volume
  • rm 刪除一個或多個指定的volume

2.3.3.建立和檢視資料卷

需求:建立一個數據卷,並檢視資料卷在宿主機的目錄位置

① 建立資料卷

docker volume create html

② 檢視所有資料

docker volume ls

結果:

③ 檢視資料卷詳細資訊卷

docker volume inspect html

結果:

可以看到,我們建立的html這個資料卷關聯的宿主機目錄為/var/lib/docker/volumes/html/_data目錄。

小結

資料卷的作用:

  • 將容器與資料分離,解耦合,方便操作容器內資料,保證資料安全

資料卷操作:

  • docker volume create:建立資料卷
  • docker volume ls:檢視所有資料卷
  • docker volume inspect:檢視資料卷詳細資訊,包括關聯的宿主機目錄位置
  • docker volume rm:刪除指定資料卷
  • docker volume prune:刪除所有未使用的資料卷

2.3.4.掛載資料卷

我們在建立容器時,可以通過 -v 引數來掛載一個數據捲到某個容器內目錄,命令格式如下:

docker run \
  --name mn \
  -v html:/root/html \
  -p 8080:80
  nginx \

這裡的-v就是掛載資料卷的命令:

  • -v html:/root/htm :把html資料卷掛載到容器內的/root/html這個目錄中

2.3.5.案例-給nginx掛載資料卷

需求:建立一個nginx容器,修改容器內的html目錄內的index.html內容

分析:上個案例中,我們進入nginx容器內部,已經知道nginx的html目錄所在位置/usr/share/nginx/html ,我們需要把這個目錄掛載到html這個資料捲上,方便操作其中的內容。

提示:執行容器時使用 -v 引數掛載資料卷

步驟:

① 建立容器並掛載資料捲到容器內的HTML目錄

docker run --name mn -v html:/usr/share/nginx/html -p 80:80 -d nginx

② 進入html資料卷所在位置,並修改HTML內容

# 檢視html資料卷的位置
docker volume inspect html
# 進入該目錄
cd /var/lib/docker/volumes/html/_data
# 修改檔案
vi index.html

2.3.6.案例-給MySQL掛載本地目錄

容器不僅僅可以掛載資料卷,也可以直接掛載到宿主機目錄上。關聯關係如下:

  • 帶資料卷模式:宿主機目錄 --> 資料卷 ---> 容器內目錄
  • 直接掛載模式:宿主機目錄 ---> 容器內目錄

如圖:

語法

目錄掛載與資料卷掛載的語法是類似的:

  • -v [宿主機目錄]:[容器內目錄]
  • -v [宿主機檔案]:[容器內檔案]

需求:建立並執行一個MySQL容器,將宿主機目錄直接掛載到容器

實現思路如下:

1)在將課前資料中的mysql.tar檔案上傳到虛擬機器,通過load命令載入為映象

2)建立目錄/tmp/mysql/data

3)建立目錄/tmp/mysql/conf,將課前資料提供的hmy.cnf檔案上傳到/tmp/mysql/conf

# cnf 檔案
[mysqld]
skip-name-resolve
character_set_server=utf8
datadir=/var/lib/mysql
server-id=1000

4)去DockerHub查閱資料,建立並執行MySQL容器,

① 掛載/tmp/mysql/data到mysql容器內資料儲存目錄

② 掛載/tmp/mysql/conf/hmy.cnf到mysql容器的配置檔案

③ 設定MySQL密碼

docker run \
 --name mysql3306 \
 -e MYSQL_ROOT_PASSWORD=root \
 -p 3306:3306 \
 -v /opt/mysql/conf/hmy.cnf:/etc/mysql/conf.d/hmy.cnf \
 -v /opt/mysql/data:/var/lib/mysql \
 -d \
 mysql:5.7

2.3.7.小結

docker run的命令中通過 -v 引數掛載檔案或目錄到容器中:

  • -v volume名稱:容器內目錄
  • -v 宿主機檔案:容器內文
  • -v 宿主機目錄:容器內目錄

資料卷掛載與目錄直接掛載的

  • 資料卷掛載耦合度低,由docker來管理目錄,但是目錄較深,不好找
  • 目錄掛載耦合度高,需要我們自己管理目錄,不過目錄容易尋找檢視

3.Dockerfile自定義映象

常見的映象在DockerHub就能找到,但是我們自己寫的專案就必須自己構建映象了。

而要自定義映象,就必須先了解映象的結構才行。

3.1.映象結構

映象是將應用程式及其需要的系統函式庫、環境、配置、依賴打包而成。

我們以MySQL為例,來看看映象的組成結構:

簡單來說,映象就是在系統函式庫、執行環境基礎上,新增應用程式檔案、配置檔案、依賴檔案等組合,然後編寫好啟動指令碼打包在一起形成的檔案。

我們要構建映象,其實就是實現上述打包的過程。

3.2.Dockerfile語法

構建自定義的映象時,並不需要一個個檔案去拷貝,打包。

我們只需要告訴Docker,我們的映象的組成,需要哪些BaseImage、需要拷貝什麼檔案、需要安裝什麼依賴、啟動指令碼是什麼,將來Docker會幫助我們構建映象。

而描述上述資訊的檔案就是Dockerfile檔案。

Dockerfile就是一個文字檔案,其中包含一個個的指令(Instruction),用指令來說明要執行什麼操作來構建映象。每一個指令都會形成一層Layer。

更新詳細語法說明,請參考官網文件: https://docs.docker.com/engine/reference/builder

3.3.構建Java專案

3.3.2.基於java8構建Java專案

雖然我們可以基於Ubuntu基礎映象,新增任意自己需要的安裝包,構建映象,但是卻比較麻煩。所以大多數情況下,我們都可以在一些安裝了部分軟體的基礎映象上做改造。

例如,構建java專案的映象,可以在已經準備了JDK的基礎映象基礎上構建。

需求:基於java:8-alpine映象,將一個Java專案構建為映象

實現思路如下:

  • ① 新建一個空的目錄,然後在目錄中新建一個檔案,命名為Dockerfile

  • ② 拷貝課前資料提供的docker-demo.jar到這個目錄中

  • ③ 編寫Dockerfile檔案:

    • a )基於java:8-alpine作為基礎映象

    • b )將app.jar拷貝到映象中

    • c )暴露埠

    • d )編寫入口ENTRYPOINT

      內容如下:

      FROM java:8-alpine
      COPY ./app.jar /tmp/app.jar
      EXPOSE 8090
      ENTRYPOINT java -jar /tmp/app.jar
      
  • ④ 使用docker build命令構建映象

  • ⑤ 使用docker run建立容器並執行

3.4.小結

小結:

  1. Dockerfile的本質是一個檔案,通過指令描述映象的構建過程

  2. Dockerfile的第一行必須是FROM,從一個基礎映象來構建

  3. 基礎映象可以是基本作業系統,如Ubuntu。也可以是其他人制作好的映象,例如:java:8-alpine

4.Docker-Compose

Docker Compose可以基於Compose檔案幫我們快速的部署分散式應用,而無需手動一個個建立和執行容器!

4.1.初識DockerCompose

Compose檔案是一個文字檔案,通過指令定義叢集中的每個容器如何執行。格式如下:

version:"3.8"
 services:
mysql:
image:mysql:5.7.25
    environment:
     MYSQL_ROOT_PASSWORD: 123 
volumes:
-"/tmp/mysql/data:/var/lib/mysql"
-"/tmp/mysql/conf/hmy.cnf:/etc/mysql/conf.d/hmy.cnf"
web:
build:.
ports:
- "8090:8090"

上面的Compose檔案就描述一個專案,其中包含兩個容器:

  • mysql:一個基於mysql:5.7.25映象構建的容器,並且掛載了兩個目錄
  • web:一個基於docker build臨時構建的映象容器,對映埠時8090

DockerCompose的詳細語法參考官網:https://docs.docker.com/compose/compose-file/

其實DockerCompose檔案可以看做是將多個docker run命令寫到一個檔案,只是語法稍有差異。

4.2.安裝DockerCompose

參考課前資料

4.3.部署微服務叢集

內容如下:

version: "3.2"

services:
  nacos:
    image: nacos/nacos-server
    environment:
      MODE: standalone
    ports:
      - "8848:8848"
  mysql:
    image: mysql:5.7.25
    environment:
      MYSQL_ROOT_PASSWORD: 123
    volumes:
      - "$PWD/mysql/data:/var/lib/mysql"
      - "$PWD/mysql/conf:/etc/mysql/conf.d/"
  userservice:
    build: ./user-service
  orderservice:
    build: ./order-service
  gateway:
    build: ./gateway
    ports:
      - "10010:10010"

可以看到,其中包含5個service服務:

  • nacos:作為註冊中心和配置中心
    • image: nacos/nacos-server: 基於nacos/nacos-server映象構建
    • environment:環境變數
      • MODE: standalone:單點模式啟動
    • ports:埠對映,這裡暴露了8848埠
  • mysql:資料庫
    • image: mysql:5.7.25:映象版本是mysql:5.7.25
    • environment:環境變數
      • MYSQL_ROOT_PASSWORD: 123:設定資料庫root賬戶的密碼為123
    • volumes:資料卷掛載,這裡掛載了mysql的data、conf目錄,其中有我提前準備好的資料
  • userserviceorderservicegateway:都是基於Dockerfile臨時構建的

4.3.2.修改微服務配置

因為微服務將來要部署為docker容器,而容器之間互聯不是通過IP地址,而是通過容器名。這裡我們將order-service、user-service、gateway服務的mysql、nacos地址都修改為基於容器名的訪問。

如下所示:

spring:
  datasource:
    url: jdbc:mysql://mysql:3306/cloud_order?useSSL=false
    username: root
    password: 123
    driver-class-name: com.mysql.jdbc.Driver
  application:
    name: orderservice
  cloud:
    nacos:
      server-addr: nacos:8848 # nacos服務地址

4.3.3.打包

接下來需要將我們的每個微服務都打包。因為之前檢視到Dockerfile中的jar包名稱都是app.jar,因此我們的每個微服務都需要用這個名稱。

可以通過修改pom.xml中的打包名稱來實現,每個微服務都需要修改:

<build>
  <!-- 服務打包的最終名稱 -->
  <finalName>app</finalName>
  <plugins>
    <plugin>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-maven-plugin</artifactId>
    </plugin>
  </plugins>
</build>

4.3.4.拷貝jar包到部署目錄

編譯打包好的app.jar檔案,需要放到Dockerfile的同級目錄中。注意:每個微服務的app.jar放到與服務名稱對應的目錄,別搞錯了。

4.3.5.部署

最後,我們需要將檔案整個cloud-demo資料夾上傳到虛擬機器中,理由DockerCompose部署。

上傳到任意目錄:

部署:

進入cloud-demo目錄,然後執行下面的命令:

docker-compose up -d

5.Docker映象倉庫

5.1.搭建私有映象倉庫

參考課前資料《CentOS7安裝Docker.md》

5.2.推送、拉取映象

推送映象到私有映象服務必須先tag,步驟如下:

① 重新tag本地映象,名稱字首為私有倉庫的地址:192.168.150.101:8080/

docker tag nginx:latest 192.168.150.101:8080/nginx:1.0 

② 推送映象

docker push 192.168.150.101:8080/nginx:1.0 

③ 拉取映象

docker pull 192.168.150.101:8080/nginx:1.0