Docker鏡像原理(轉載)
阿新 • • 發佈:2018-12-28
本地 基本操作 wid 運行時 註釋 重復 命令執行 int size
參考鏈接:http://dockone.io/article/1513
一 鏡像基本操作
鏡像是一個包含程序運行必要依賴環境和代碼的只讀文件,其本質是磁盤上一系列文件的集合。它采用分層的文件系統,將每一次改變以讀寫層的形式增加到原來的只讀文件上。鏡像是容器運行的基石。1.1 搜索鏡像
docker命令必須具備root權限,普通用戶可是用那個sudo。 提示:docker默認的Docker Hub 網址為: https://hub.docker.com/,速度很慢,建議添加國內的阿裏雲加速器,參考004-4.1。 選項說明: NAME:鏡像倉庫源的名稱 DESCRIPTION:鏡像的描述 OFFICIAL:是否docker官方發布 AUTOMATED:是否使用了自動構建1.2 下載(拉取)鏡像
提示: Registry:倉庫,Registry包含一個或多個Repository Repository:系列,Repository包含一個或多個Image Tag and Image:Image用GUID表示,有一個或多個Tag與之關聯,版本號。1.3 列出(查看)本地鏡像
選項說明:- REPOSTITORY:表示鏡像的倉庫源,有以下類型:
- [namespace/centos]:由命名空間和實際的倉庫名稱組成。
- [centos]:只有倉庫名。屬於頂級命名空間,只用於官方鏡像。
- [dl.dockerpool.com:5000\centos:7]:指定URL路徑的方式。
- TAG:鏡像的標簽
- 未指定鏡像tag時,默認為latest,但latest沒有任何特殊含義,人為的將latest作為最新穩定版本的別名;
- 一個repository可以有多個tag,而多個tag也可能對應同一個鏡像。
- IMAGE ID:鏡像ID
- CREATED:鏡像創建時間
- SIZE:鏡像大小
1.4 推送鏡像
提示:推送鏡像之前必須配置好倉庫信息。建議推送至個人私有倉庫,同時采用國內阿裏雲私有倉庫,配置方法見《附001-docker阿裏雲Registry配置》。1.5 導出鏡像
1.6 導入鏡像
1.7 刪除鏡像
1.8 設置鏡像標簽
二 docker文件系統
2.1 Linux文件系統簡介
linux文件系統由bootfs和rootfs組成,bootfs主要包含bootloader和kernel,bootloader主要是引導加載kernel,當kernel被加載到內存之後bootfs就被卸載掉了。rootfs包含的就是典型linux系統中/dev,/proc,/bin,/etc等標準目錄。2.2 docker文件系統
Docker容器是建立在Aufs基礎上的,Aufs支持將不同的目錄掛載到同一個虛擬文件系統下,並實現一種layer的概念。Aufs將掛載到同一虛擬文件系統下的多個目錄分別設置成read-only,read-write以及whiteout-able權限。 read-only目錄只能讀,而寫操作只能在read-write目錄中實現。 寫操作是在read-only之上的一種增量操作,不影響read-only目錄。 docker 鏡像中每一層文件系統都是read-only。 提示:當掛載目錄的時候要嚴格按照各目錄之間的這種增量關系,將被增量操作的目錄優先於在它基礎上增量操作的目錄掛載,待所有目錄掛載結束了,繼續掛載一個read-write目錄,如此便形成了一種層次結構。2.3 docker鏡像原理
在構建鏡像時,從一個最基本的操作系統開始,每個構建的操作都相當於做一層修改,增加了一層文件系統,一層層往上疊加,上層的修改會覆蓋底層該位置的可見性。當使用時,只會看到一個完全的整體,總共有多少層以及每層所做的修改都是透明的。 docker image 中最基礎的兩層結構: 不同的 linux 發行版(如 ubuntu 和 CentOS ) 在 rootfs 這一層會有所區別,體現發行版本的差異性: 傳統的 Linux 加載 bootfs 時會將 rootfs 設為 read-only,然後在系統自檢後將 rootfs 從 read-only改為 read-write,然後可在 rootfs 上進行讀寫操作。 Docker相比在 bootfs 自檢完畢之後不會將 rootfs 的 read-only 改為 read-write,而是利用 union mount(UnionFS 的一種掛載機制)將 image 中其他的 layer 加載到之前的 read-only 的 rootfs 層之上,每一層 layer 都是 rootfs 的結構,並且是read-only 的。因此,無法修改一個已有鏡像裏面的 layer層數據,只有當創建一個容器,即將 Docker 鏡像進行實例化後,系統會分配一層空的 read-write 的 rootfs ,用於提供數據修改。三 鏡像結構
3.1 image結構
docker image的layer組織方式通常由 json、layer.tar、VERSION組成。 解釋:repositories 文件,裏面是一個 JSON 定義,保存了三個信息:鏡像名字、tag、tag 對應的 layer。 解釋:主要關於鏡像的配置信息,簡要部分信息如上。 解釋:包括一個類 Linux 文件目錄的結構,保存著這個 layer 所做的修改。四 Dockerfile、Docker鏡像和Docker容器
4.1 關系
Dockerfile 是軟件的原材料,Docker 鏡像是軟件的交付品,而 Docker 容器則可以認為是軟件的運行態。從應用軟件的角度來看,Dockerfile、Docker 鏡像與 Docker 容器分別代表軟件的三個不同階段,Dockerfile 面向開發,Docker 鏡像成為交付標準,Docker 容器則涉及部署與運維。 Dockerfile構建出Docker鏡像,通過Docker鏡像運行Docker容器。 參考鏈接:http://dockone.io/article/783 https://blog.csdn.net/xuguokun1986/article/details/79295947五 docker存儲驅動
Docker最開始采用AUFS作為文件系統,也得益於AUFS分層的概念,實現了多個Container可以共享同一個image。但由於AUFS未並入Linux內核,且只支持Ubuntu,考慮到兼容性問題,在Docker 0.7版本中引入了存儲驅動, 目前,Docker支持AUFS、Btrfs、Device mapper、OverlayFS、ZFS五種存儲驅動。5.1 底層技術
- 寫時復制(CoW)
- 用時分配(allocate-on-demand)
5.2 AUFS
AUFS(AnotherUnionFS)是一種Union FS,是文件級的存儲驅動。AUFS能透明覆蓋一個或多個現有文件系統的層狀文件系統,把多層合並成文件系統的單層表示。即支持將不同目錄掛載到同一個虛擬文件系統下的文件系統。 這種文件系統可以一層一層地疊加修改文件。無論底下有多少層都是只讀的,只有最上層的文件系統是可寫的。當需要修改一個文件時,AUFS創建該文件的一個副本,使用CoW將文件從只讀層復制到可寫層進行修改,結果也保存在可寫層。 在Docker中,底下的只讀層就是image,可寫層就是Container。結構如下圖所示:5.3 OverlayFS
Overlay是Linux內核3.18後支持的,也是一種Union FS,和AUFS的多層不同的是Overlay只有兩層:一個upper文件系統和一個lower文件系統,分別代表Docker的鏡像層和容器層。當需要修改一個文件時,使用CoW將文件從只讀的lower復制到可寫的upper進行修改,結果也保存在upper層。在Docker中,底下的只讀層就是image,可寫層就是Container。5.4 Device mapper
Device mapper是Linux內核2.6.9後支持的,提供的一種從邏輯設備到物理設備的映射框架機制,在該機制下,用戶可根據需要制定實現存儲資源的管理策略。 不同於AUFS和OverlayFS的文件級存儲,Device mapper是塊級存儲,所有的操作都是直接對塊進行操作,而不是文件。 Device mapper驅動會先在塊設備上創建一個資源池,然後在資源池上創建一個帶有文件系統的基本設備,所有鏡像都是這個基本設備的快照,而容器則是鏡像的快照。 所以在容器裏看到文件系統是資源池上基本設備的文件系統的快照,並不有為容器分配空間。當要寫入一個新文件時,在容器的鏡像內為其分配新的塊並寫入數據,即用時分配。當要修改已有文件時,再使用CoW為容器快照分配塊空間,將要修改的數據復制到在容器快照中新的塊裏再進行修改。 Device mapper 驅動默認會創建一個100G的文件包含鏡像和容器。每一個容器被限制在10G大小的卷內,大小可配置調整。5.5 Btrfs
Btrfs被稱為下一代寫時復制文件系統,並入Linux內核,也是文件級級存儲,但可以像Device mapper直接操作底層設備。 Btrfs把文件系統的一部分配置為一個完整的子文件系統,稱之為subvolume 。那麽采用 subvolume,一個大的文件系統可以被劃分為多個子文件系統,這些子文件系統共享底層的設備空間,在需要磁盤空間時便從底層設備中分配。 為了靈活利用設備空間,Btrfs 將磁盤空間劃分為多個chunk 。每個chunk可以使用不同的磁盤空間分配策略。比如某些chunk只存放metadata,某些chunk只存放數據。這種模型有很多優點,比如Btrfs支持動態添加設備。 用戶在系統中增加新的磁盤之後,可以使用Btrfs的命令將該設備添加到文件系統中。 Btrfs把一個大的文件系統當成一個資源池,配置成多個完整的子文件系統,還可以往資源池裏加新的子文件系統,而基礎鏡像則是子文件系統的快照,每個子鏡像和容器都有自己的快照,這些快照則都是subvolume的快照。 當寫入一個新文件時,為在容器的快照裏為其分配一個新的數據塊,文件寫在這個空間裏,這個叫用時分配。而當要修改已有文件時,使用CoW復制分配一個新的原始數據和快照,在這個新分配的空間變更數據,變結束再更新相關的數據結構指向新子文件系統和快照,原來的原始數據和快照沒有指針指向,被覆蓋。5.6 ZFS
ZFS 文件系統是一個革命性的全新的文件系統,它從根本上改變了文件系統的管理方式,ZFS 完全拋棄了“卷管理”,不再創建虛擬的卷,而是把所有設備集中到一個存儲池中來進行管理,用“存儲池”的概念來管理物理存儲空間。過去,文件系統都是構建在物理設備之上的。為了管理這些物理設備,並為數據提供冗余,“卷管理”的概念提供了一個單設備的映像。而ZFS創建在虛擬的,被稱為“zpools”的存儲池之上。每個存儲池由若幹虛擬設備(virtual devices,vdevs)組成。這些虛擬設備可以是原始磁盤,也可能是一個RAID1鏡像設備,或是非標準RAID等級的多磁盤組。於是zpool上的文件系統可以使用這些虛擬設備的總存儲容量。 Docker裏ZFS的使用。首先從zpool裏分配一個ZFS文件系統給鏡像的基礎層,而其他鏡像層則是這個ZFS文件系統快照的克隆,快照是只讀的,而克隆是可寫的,當容器啟動時則在鏡像的最頂層生成一個可寫層。如下圖所示: 當要寫一個新文件時,使用按需分配,一個新的數據快從zpool裏生成,新的數據寫入這個塊,而這個新空間存於容器(ZFS的克隆)裏。 當要修改一個已存在的文件時,使用寫時復制,分配一個新空間並把原始數據復制到新空間完成修改。5.7 存儲驅動的對比及適應場景
5.8 修改docker存儲驅動類型
六 創建鏡像
從鏡像倉庫中下載的鏡像若不能滿足需求,可通過以下兩種方式對鏡像進行更改。- 從已經創建的容器中更新鏡像,並且提交這個鏡像
- 使用 Dockerfile 指令來創建一個新的鏡像
6.1 更新鏡像並提交
- 運行容器
- 修改容器
- 將容器保存為新的鏡像
- -m:提交的描述信息
- -a:指定鏡像作者
- 01b2b251e216 :容器ID
- centos-7-01:指定要創建的目標鏡像名
- 手動創建,容易出錯,效率低及可重復性弱
- 使用者並不知道鏡像是如何創建出來的,裏面是否有惡意程序,可能存在案例隱患
6.2 Dockerfile構建鏡像舉例
語句說明: 第一條FROM,指定所采用的鏡像源,每一個指令的前綴都必須是大寫的; RUN 指令表示docker在鏡像內執行的命令,更多詳見七Dockerfile詳解。 參數說明:- -t :指定要創建的目標鏡像名
- /dockerfiles/:Dockerfile 文件所在目錄
七 Dockerfile詳解
7.1 Dockerfile典型結構
7.2 Dockerfile相關指令
- 指令:From
- FROM必須是 Dockerfile 中非註釋行的第一個指令,即一個 Dockerfile 從FROM語句開始。
- 如果有需求在一個 Dockerfile 中創建多個鏡像,則FROM可以在一個 Dockerfile 中出現多次。
- 如果FROM語句沒有指定鏡像標簽,則默認使用latest標簽。
- 指令:MAINTAINER
- 指令:RUN
- 指令:CMD
- 指令:ENTRYPOINT
- 指令:ADD
- 指令:COPY
- 指令:EXPOSE
- 指令:ENV
- 指令:VOLUME
- 指令:WORKDIR
- 指令:USER
- 指令:ONBUILD
- 指令:HEALTHCHECK
- interval=<間隔> :兩次健康檢查的間隔,默認為 30 秒;
- timeout=<時長> :健康檢查命令運行超時時間,如果超過這個時間,本次健康檢查就被視為失敗,默認 30 秒;
- retries=<次數> :當連續失敗指定次數後,則將容器狀態視為 unhealthy ,默認 3 次。
7.3 dockerfile最佳實踐
- 使用.dockerignore文件
- 避免安裝不必要的軟件包
- 每個容器都跑一個進程
- 最小化層
- 多行參數排序
- 盡可能清理不必要的文件
Docker鏡像原理(轉載)