2. 程式人生 > >Docker核心技術以及實現原理

Docker核心技術以及實現原理

阿新 • • 發佈：2018-12-30

Docker的出現，為後端開發和運維提供了虛擬化技術，優雅地解決了開發環境和生產環境不一致的問題。本文總結了下Docker使用的核心技術和工作機理，為了往後能夠學習地更透徹。

這裡寫圖片描述

Namespaces

名稱空間可以有效地幫助Docker分離程序樹、網路介面、掛載點以及程序間通訊等資源。Linux 的名稱空間機制提供了以下七種不同的名稱空間，包括 CLONE_NEWCGROUP、CLONE_NEWIPC、CLONE_NEWNET、CLONE_NEWNS、CLONE_NEWPID、CLONE_NEWUSER 和 CLONE_NEWUTS，通過這七個選項我們能在建立新的程序時設定新程序應該在哪些資源上與宿主機器進行隔離。

程序

$ ps -ef
UID        PID  PPID  C STIME TTY          TIME CMD
root         1     0  0 Apr08 ?        00:00:09 /sbin/init
root         2     0  0 Apr08 ?        00:00:00 [kthreadd]
root         3     2  0 Apr08 ?        00:00:05 [ksoftirqd/0]
root         5     2  0 Apr08 ?        00:00:00 [kworker/0:0H]
root         7     2  0 Apr08
 
 ?        00:07:10 [rcu_sched]
root        39     2  0 Apr08 ?        00:00:00 [migration/0]

當前機器上有很多的程序正在執行，在上述程序中有兩個非常特殊，一個是 pid 為 1 的 /sbin/init 程序，另一個是 pid 為 2 的 kthreadd 程序，這兩個程序都是被 Linux 中的上帝程序 idle 創建出來的，其中前者負責執行核心的一部分初始化工作和系統配置，也會建立一些類似 getty 的註冊程序，而後者負責管理和排程其他的核心程序。
這裡寫圖片描述
如果我們在當前的 Linux 作業系統下執行一個新的 Docker 容器，並通過 exec 進入其內部的 bash 並列印其中的全部程序，我們會得到以下的結果：

root@iZ255w13cy6Z:~# docker run -it -d ubuntu
b809a2eb3630e64c581561b08ac46154878ff1c61c6519848b4a29d412215e79
root@iZ255w13cy6Z:~# docker exec -it b809a2eb3630 /bin/bash
root@b809a2eb3630:/# ps -ef
UID        PID  PPID  C STIME TTY          TIME CMD
root         1     0  0 15:42 pts/0    00:00:00 /bin/bash
root         9     0  0 15:42 pts/1    00:00:00 /bin/bash
root        17     9  0 15:43 pts/1    00:00:00 ps -ef

當前的 Docker 容器成功將容器內的程序與宿主機器中的程序隔離，如果我們在宿主機器上列印當前的全部程序時，會得到下面三條與 Docker 相關的結果：

UID        PID  PPID  C STIME TTY          TIME CMD
root     29407     1  0 Nov16 ?        00:08:38 /usr/bin/dockerd --raw-logs
root      1554 29407  0 Nov19 ?        00:03:28 docker-containerd -l unix:///var/run/docker/libcontainerd/docker-containerd.sock --metrics-interval=0 --start-timeout 2m --state-dir /var/run/docker/libcontainerd/containerd --shim docker-containerd-shim --runtime docker-runc
root      5006  1554  0 08:38 ?        00:00:00 docker-containerd-shim b809a2eb3630e64c581561b08ac46154878ff1c61c6519848b4a29d412215e79 /var/run/docker/libcontainerd/b809a2eb3630e64c581561b08ac46154878ff1c61c6519848b4a29d412215e79 docker-runc

在當前的宿主機器上，可能就存在由上述的不同程序構成的程序樹：
這裡寫圖片描述
這就是在使用 clone(2) 建立新程序時傳入 CLONE_NEWPID 實現的，也就是使用 Linux 的名稱空間實現程序的隔離，Docker 容器內部的任意程序都對宿主機器的程序一無所知。

containerRouter.postContainersStart
└── daemon.ContainerStart
    └── daemon.createSpec
        └── setNamespaces
            └── setNamespace

Docker 的容器就是使用上述技術實現與宿主機器的程序隔離，當我們每次執行 docker run 或者 docker start 時，都會在下面的方法中建立一個用於設定程序間隔離的 Spec：

func (daemon *Daemon) createSpec(c *container.Container) (*specs.Spec, error) {
    s := oci.DefaultSpec()

    // ...
    if err := setNamespaces(daemon, &s, c); err != nil {
        return nil, fmt.Errorf("linux spec namespaces: %v", err)
    }

    return &s, nil
}

網路

如果 Docker 的容器通過 Linux 的名稱空間完成了與宿主機程序的網路隔離，但是卻有沒有辦法通過宿主機的網路與整個網際網路相連，就會產生很多限制，所以 Docker 雖然可以通過名稱空間建立一個隔離的網路環境，但是 Docker 中的服務仍然需要與外界相連才能發揮作用。

每一個使用 docker run 啟動的容器其實都具有單獨的網路名稱空間，Docker 為我們提供了四種不同的網路模式，Host、Container、None 和 Bridge 模式。

網橋模式

在這種模式下，Docker 會為所有的容器設定 IP 地址。當 Docker 伺服器在主機上啟動之後會建立新的虛擬網橋 docker0，隨後在該主機上啟動的全部服務在預設情況下都與該網橋相連。
這裡寫圖片描述

在預設情況下，每一個容器在建立時都會建立一對虛擬網絡卡，兩個虛擬網絡卡組成了資料的通道，其中一個會放在建立的容器中，會加入到名為 docker0 網橋中。我們可以使用如下的命令來檢視當前網橋的介面：

$ brctl show
bridge name bridge id       STP enabled interfaces
docker0     8000.0242a6654980   no      veth3e84d4f
                                        veth9953b75

docker0 會為每一個容器分配一個新的 IP 地址並將 docker0 的 IP 地址設定為預設的閘道器。網橋 docker0 通過 iptables 中的配置與宿主機器上的網絡卡相連，所有符合條件的請求都會通過 iptables 轉發到 docker0 並由網橋分發給對應的機器。

$ iptables -t nat -L
Chain PREROUTING (policy ACCEPT)
target     prot opt source               destination
DOCKER     all  --  anywhere             anywhere             ADDRTYPE match dst-type LOCAL

Chain DOCKER (2 references)
target     prot opt source               destination
RETURN     all  --  anywhere             anywhere

我們在當前的機器上使用 docker run -d -p 6379:6379 redis 命令啟動了一個新的 Redis 容器，在這之後我們再檢視當前 iptables 的 NAT 配置就會看到在 DOCKER 的鏈中出現了一條新的規則：

DNAT       tcp  --  anywhere             anywhere             tcp dpt:6379 to:192.168.0.4:6379

上述規則會將從任意源傳送到當前機器 6379 埠的 TCP 包轉發到 192.168.0.4:6379 所在的地址上。

這個地址其實也是 Docker 為 Redis 服務分配的 IP 地址，如果我們在當前機器上直接 ping 這個 IP 地址就會發現它是可以訪問到的：

$ ping 192.168.0.4
PING 192.168.0.4 (192.168.0.4) 56(84) bytes of data.
64 bytes from 192.168.0.4: icmp_seq=1 ttl=64 time=0.069 ms
64 bytes from 192.168.0.4: icmp_seq=2 ttl=64 time=0.043 ms
^C
--- 192.168.0.4 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 999ms
rtt min/avg/max/mdev = 0.043/0.056/0.069/0.013 ms

從上述的一系列現象，我們就可以推測出 Docker 是如何將容器的內部的埠暴露出來並對資料包進行轉發的了；當有 Docker 的容器需要將服務暴露給宿主機器，就會為容器分配一個 IP 地址，同時向 iptables 中追加一條新的規則。
這裡寫圖片描述
當我們使用 redis-cli 在宿主機器的命令列中訪問 127.0.0.1:6379 的地址時，經過 iptables 的 NAT PREROUTING 將 ip 地址定向到了 192.168.0.4，重定向過的資料包就可以通過 iptables 中的 FILTER 配置，最終在 NAT POSTROUTING 階段將 ip 地址偽裝成 127.0.0.1，到這裡雖然從外面看起來我們請求的是 127.0.0.1:6379，但是實際上請求的已經是 Docker 容器暴露出的埠了。

$ redis-cli -h 127.0.0.1 -p 6379 ping
PONG

Docker 通過 Linux 的名稱空間實現了網路的隔離，又通過 iptables 進行資料包轉發，讓 Docker 容器能夠優雅地為宿主機器或者其他容器提供服務。

掛載點

Docker 容器中的程序仍然能夠訪問或者修改宿主機器上的其他目錄，這是我們不希望看到的。

在新的程序中建立隔離的掛載點名稱空間需要在 clone 函式中傳入 CLONE_NEWNS，這樣子程序就能得到父程序掛載點的拷貝，如果不傳入這個引數子程序對檔案系統的讀寫都會同步回父程序以及整個主機的檔案系統。

如果一個容器需要啟動，那麼它一定需要提供一個根檔案系統（rootfs），容器需要使用這個檔案系統來建立一個新的程序，所有二進位制的執行都必須在這個根檔案系統中。
這裡寫圖片描述
想要正常啟動一個容器就需要在 rootfs 中掛載以上的幾個特定的目錄，除了上述的幾個目錄需要掛載之外我們還需要建立一些符號連結保證系統 IO 不會出現問題。
這裡寫圖片描述

為了保證當前的容器程序沒有辦法訪問宿主機器上其他目錄，我們在這裡還需要通過 libcontainer 提供的 pivot_root 或者 chroot 函式改變程序能夠訪問個檔案目錄的根節點。

// pivor_root
put_old = mkdir(...);
pivot_root(rootfs, put_old);
chdir("/");
unmount(put_old, MS_DETACH);
rmdir(put_old);

// chroot
mount(rootfs, "/", NULL, MS_MOVE, NULL);
chroot(".");
chdir("/");

到這裡我們就將容器需要的目錄掛載到了容器中，同時也禁止當前的容器程序訪問宿主機器上的其他目錄，保證了不同檔案系統的隔離。

CGroups

我們通過 Linux 的名稱空間為新建立的程序隔離了檔案系統、網路並與宿主機器之間的程序相互隔離，但是名稱空間並不能夠為我們提供物理資源上的隔離，比如 CPU 或者記憶體，如果在同一臺機器上運行了多個對彼此以及宿主機器一無所知的『容器』，這些容器卻共同佔用了宿主機器的物理資源。
這裡寫圖片描述
如果其中的某一個容器正在執行 CPU 密集型的任務，那麼就會影響其他容器中任務的效能與執行效率，導致多個容器相互影響並且搶佔資源。如何對多個容器的資源使用進行限制就成了解決程序虛擬資源隔離之後的主要問題，而 Control Groups（簡稱 CGroups）就是能夠隔離宿主機器上的物理資源，例如 CPU、記憶體、磁碟 I/O 和網路頻寬。

每一個 CGroup 都是一組被相同的標準和引數限制的程序，不同的 CGroup 之間是有層級關係的，也就是說它們之間可以從父類繼承一些用於限制資源使用的標準和引數。

這裡寫圖片描述
Linux 的 CGroup 能夠為一組程序分配資源，也就是我們在上面提到的 CPU、記憶體、網路頻寬等資源，通過對資源的分配，CGroup 能夠提供以下的幾種功能：
這裡寫圖片描述

在 CGroup 中，所有的任務就是一個系統的一個程序，而 CGroup 就是一組按照某種標準劃分的程序，在 CGroup 這種機制中，所有的資源控制都是以 CGroup 作為單位實現的，每一個程序都可以隨時加入一個 CGroup 也可以隨時退出一個 CGroup。
Linux 使用檔案系統來實現 CGroup，我們可以直接使用下面的命令檢視當前的 CGroup 中有哪些子系統：

$ lssubsys -m
cpuset /sys/fs/cgroup/cpuset
cpu /sys/fs/cgroup/cpu
cpuacct /sys/fs/cgroup/cpuacct
memory /sys/fs/cgroup/memory
devices /sys/fs/cgroup/devices
freezer /sys/fs/cgroup/freezer
blkio /sys/fs/cgroup/blkio
perf_event /sys/fs/cgroup/perf_event
hugetlb /sys/fs/cgroup/hugetlb

大多數 Linux 的發行版都有著非常相似的子系統，而之所以將上面的 cpuset、cpu 等東西稱作子系統，是因為它們能夠為對應的控制組分配資源並限制資源的使用。

如果我們想要建立一個新的 cgroup 只需要在想要分配或者限制資源的子系統下面建立一個新的資料夾，然後這個資料夾下就會自動出現很多的內容，如果你在 Linux 上安裝了 Docker，你就會發現所有子系統的目錄下都有一個名為 docker 的資料夾：

$ ls cpu
cgroup.clone_children  
...
cpu.stat  
docker  
notify_on_release 
release_agent 
tasks

$ ls cpu/docker/
9c3057f1291b53fd54a3d12023d2644efe6a7db6ddf330436ae73ac92d401cf1 
cgroup.clone_children  
...
cpu.stat  
notify_on_release 
release_agent 
tasks

9c3057xxx 其實就是我們執行的一個 Docker 容器，啟動這個容器時，Docker 會為這個容器建立一個與容器識別符號相同的 CGroup，在當前的主機上 CGroup 就會有以下的層級關係：
這裡寫圖片描述
每一個 CGroup 下面都有一個 tasks 檔案，其中儲存著屬於當前控制組的所有程序的 pid，作為負責 cpu 的子系統，cpu.cfs_quota_us 檔案中的內容能夠對 CPU 的使用作出限制，如果當前檔案的內容為 50000，那麼當前控制組中的全部程序的 CPU 佔用率不能超過 50%。

如果系統管理員想要控制 Docker 某個容器的資源使用率就可以在 docker 這個父控制組下面找到對應的子控制組並且改變它們對應檔案的內容，當然我們也可以直接在程式執行時就使用引數，讓 Docker 程序去改變相應檔案中的內容。

$ docker run -it -d --cpu-quota=50000 busybox
53861305258ecdd7f5d2a3240af694aec9adb91cd4c7e210b757f71153cdd274
$ cd 53861305258ecdd7f5d2a3240af694aec9adb91cd4c7e210b757f71153cdd274/
$ ls
cgroup.clone_children  cgroup.event_control  cgroup.procs  cpu.cfs_period_us  cpu.cfs_quota_us  cpu.shares  cpu.stat  notify_on_release  tasks
$ cat cpu.cfs_quota_us
50000

當我們使用 Docker 關閉掉正在執行的容器時，Docker 的子控制組對應的資料夾也會被 Docker 程序移除，Docker 在使用 CGroup 時其實也只是做了一些建立資料夾改變檔案內容的檔案操作，不過 CGroup 的使用也確實解決了我們限制子容器資源佔用的問題，系統管理員能夠為多個容器合理的分配資源並且不會出現多個容器互相搶佔資源的問題。

相關推薦

Docker核心技術以及實現原理

Docker的出現，為後端開發和運維提供了虛擬化技術，優雅地解決了開發環境和生產環境不一致的問題。本文總結了下Docker使用的核心技術和工作機理，為了往後能夠學習地更透徹。 Namespaces 名稱空間可以有效地幫助Docker分離程序樹

Docker 核心技術與實現原理

提到虛擬化技術，我們首先想到的一定是 Docker，經過四年的快速發展 Docker 已經成為了很多公司的標配，也不再是一個只能在開發階段使用的玩具了。作為在生產環境中廣泛應用的產品，Docker 有著非常成熟的社群以及大量的使用者，程式碼庫中的內容也變得非常龐

Docker學習總結（29）——Docker核心技術與實現原理

提到虛擬化技術，我們首先想到的一定是 Docker，經過四年的快速發展 Docker 已經成為了很多公司的標配，也不再是一個只能在開發階段使用的玩具了。作為在生產環境中廣泛應用的產品，Docker 有著非常成熟的社群以及大量的使用者，程式碼庫中的內容也變得非常龐大。同樣，由於

Docker 核心技術與實現原理(轉載)

原文地址：https://draveness.me/docker 提到虛擬化技術，我們首先想到的一定是 Docker，經過四年的快速發展 Docker 已經成為了很多公司的標配，也不再是一個只能在開發階段使用的玩具了。作為在生產環境中廣泛應用的產品，Docker 有著非常成熟的社群以及大量的使用

Docker（一）：Docker核心技術預覽

docker開始學習docker了，想寫一篇docker技術介紹的純理論文章，發現以下網站的文檔寫的特別好，就直接引用了，文章轉載自：http://www.infoq.com/cn/DockerDeep http://www.infoq.com/cn/articles/docker-core-technolo

EJB2.0教程 詳解EJB技術及實現原理

tee nsa 普通 事情 println 配置 ransac 教程 聲明 EJB是什麽呢?EJB是一個J2EE體系中的組件.再簡單的說它是一個能夠遠程調用的javaBean.它同普通的javaBean有兩點不同.第一點,就是遠程調用.第二點,就是事務的功能,我們在EJB中

Docker鏡像的實現原理

修改 利用 一個 不同的 post 另一個 就是 不變 不同 Docker 鏡像是怎麽實現增量的修改和維護的？ 每個鏡像都由很多層次構成，Docker 使用 Union FS 將這些不同的層結合到一個鏡像中去。 通常 Union FS 有兩個用途, 一方面可以實現不借助

直播平臺運營的技術和實現原理

直播源碼陌陌的財報、微吼直播的轉型，不管怎麽看都是直播再一次掀起熱潮的信號，直播源碼的需求更在這時達到了巔峰。但是，你知道直播平臺運營的技術和實現原理嗎？ 下面就是重點內容了哦：一個朋友破解了AirPlay和Chromecast協議，然後開發了一套技 術能夠截獲和播放任何手機（iOS或是Android）屏幕上

磁盤管理和LVM技術以及實現磁盤配額

磁盤管理一、實現硬盤管理本節操作要求：a.為主機新增一塊20GB的SCSI硬盤b.對該硬盤進行分區：①劃分兩個主分區，各5GB，剩余空間作為擴展分區②在擴展分區中建立兩個邏輯分區，分別是2GB和5GB③將第一個邏輯分區類型改為swap④確認分區設置情況，保存退出c.使用partprobe探測硬盤分區的變化

Docker02：Docker核心技術探索(3)網絡命名空間和網絡隔離

net running all pack 網卡 roo span 命名空間 collision 在Docker中可以為Docker容器創建與原始宿主系統以及其它容器中的虛擬系統之間相互隔離的虛擬網絡環境。 Docker的網絡分為以下幾種模式： (1)bridge模式。這將配

2018年7月新品尚家docker核心技術教程--大牛編程吧-程序員編程入門聖地

教程 加速器 -c tomcat 自定義 安裝 uil 理念 file 2018年7月新品尚家docker核心技術教程--大牛編程吧-程序員編程入門聖地2018年7月新品尚家docker核心技術教程--大牛編程吧-程序員編程入門聖地 02_Docker_為什麽會出現.avi

Docker核心技術理解（一）

Docker的出現是近十年軟體工程領域最大的革命，Docker的技術完全可以重鑄整個軟體開發測試運維等軟體部署的各個方面。 以前的虛擬化技術如VMware，OpenStack一般都是重量級的虛擬化，以VMware為例，首先的需要VMware這套軟體，在這基礎之上安裝具體的作業系統（比如ubantu映

Docker核心技術（一）

Docker核心技術 1.Docker的簡介 1）前提知識和課程定位 2）什麼是Docker 3）Docker能幹什麼？ (1)之前的虛擬機器技術 (2)容器虛擬化技術 (3)開發/運維（DevOp

Docker核心技術（二）

Docker核心技術 Docker的常用命令 幫助命令 映象命令 docker images docker search docker pull 容器命令 1.拉取映象

Docker核心技術（四）

Docker核心技術 DockerFile體系結構 自定義Tomcat9 Docker常用安裝 總體步驟： 安裝Mysql 安裝Redis 本地映象釋出到阿里雲 DockerFile體系結構

Docker核心技術（三）

Docker核心技術 Docker容器資料卷 Docker容器資料卷是什麼？ Docker容器資料卷能幹嘛？ Docker容器資料卷的實操 直接命令新增 DockerFile新增 資料卷容器

字尾樹系列一:概念以及實現原理（ the Ukkonen algorithm）

首先說明一下字尾樹系列一共會有三篇文章，本文先介紹基本概念以及如何線性時間內構件字尾樹，第二篇文章會詳細介紹怎麼實現字尾樹（包含實現程式碼），第三篇會著重談一談字尾樹的應用。   本文分為三個部分， 首先介紹一下字尾樹的“前身”– trie樹以及字

HashMap詳談以及實現原理

原文連結：https://www.cnblogs.com/KongkOngL/p/6833518.html                   https://www.cnblogs.com/xwdreame

微服務架構的核心要點和實現原理

微服務架構中職能團隊的劃分 傳統單體架構將系統分成具有不同職責的層次，對應的專案管理也傾向於將大的團隊分成不同的職能團隊，主要包括：使用者互動UI團隊、後臺業務邏輯處理團隊與資料存取ORM團隊、DBA團隊等。每個團隊只對自己分層的職責負責，並對使用方提供元件服務質量保證

slf4j介紹以及實現原理窺探

一、概述 　　slf4j(全稱是Simple Loging Facade For Java)是一個為Java程式提供日誌輸出的統一介面，並不是一個具體的日誌實現方案，就好像我們經常使用的JDBC一樣，只是一種規則而已。因此單獨的slf4j是不能工作的，它必須搭配其他具體的日誌實現方案，比如apache的or