Docker的網路模式和如何跨主機通訊
Docker有四種網路模式：Bridge、Host、Container、None，一般常用的是前面兩種，預設的是第一種，不安全的是第二種，以下介紹一下四種網路模式，並重點介紹一下如何配置自己的跨主機通訊網路。
一、網路模式介紹
1、Bridge模式:
預設是這種模式（使用docker run -p時，docker實際是在iptables做了DNAT規則，實現埠轉發功能。可以使用iptables -t nat -vnL檢視），用Rancher工具建立Docker對應的託管模式也屬於這種。當Docker程序啟動時，會在主機上建立一個名為docker0的虛擬網橋，此主機上啟動的Docker容器會連線到這個虛擬網橋上。虛擬網橋的工作方式和物理交換機類似，這樣主機上的所有容器就通過交換機連在了一個二層網路中。
從docker0子網中分配一個IP給容器使用，並設定docker0的IP地址為容器的預設閘道器。在主機上建立一對虛擬網絡卡veth pair裝置，Docker將veth pair裝置的一端放在新建立的容器中，並命名為eth0（容器的網絡卡），另一端放在主機中，以vethxxx這樣類似的名字命名，並將這個網路裝置加入到docker0網橋中。可以通過brctl show命令檢視（該命令可以通過yum install -y bridge-utils安裝）。具體網路架構如下圖所示：
2、Host模式：
如果啟動容器的時候使用host模式，那麼這個容器將不會獲得一個獨立的Network Namespace，而是和宿主機共用一個Network Namespace。容器將不會虛擬出自己的網絡卡，配置自己的IP等，而是使用宿主機的IP和埠。但是，容器的其他方面，如檔案系統、程序列表等還是和宿主機隔離的。具體網路架構如下所示：
3、Container模式
這個模式指定新建立的容器和已經存在的一個容器共享一個 Network Namespace，而不是和宿主機共享。新建立的容器不會建立自己的網絡卡，配置自己的 IP，而是和一個指定的容器共享 IP、埠範圍等。同樣，兩個容器除了網路方面，其他的如檔案系統、程序列表等還是隔離的。兩個容器的程序可以通過 lo 網絡卡裝置通訊。具體網路架構如下所示：
4、None模式
使用none模式，Docker容器擁有自己的Network Namespace，但是，並不為Docker容器進行任何網路配置。也就是說，這個Docker容器沒有網絡卡、IP、路由等資訊。需要我們自己為Docker容器新增網絡卡、配置IP等。Node模式示意圖如下：
5、其他模式
以上4種模板是基本模式，如果使用Rancher（容器編排和管理系統），還能看到託管模式（managed），這種模式是一種複雜網路模式，是通過Rancher在各個主機上部署的network-services/network-manager容器服務進行管理，IP的分配策略完全不同於Bridge。具體的管理機制目前還不清楚，但是這種模式的網路效能是比較差的（我做過一次網路吞吐壓力測試），甚至有時候導致以docker attach或exec命令連線進入容器都很困難。所以從效能角度來考慮，還是推薦使用預設的Bridge模式。
二、跨主機通訊
Docker預設的網路環境下，單臺主機上的Docker容器可以通過docker0網橋直接通訊，而不同主機上的Docker容器之間只能通過在主機上做埠對映進行通訊。這種埠對映方式對很多叢集應用來說可能不方便。如果能讓Docker容器之間直接使用自己的IP地址進行通訊，會解決很多問題。按實現原理可分別直接路由方式、Overlay隧道方式（如flannel、ovs+gre）、橋接方式（如pipework）。
1、直接路由
通過在Docker主機上新增靜態路由實現跨宿主機通訊：
2、隧道方式：Flannel(Flannel + UDP 或者 Flannel + VxLAN)
Flannel實現的容器的跨主機通訊通過如下過程實現：
- 每個主機上安裝並執行etcd和flannel；
- 在etcd中規劃配置所有主機的docker0子網範圍；
- 每個主機上的flanneld根據etcd中的配置，為本主機的docker0分配子網，保證所有主機上的docker0網段不重複，並將結果（即本主機上的docker0子網資訊和本主機IP的對應關係）存入etcd庫中，這樣etcd庫中就儲存了所有主機上的docker子網資訊和本主機IP的對應關係；
- 當需要與其他主機上的容器進行通訊時，查詢etcd資料庫，找到目的容器的子網所對應的outip（目的宿主機的IP）；
- 將原始資料包封裝在VXLAN或UDP資料包中，IP層以outip為目的IP進行封裝；
- 由於目的IP是宿主機IP，因此路由是可達的；
- VXLAN或UDP資料包到達目的宿主機解封裝，解出原始資料包，最終到達目的容器。
Flannel模式如下圖所示：
3、橋接方式（Pipework）
最重要的留在最後說，這種方式是我最喜歡的，因為Pipework是一個簡單易用的Docker容器網路配置工具。由200多行shell指令碼實現。通過使用ip、brctl、ovs-vsctl等命令來為Docker容器配置自定義的網橋、網絡卡、路由等。
- 使用新建的bri0網橋代替預設的docker0網橋（docker0也可以繼續保留，常規容器還是用docker0，而需要互通的容器可以藉助於pipework這個工具給docker容器新建虛擬網絡卡並繫結IP橋接到br0）
- bri0網橋與預設的docker0網橋的區別：bri0和主機eth0之間是veth pair
Pipework橋接方式的示意圖：
以下是用Pipework為docker容器配置獨立IP的方法：
1）安裝pipework
# wget https://github.com/jpetazzo/pipework/archive/master.zip
# unzip master.zip
# cp pipework-master/pipework /usr/local/bin/
# chmod +x /usr/local/bin/pipework
2）run一個容器（一般是網路模式為None，如果不為None也行，經過以下操作後形成雙網絡卡或多網絡卡）
通過docker ps檢視這個容器的Name，我測試用的是：r-myTest-myImage2-1-54991b1a
3）給宿主機建立網橋
[[email protected] ~]# vi /etc/sysconfig/network-scripts/ifcfg-br0
TYPE="Bridge"
BOOTPROTO=static
IPADDR=172.17.2.131
NETMASK=255.255.255.0
GATEWAY=172.17.2.1
PREFIX=24
DNS1=8.8.8.8
DNS2=114.114.114.114
NAME=br0
ONBOOT=yes
DEVICE=br0
4）設定物理網絡卡橋接到網橋（標紅的內容加註釋或新增）
[[email protected] ~]# vi /etc/sysconfig/network-scripts/ifcfg-eno16777736
TYPE=Ethernet
#BOOTPROTO=static
#IPADDR=172.17.2.131
#NETMASK=255.255.255.0
#GATEWAY=172.17.2.1
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
NAME=eno16777736
DEVICE=eno16777736
ONBOOT=yes
#DNS1=8.8.8.8
PEERDNS=yes
PEERROUTES=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_PRIVACY=no
BRIDGE="br0"
以上設定完畢可以通過命令service network restart重啟網路，使之生效
5）通過brctl show，檢視新建的網橋（標紅的）
[[email protected] ~]# brctl show
bridge name bridge id STP enabled interfaces
br0 8000.005056842f3f no eno16777736
veth1pl87980
docker0 8000.024202f83b04 no veth7ef0d8f
vethb559941
vethr1c49ea0c4f
vethr89fb5f9e4b
6）pipework容器的IP（直接建立個與宿主機同網段未被使用的IP）
pipework br0 r-myTest-myImage2-1-54991b1a 172.17.2.134/[email protected]
再到該容器下ifconfig一下，就能看到新建立的網絡卡了：
通過宿主機也能直接ping通
