1. 程式人生 > >Flannel配置詳解

Flannel配置詳解

lower bytes 轉發 實現 anr 流向 服務 端口映射 agen

目錄

  • 1、簡介
  • 2、Flannel實現原理
    • 2.1、原理說明
    • 2.2、數據轉發流程
  • 3、Flannel安裝配置
    • 3.1、環境準備
    • 3.2、安裝etcd
    • 3.3、安裝Flannel
    • 3.4、啟動Flannel
    • 3.5、驗證Flannel網絡
    • 3.6、配置Docker
    • 3.7、驗證容器互通
    • 3.8、配置backend為host-gw

1、簡介

Flannel是一種基於overlay網絡的跨主機容器網絡解決方案,也就是將TCP數據包封裝在另一種網絡包裏面進行路由轉發和通信,

Flannel是CoreOS開發,專門用於docker多機互聯的一個工具,讓集群中的不同節點主機創建的容器都具有全集群唯一的虛擬ip地址

Flannel使用go語言編寫

2、Flannel實現原理

2.1、原理說明

Flannel為每個host分配一個subnet,容器從這個subnet中分配IP,這些IP可以在host間路由,容器間無需使用nat和端口映射即可實現跨主機通信

每個subnet都是從一個更大的IP池中劃分的,flannel會在每個主機上運行一個叫flanneld的agent,其職責就是從池子中分配subnet

Flannel使用etcd存放網絡配置、已分配 的subnet、host的IP等信息

Flannel數據包在主機間轉發是由backend實現的,目前已經支持UDP、VxLAN、host-gw、AWS VPC和GCE路由等多種backend

2.2、數據轉發流程

技術分享圖片

  1. 容器直接使用目標容器的ip訪問,默認通過容器內部的eth0發送出去。

  2. 報文通過veth pair被發送到vethXXX。

  3. vethXXX是直接連接到虛擬交換機docker0的,報文通過虛擬bridge docker0發送出去。

  4. 查找路由表,外部容器ip的報文都會轉發到flannel0虛擬網卡,這是一個P2P的虛擬網卡,然後報文就被轉發到監聽在另一端的flanneld。

  5. flanneld通過etcd維護了各個節點之間的路由表,把原來的報文UDP封裝一層,通過配置的iface發送出去。

  6. 報文通過主機之間的網絡找到目標主機。

  7. 報文繼續往上,到傳輸層,交給監聽在8285端口的flanneld程序處理。

  8. 數據被解包,然後發送給flannel0虛擬網卡。

  9. 查找路由表,發現對應容器的報文要交給docker0。

  10. docker0找到連到自己的容器,把報文發送過去。

3、Flannel安裝配置

3.1、環境準備

|節點名稱|IP地址|安裝軟件
|docker1| 192.168.198.133| etcd、flannel、docker
|docker2| 192.168.198.130| flannel、docker

3.2、安裝etcd

etcd下載地址:https://github.com/coreos/etcd/releases

啟動命令:

etcd -name etcd1 -data-dir /var/lib/etcd --advertise-client-urls http://192.168.198.133:2379,http://127.0.0.1:2379 --listen-client-urls http://192.168.198.133:2379,http://127.0.0.1:2379 &

3.3、安裝Flannel

flannel下載地址:https://github.com/coreos/flannel/releases

添加flannel網絡配置信息到etcd:

etcdctl --endpoints http://127.0.0.1:2379 set /coreos.com/network/config ‘{"Network": "10.0.0.0/16", "SubnetLen": 24, "SubnetMin": "10.0.1.0","SubnetMax": "10.0.20.0", "Backend": {"Type": "vxlan"}}‘
  • Network:用於指定Flannel地址池
  • SubnetLen:用於指定分配給單個宿主機的docker0的ip段的子網掩碼的長度
  • SubnetMin:用於指定最小能夠分配的ip段
  • SudbnetMax:用於指定最大能夠分配的ip段,在上面的示例中,表示每個宿主機可以分配一個24位掩碼長度的子網,可以分配的子網從10.0.1.0/24到10.0.20.0/24,也就意味著在這個網段中,最多只能有20臺宿主機
  • Backend:用於指定數據包以什麽方式轉發,默認為udp模式,host-gw模式性能最好,但不能跨宿主機網絡

3.4、啟動Flannel

# cat /etc/systemd/system/flanneld.service

[Unit]
Description=Flanneld
Documentation=https://github.com/coreos/flannel
After=network.target
Before=docker.service

[Service]
User=root
ExecStart=/usr/local/bin/flanneld --etcd-endpoints="http://192.168.198.133:2379" --iface=192.168.198.133 --ip-masq --etcd-prefix=/coreos.com/network
Restart=on-failure
Type=notify
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target


# systemctl daemon-reload
# systemctl start flanneld

Flannel啟動過程解析:

  • 從etcd中獲取network的配置信息
  • 劃分subnet,並在etcd中進行註冊
  • 將子網信息記錄到/run/flannel/subnet.env中

Flannel必須先於Docker啟動

3.5、驗證Flannel網絡

查看etcd中的數據:

# etcdctl ls /coreos.com/network/subnets
/coreos.com/network/subnets/10.0.18.0-24

查看docker1的flannel網卡信息:

38: flannel.1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN group default 
    link/ether 1a:8e:8b:09:d6:d4 brd ff:ff:ff:ff:ff:ff
    inet 10.0.18.0/32 scope global flannel.1
       valid_lft forever preferred_lft forever
    inet6 fe80::188e:8bff:fe09:d6d4/64 scope link 
       valid_lft forever preferred_lft forever

可以看到flannel0網卡的地址和etcd存儲的地址一樣,這樣flannel網絡配置完成

3.6、配置Docker

Docker安裝完成以後,需要修改其啟動參數以使其能夠使用flannel進行IP分配,以及網絡通訊

在Flannel運行之後,會生成一個環境變量文件,包含了當前主機要使用flannel通訊的相關參數,如下:

# cat /run/flannel/subnet.env 

FLANNEL_NETWORK=10.0.0.0/16
FLANNEL_SUBNET=10.0.18.1/24
FLANNEL_MTU=1450
FLANNEL_IPMASQ=true

可以使用flannel提供的腳本將subnet.env轉寫成Docker啟動參數,創建好的啟動參數默認生成在/run/docker_opts.env文件中:

# /opt/flannel/mk-docker-opts.sh -c

# cat /run/docker_opts.env
DOCKER_OPTS=" --bip=10.0.18.1/24 --ip-masq=false --mtu=1450"

修改docker的服務啟動文件如下:

# vim /lib/systemd/system/docker.service

EnvironmentFile=/run/docker_opts.env
ExecStart=/usr/bin/dockerd $DOCKER_OPTS -H fd://

重啟docker:

systemctl daemon-reload
systemctl restart docker

這時可以看到docker0的ip已經位於flannel網卡的網段之中:

3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default 
    link/ether 02:42:de:a3:d8:7d brd ff:ff:ff:ff:ff:ff
    inet 10.0.18.1/24 brd 10.0.18.255 scope global docker0
       valid_lft forever preferred_lft forever
    inet6 fe80::42:deff:fea3:d87d/64 scope link 
       valid_lft forever preferred_lft forever
38: flannel.1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN group default 
    link/ether 1a:8e:8b:09:d6:d4 brd ff:ff:ff:ff:ff:ff
    inet 10.0.18.0/32 scope global flannel.1
       valid_lft forever preferred_lft forever
    inet6 fe80::188e:8bff:fe09:d6d4/64 scope link 
       valid_lft forever preferred_lft forever

3.7、驗證容器互通

root@ubuntu:~# docker run -it busybox
/ # ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
39: eth0@if40: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1450 qdisc noqueue 
    link/ether 02:42:0a:00:12:02 brd ff:ff:ff:ff:ff:ff
    inet 10.0.18.2/24 brd 10.0.18.255 scope global eth0
       valid_lft forever preferred_lft forever
/ # ping 10.0.12.2
PING 10.0.12.2 (10.0.12.2): 56 data bytes
64 bytes from 10.0.12.2: seq=0 ttl=62 time=0.803 ms
root@ubuntuserver:~/flannel# docker exec -it b4d /bin/bash
root@b4d65fdc02a3:/usr/local/apache2# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
5: eth0@if6: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UP group default 
    link/ether 02:42:0a:00:0c:02 brd ff:ff:ff:ff:ff:ff
    inet 10.0.12.2/24 brd 10.0.12.255 scope global eth0
       valid_lft forever preferred_lft forever
root@b4d65fdc02a3:/usr/local/apache2# 
root@b4d65fdc02a3:/usr/local/apache2# 
root@b4d65fdc02a3:/usr/local/apache2# ping 10.0.18.2
PING 10.0.18.2 (10.0.18.2) 56(84) bytes of data.
64 bytes from 10.0.18.2: icmp_seq=1 ttl=62 time=0.794 ms
64 bytes from 10.0.18.2: icmp_seq=2 ttl=62 time=0.957 ms

此時的網絡數據包流向如圖:

技術分享圖片

3.8、配置backend為host-gw

host-gw bakcend是flannel的另一個backend。與vxlan不同,host-gw不會封裝數據包,而是在主機的路由表中創建到其他主機的subnet的路由條目,從而實現容器網絡跨主機通信。需要說明的是,host-gw不能跨宿主機網絡通信,或者說跨宿主機網絡通信需要物理路由支持。

修改etcd如下:

etcdctl --endpoints http://127.0.0.1:2379 set /coreos.com/network/config ‘{"Network": "10.0.0.0/16", "SubnetLen": 24, "SubnetMin": "10.0.1.0","SubnetMax": "10.0.20.0", "Backend": {"Type": "host-gw"}}‘

重啟flanneld與docker:

systemctl restart flanneld docker

可以在宿主機上查看到路由條目:

root@ubuntu:~# ip route
default via 192.168.198.2 dev ens33 proto dhcp metric 100 
10.0.12.0/24 via 192.168.198.130 dev ens33 
10.0.18.0/24 dev docker0 proto kernel scope link src 10.0.18.1 linkdown 
169.254.0.0/16 dev ens33 scope link metric 1000 
192.168.198.0/24 dev ens33 proto kernel scope link src 192.168.198.133 metric 100 

Flannel配置詳解