2. 程式人生 > >Flannel配置詳解

Flannel配置詳解

阿新 • • 發佈：2018-08-04
lower bytes 轉發 實現 anr 流向 服務 端口映射 agen

目錄

  • 1、簡介
  • 2、Flannel實現原理
    • 2.1、原理說明
    • 2.2、數據轉發流程
  • 3、Flannel安裝配置
    • 3.1、環境準備
    • 3.2、安裝etcd
    • 3.3、安裝Flannel
    • 3.4、啟動Flannel
    • 3.5、驗證Flannel網絡
    • 3.6、配置Docker
    • 3.7、驗證容器互通
    • 3.8、配置backend為host-gw

1、簡介

Flannel是一種基於overlay網絡的跨主機容器網絡解決方案，也就是將TCP數據包封裝在另一種網絡包裏面進行路由轉發和通信，

Flannel是CoreOS開發,專門用於docker多機互聯的一個工具,讓集群中的不同節點主機創建的容器都具有全集群唯一的虛擬ip地址

Flannel使用go語言編寫

2、Flannel實現原理

2.1、原理說明

Flannel為每個host分配一個subnet，容器從這個subnet中分配IP，這些IP可以在host間路由，容器間無需使用nat和端口映射即可實現跨主機通信

每個subnet都是從一個更大的IP池中劃分的，flannel會在每個主機上運行一個叫flanneld的agent，其職責就是從池子中分配subnet

Flannel使用etcd存放網絡配置、已分配 的subnet、host的IP等信息

Flannel數據包在主機間轉發是由backend實現的，目前已經支持UDP、VxLAN、host-gw、AWS VPC和GCE路由等多種backend

2.2、數據轉發流程

技術分享圖片

  1. 容器直接使用目標容器的ip訪問，默認通過容器內部的eth0發送出去。

  2. 報文通過veth pair被發送到vethXXX。

  3. vethXXX是直接連接到虛擬交換機docker0的，報文通過虛擬bridge docker0發送出去。

  4. 查找路由表，外部容器ip的報文都會轉發到flannel0虛擬網卡，這是一個P2P的虛擬網卡，然後報文就被轉發到監聽在另一端的flanneld。

  5. flanneld通過etcd維護了各個節點之間的路由表，把原來的報文UDP封裝一層，通過配置的iface發送出去。

  6. 報文通過主機之間的網絡找到目標主機。

  7. 報文繼續往上，到傳輸層，交給監聽在8285端口的flanneld程序處理。

  8. 數據被解包，然後發送給flannel0虛擬網卡。

  9. 查找路由表，發現對應容器的報文要交給docker0。

  10. docker0找到連到自己的容器，把報文發送過去。

3、Flannel安裝配置

3.1、環境準備

|節點名稱|IP地址|安裝軟件
|docker1| 192.168.198.133| etcd、flannel、docker
|docker2| 192.168.198.130| flannel、docker

3.2、安裝etcd

etcd下載地址：https://github.com/coreos/etcd/releases

啟動命令：

etcd -name etcd1 -data-dir /var/lib/etcd --advertise-client-urls http://192.168.198.133:2379,http://127.0.0.1:2379 --listen-client-urls http://192.168.198.133:2379,http://127.0.0.1:2379 &

3.3、安裝Flannel

flannel下載地址：https://github.com/coreos/flannel/releases

添加flannel網絡配置信息到etcd：

etcdctl --endpoints http://127.0.0.1:2379 set /coreos.com/network/config ‘{"Network": "10.0.0.0/16", "SubnetLen": 24, "SubnetMin": "10.0.1.0","SubnetMax": "10.0.20.0", "Backend": {"Type": "vxlan"}}‘
  • Network：用於指定Flannel地址池
  • SubnetLen：用於指定分配給單個宿主機的docker0的ip段的子網掩碼的長度
  • SubnetMin：用於指定最小能夠分配的ip段
  • SudbnetMax：用於指定最大能夠分配的ip段，在上面的示例中，表示每個宿主機可以分配一個24位掩碼長度的子網，可以分配的子網從10.0.1.0/24到10.0.20.0/24，也就意味著在這個網段中，最多只能有20臺宿主機
  • Backend：用於指定數據包以什麽方式轉發，默認為udp模式，host-gw模式性能最好，但不能跨宿主機網絡

3.4、啟動Flannel

# cat /etc/systemd/system/flanneld.service

[Unit]
Description=Flanneld
Documentation=https://github.com/coreos/flannel
After=network.target
Before=docker.service

[Service]
User=root
ExecStart=/usr/local/bin/flanneld --etcd-endpoints="http://192.168.198.133:2379" --iface=192.168.198.133 --ip-masq --etcd-prefix=/coreos.com/network
Restart=on-failure
Type=notify
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target


# systemctl daemon-reload
# systemctl start flanneld

Flannel啟動過程解析：

  • 從etcd中獲取network的配置信息
  • 劃分subnet，並在etcd中進行註冊
  • 將子網信息記錄到/run/flannel/subnet.env中

Flannel必須先於Docker啟動

3.5、驗證Flannel網絡

查看etcd中的數據：

# etcdctl ls /coreos.com/network/subnets
/coreos.com/network/subnets/10.0.18.0-24

查看docker1的flannel網卡信息：

38: flannel.1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN group default 
    link/ether 1a:8e:8b:09:d6:d4 brd ff:ff:ff:ff:ff:ff
    inet 10.0.18.0/32 scope global flannel.1
       valid_lft forever preferred_lft forever
    inet6 fe80::188e:8bff:fe09:d6d4/64 scope link 
       valid_lft forever preferred_lft forever

可以看到flannel0網卡的地址和etcd存儲的地址一樣，這樣flannel網絡配置完成

3.6、配置Docker

Docker安裝完成以後，需要修改其啟動參數以使其能夠使用flannel進行IP分配，以及網絡通訊

在Flannel運行之後，會生成一個環境變量文件，包含了當前主機要使用flannel通訊的相關參數，如下：

# cat /run/flannel/subnet.env 

FLANNEL_NETWORK=10.0.0.0/16
FLANNEL_SUBNET=10.0.18.1/24
FLANNEL_MTU=1450
FLANNEL_IPMASQ=true

可以使用flannel提供的腳本將subnet.env轉寫成Docker啟動參數，創建好的啟動參數默認生成在/run/docker_opts.env文件中：

# /opt/flannel/mk-docker-opts.sh -c

# cat /run/docker_opts.env
DOCKER_OPTS=" --bip=10.0.18.1/24 --ip-masq=false --mtu=1450"

修改docker的服務啟動文件如下：

# vim /lib/systemd/system/docker.service

EnvironmentFile=/run/docker_opts.env
ExecStart=/usr/bin/dockerd $DOCKER_OPTS -H fd://

重啟docker：

systemctl daemon-reload
systemctl restart docker

這時可以看到docker0的ip已經位於flannel網卡的網段之中：

3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default 
    link/ether 02:42:de:a3:d8:7d brd ff:ff:ff:ff:ff:ff
    inet 10.0.18.1/24 brd 10.0.18.255 scope global docker0
       valid_lft forever preferred_lft forever
    inet6 fe80::42:deff:fea3:d87d/64 scope link 
       valid_lft forever preferred_lft forever
38: flannel.1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN group default 
    link/ether 1a:8e:8b:09:d6:d4 brd ff:ff:ff:ff:ff:ff
    inet 10.0.18.0/32 scope global flannel.1
       valid_lft forever preferred_lft forever
    inet6 fe80::188e:8bff:fe09:d6d4/64 scope link 
       valid_lft forever preferred_lft forever

3.7、驗證容器互通

root@ubuntu:~# docker run -it busybox
/ # ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
39: eth0@if40: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1450 qdisc noqueue 
    link/ether 02:42:0a:00:12:02 brd ff:ff:ff:ff:ff:ff
    inet 10.0.18.2/24 brd 10.0.18.255 scope global eth0
       valid_lft forever preferred_lft forever
/ # ping 10.0.12.2
PING 10.0.12.2 (10.0.12.2): 56 data bytes
64 bytes from 10.0.12.2: seq=0 ttl=62 time=0.803 ms
root@ubuntuserver:~/flannel# docker exec -it b4d /bin/bash
root@b4d65fdc02a3:/usr/local/apache2# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
5: eth0@if6: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UP group default 
    link/ether 02:42:0a:00:0c:02 brd ff:ff:ff:ff:ff:ff
    inet 10.0.12.2/24 brd 10.0.12.255 scope global eth0
       valid_lft forever preferred_lft forever
root@b4d65fdc02a3:/usr/local/apache2# 
root@b4d65fdc02a3:/usr/local/apache2# 
root@b4d65fdc02a3:/usr/local/apache2# ping 10.0.18.2
PING 10.0.18.2 (10.0.18.2) 56(84) bytes of data.
64 bytes from 10.0.18.2: icmp_seq=1 ttl=62 time=0.794 ms
64 bytes from 10.0.18.2: icmp_seq=2 ttl=62 time=0.957 ms

此時的網絡數據包流向如圖：

技術分享圖片

3.8、配置backend為host-gw

host-gw bakcend是flannel的另一個backend。與vxlan不同，host-gw不會封裝數據包，而是在主機的路由表中創建到其他主機的subnet的路由條目，從而實現容器網絡跨主機通信。需要說明的是，host-gw不能跨宿主機網絡通信，或者說跨宿主機網絡通信需要物理路由支持。

修改etcd如下：

etcdctl --endpoints http://127.0.0.1:2379 set /coreos.com/network/config ‘{"Network": "10.0.0.0/16", "SubnetLen": 24, "SubnetMin": "10.0.1.0","SubnetMax": "10.0.20.0", "Backend": {"Type": "host-gw"}}‘

重啟flanneld與docker：

systemctl restart flanneld docker

可以在宿主機上查看到路由條目：

root@ubuntu:~# ip route
default via 192.168.198.2 dev ens33 proto dhcp metric 100 
10.0.12.0/24 via 192.168.198.130 dev ens33 
10.0.18.0/24 dev docker0 proto kernel scope link src 10.0.18.1 linkdown 
169.254.0.0/16 dev ens33 scope link metric 1000 
192.168.198.0/24 dev ens33 proto kernel scope link src 192.168.198.133 metric 100

Flannel配置詳解

相關推薦

Flannel配置詳解

lower bytes 轉發 實現 anr 流向 服務 端口映射 agen 目錄 1、簡介 2、Flannel實現原理 2.1、原理說明 2.2、數據轉發流程 3、Flannel安裝配置 3.1、環境準備 3.2、安裝etcd 3.3、安裝Flannel 3.4、啟動F

setting.xml 配置詳解

校驗 找不到 順序 裁剪 全局 -- mls leg 觸發 文件存放位置 全局配置: ${M2_HOME}/conf/settings.xml 用戶配置: ${user.home}/.m2/settings.xml note：用戶配置優先於全局配置。${user.home}

【Spring】Spring MVC原理及配置詳解

進行 return sub sca scrip uil 線程安全 松耦合 必須 1.Spring MVC概述： Spring MVC是Spring提供的一個強大而靈活的web框架。借助於註解，Spring MVC提供了幾乎是POJO的開發模式，使得控制器的開發和測試更加簡

kafka參數配置詳解

kafka 參數 broker.idbroker的唯一標識符，如果不配置則自動生成，建議配置且一定要保證集群中必須唯一，默認-1log.dir日誌數據存放的目錄，默認/tmp/kafka-logslog.dirs日誌數據存放的目錄，如果沒有配置則使用log.dir，建議此項配置。zookeeper.c

Lnux系統網卡綁定配置詳解

ole osd 接口 當前 onf prim multi pac lin 一、CentOS 配置網卡綁定（bonding） 1、bonding概述 （1）作用：就是將多塊網卡綁定同一IP地址對外提供服務，可以實現高可用或者負載均衡。當然，直接給兩塊網卡設置同一IP地址是不可

Nginx配置詳解

set 文件結構 時也 解決方案 ces 反向代理服務器 use 力量 第三方模塊 最近在搞nginx和tomcat 以及apache的集群。下面是參考的一片很不錯的關於nginx配置的詳細講解： http://www.cnblogs.com/knowledgesea/p/

Apache配置詳解

搜索 相對 第一個 form 執行權限 php 時有 多個 direct Apache的配置由httpd.conf文件配置，因此下面的配置指令都是在httpd.conf文件中修改。 主站點的配置(基本配置) (1) 基本配置: ServerRoot "/mnt/softwa

緩存varnish的管理及配置詳解

啟動 一個 hint 單位 quad spec int rom try 一 工作原理 在當前主流的Web服務架構體系中，Cache擔任著越來越重要的作用。常見的基於瀏覽器的C/S架構，Web Cache更是節約服務器資源的關鍵。而最近幾年由FreeBSD創始人之一Kamp開

日誌配置詳解

lin XML html表格 記錄 文件中 對齊方式 oca read val #①配置根Logger，其語法為： # #log4j.rootLogger = [level],appenderName,appenderName2,... #level是日誌記錄的優先級，分為

phpmyadmin配置詳解

php phpmyadmin配置文件中的一個，路徑為libraries/config.default.php，可以修改若幹配置，其中，only_db可以配置在web端顯示的數據庫本文出自 “12968673” 博客，請務必保留此出處http://12978673.blog.51cto.com/1296867

DNS配置詳解 bind實現正向解析和反向解析

cell 8.4 -s intern 資源記錄 ted borde linux系統 ans DNS是域名服務（Domain Name Service)，負責把域名解析成IP地址（正向解析）或者把IP地址解析為域名（反向解析）。 DNS查詢過程： 假設我們要訪問www.a

MySQL5.6 數據庫主從（Master/Slave）同步安裝與配置詳解

inux bind 主從配置 希望 master 強調 數據庫主從 ria 配置文件 目錄(?)[+] 安裝環境 操作系統 ：CentOS 6.5 數據庫版本：MySQL 5.6.27 主機A：192.168.1.1 （Master） 主機B：192.168.

web緩存服務器varnish-4.1.6的部署及配置詳解

是否 次數 tool 至少 hits 檢查 rep nat list web緩存服務器varnish-4.1.6的部署及配置詳解 1.安裝varnish4.1.6安裝依賴 yum install -y autoconf automake jemalloc-devel li

web.xml配置詳解

知識 其他 location 參數 pin systems doctype doc clu web.xml配置詳解 引文： 對於一個J2EE領域的程序員而言，基本上每天都會和web應用打交道。 什麽是web應用？最簡單的web應用什麽樣？給你一個web應用你該從何入手

mybatis一對一映射配置詳解

技術分享 iat rom cti 加載 文件中 src 裏的 new 聽說mybatis一對一有三種寫法，今天我試了一下。 數據庫表準備 為了偷懶，我直接就拿用戶權限菜單裏的菜單表和菜單與權限的中間表做實現，他們原來是多對多的關系，這邊我假設這兩張表是一對一。 表 g

CentOS Apache配置詳解

先來 page over oca 基於ip chmod 程序 ror 接收 要想在linux上實現網頁服務器（www）需要Apache這個服務器軟件，不過Apache僅能提供最基本的靜態網站數據而已，想要實現動態網站的話，最好還是要PHP與MySQL的支持，所以下面我們將會

Nginx配置文件（nginx.conf）配置詳解

最好 緩沖區 網絡io dev mp3 forward val eight 超時 Nginx的配置文件nginx.conf配置詳解如下： user nginx nginx ; Nginx用戶及組：用戶 組。window下不指定 worker_process

PLSQL連接Oracle 數據庫配置詳解

evel 目錄 win32 asi ges network con 配置詳解 soft 1. 下載instantclient-basic-win32-11.2.0.1.0 （oracle官網下載地址:http://www.oracle.com/technetwork/t

09-nginx常用配置詳解

accept 用戶與用戶組 oot 進程資源 常用 brush pan nts 還要 Nginx配置分為各個配置塊，主配置塊負責全局配置，子配置塊可以繼承全局配置，也可以相應的配置不同設置。 main block:主配置（全局配置） event{

saltstack 安裝配置詳解

saltstackSaltStack是一個服務器基礎架構集中化管理平臺，具備配置管理、遠程執行、監控等功能，一般可以理解為簡化版的puppet和加強版的func。SaltStack基於Python語言實現，結合輕量級消息隊列（ZeroMQ）與python第三方模塊（Pyzmq、PyCrypto、Pyjinji