docker 概念

關於docker的基本概念相關，可以參考官網介紹，介紹的挺全面的。另外這篇文章介紹的也很清晰，並附帶有可以直接上手的例項。

關於container和vm的對比，需要重點關注下，直接放圖如下：

從圖中可以看出兩者的區別包括：
1. 傳統的VM需要依賴hypervisor層來實現，而不同hypervisor實現是和硬體強繫結的；docker對hardware的依賴則很少
2. VM內部除了包含app以及依賴的執行庫環境，還包括了Guest OS；相比docker，過於重量級，從而導致對host端資源的佔用率比較高
3. docker中多個container App都是使用Host的kernel，不適用與依賴不同kernel實現的App
4. docker提供的swarm模式，可以方便地建立一個docker叢集，從而靈活地提供高可用性和故障恢復等特性

研究方案選擇

目前dpdk官網提供兩種方案來支援container，如下圖：

上圖(1) 方案中需要NIC支援SR-IOV功能，物理NIC支援的VF個數也依賴於硬體資源；每個container的介面獨佔VF，多個VF共享下面的一個PF。基於這種方案實現的container，無論對硬體的依賴和繫結，還是container的遷移，支援性都做得不夠好。
上圖(2) 方案中需要在host中執行vswitch或者vRouter來將上層的containers和底層的物理NIC解耦，只要vswitch（當前比較流行的OVS+DPDK，將OVS放在使用者態來實現）的效能足夠，一樣可以實現高效能的container app了。

技術分析

基於以上比較，本次預研主要選取第二種方案來實現，該方案中container中涉及的元件如下圖所示：

方案中使用virtual device(包括virtio-user和vhost-user backend）來實現高效能的container App 或者IPC。Virtio使用共享記憶體的方式來收發報文，傳統的VM可以通過qemu來共享vhost後端的實體地址，但對container而言，作為系統的一個程序，使用這種方式則比較難。目前的思路是隻能使用DPDK初始化的hugepages來進行記憶體共享。所以，要在container中使用dpdk，必須要分配足夠的大頁記憶體，且不同container在使用共享記憶體時要能夠分割槽使用，避免地址重複。

container + dpdk 實踐

拓撲圖

dpdk 安裝

wget http://fast.dpdk.org/rel/dpdk-17.05.tar.xz
tar -xvf dpdk-17.05.tar.xz
cd dpdk-17.05

#設定DPDK庫目錄位置
echo export RTE_SDK=$(pwd) >>~/.bashrc
#設定DPDK目標環境
#注意！這裡的x86_64-native-linuxapp-gcc應替換為實際執行環境
echo export RTE_TARGET=x86_64-native-linuxapp-gcc  >> ~/.bashrc
source ~/.bashrc

#配置DPDK,需要使用Vhost-user驅動，需要將CONFIG_RTE_LIBRTE_VHOST=y
vim config/common_base

#安裝dpdk
make config T=$RTE_TARGET
make T=$RTE_TARGET -j8

#編譯l2fwd
[[email protected] dpdk-17.05]# cd examples/l2fwd/
[[email protected] l2fwd]# make 

hugepage的配置(配置使用1G大小的hugepagesize,同時最多分配8個)：

sudo vim /etc/default/grub2.cfg
#找到其中一項為 GRUB_CMDLINE_LINUX_DEFAULT= ，不論後面的引號內包含任何內容，在原本內容之後新增 default_hugepagesz=1GB hugepagesz=1G hugepages=8（這裡分配了8個1G的hugepages）
reboot

#檢視分配情況
grep Huge /proc/meminfo

#分配成功後進行掛載
mkdir -p /dev/hugepages
mount -t hugetlbfs none /dev/hugepages
mkdir -p /mnt/huge
mount -t hugetlbfs -o pagesize=1G none /mnt/huge

pktgen 安裝

pktgen的安裝依賴於DPDK，安裝前確保RTE_SDK和RTE_TARGET環境變數設定正確。

#安裝依賴
yum install -y libpcap.x86_64
wget http://www.dpdk.org/browse/apps/pktgen-dpdk/snapshot/pktgen-3.4.2.tar.gz
tar -xvf pktgen-3.4.2.tar.gz
cd pktgen-3.4.2
make -j8
ln -s $(pwd)/app/$RTE_TARGET/pktgen /usr/bin/pktgen

ovs 安裝與配置

1. 安裝ovs：

#下載
wget http://openvswitch.org/releases/openvswitch-2.8.1.tar.gz
#解壓
tar xzvf openvswitch-2.8.1.tar.gz
cd openvswitch-2.8.1
#配置環境並安裝
./boot.sh
CFLAGS='-march=native' ./configure --with-dpdk=$RTE_SDK/$RTE_TARGET
make
make install

#檢視大頁記憶體
cat /proc/meminfo
AnonHugePages:     32768 kB
HugePages_Total:       8
HugePages_Free:        4
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:    1048576 kB

1. 啟動ovs：

#start_ovs.sh
  1 #init new ovs database
  2 ovsdb-tool create /usr/local/etc/openvswitch/conf.db ./vswitchd/vswitch.ovsschema
  3 
  4 #start database server
  5 ovsdb-server --remote=punix:/usr/local/var/run/openvswitch/db.sock \
  6     --remote=db:Open_vSwitch,Open_vSwitch,manager_options \
  7     --pidfile --detach --log-file
  8 
  9 #initialize ovs database
 10 ovs-vsctl --no-wait init
 11 
 12 #configure ovs dpdk 
 13 ovs-vsctl --no-wait set Open_vSwitch . other_config:dpdk-init=true \
 14     other_config:dpdk-lcore=0x2 other_config:dpdk-socket-mem="1024"
 15 
 16 ##start ovs
 17 ovs-vswitchd unix:/usr/local/var/run/openvswitch/db.sock \
 18     --pidfile --detach

1. 建立ovs ports：

# creat_ports.sh
  1 #ovs use core 2 for the PMD
  2 ovs-vsctl set Open_vSwitch . other_config:pmd-cpu-mask=0x4
  3 
  4 #create br0 and vhost ports which use DPDK
  5 ovs-vsctl add-br ovs-br0 -- set bridge ovs-br0 datapath_type=netdev
  6 ovs-vsctl add-port ovs-br0 vhost-user0 -- set Interface vhost-user0 type=dpdkvhostuser
  7 ovs-vsctl add-port ovs-br0 vhost-user1 -- set Interface vhost-user1 type=dpdkvhostuser
  8 ovs-vsctl add-port ovs-br0 vhost-user2 -- set Interface vhost-user2 type=dpdkvhostuser
  9 ovs-vsctl add-port ovs-br0 vhost-user3 -- set Interface vhost-user3 type=dpdkvhostuser
 10 
 11 #show ovs-br0 info
 12 ovs-vsctl show

1. 新增流表

# add_flow.sh
  1 #clear current flows
  2 ovs-ofctl del-flows ovs-br0
  3 
  4 #add bi-directional flow between vhost-user1 and vhost-user2(port 2 and 3)
  5 ovs-ofctl add-flow ovs-br0 \
  6     in_port=2,dl_type=0x800,idle_timeout=0,action=output:3
  7 ovs-ofctl add-flow ovs-br0 \
  8     in_port=3,dl_type=0x800,idle_timeout=0,action=output:2
  9 #add bi-directional flow between vhost-user0 and vhost-user4(port 1 and 4)
 10 ovs-ofctl add-flow ovs-br0 \
 11     in_port=1,dl_type=0x800,idle_timeout=0,action=output:4
 12 ovs-ofctl add-flow ovs-br0 \
 13     in_port=4,dl_type=0x800,idle_timeout=0,action=output:1
 14 
 15 #show current flows
 16 ovs-ofctl dump-flows ovs-br0

可以檢查系統配置如下：

[[email protected] openvswitch-2.8.1]# ovs-vsctl show 
a852baf4-b7ab-44cf-8c73-c9d7031af99d
    Bridge "ovs-br0"
        Port "vhost-user3"
            Interface "vhost-user3"
                type: dpdkvhostuser
        Port "vhost-user1"
            Interface "vhost-user1"
                type: dpdkvhostuser
        Port "ovs-br0"
            Interface "ovs-br0"
                type: internal
        Port "vhost-user0"
            Interface "vhost-user0"
                type: dpdkvhostuser
        Port "vhost-user2"
            Interface "vhost-user2"
                type: dpdkvhostuser

[[email protected] openvswitch-2.8.1]# ovs-ofctl show ovs-br0
 1(vhost-user0): addr:00:00:00:00:00:00
     config:     0
     state:      LINK_DOWN
     speed: 0 Mbps now, 0 Mbps max
 2(vhost-user1): addr:00:00:00:00:00:00
     config:     0
     state:      LINK_DOWN
     speed: 0 Mbps now, 0 Mbps max
 3(vhost-user2): addr:00:00:00:00:00:00
     config:     0
     state:      LINK_DOWN
     speed: 0 Mbps now, 0 Mbps max
 4(vhost-user3): addr:00:00:00:00:00:00
     config:     0
     state:      LINK_DOWN
     speed: 0 Mbps now, 0 Mbps max
 LOCAL(ovs-br0): addr:62:07:93:f5:72:48
     config:     PORT_DOWN
     state:      LINK_DOWN
     current:    10MB-FD COPPER
     speed: 10 Mbps now, 0 Mbps max

[[email protected] openvswitch-2.8.1]# ovs-ofctl dump-flows ovs-br0
 cookie=0x0, duration=89113.410s, table=0, n_packets=655640, n_bytes=21468324000, ip,in_port="vhost-user1" actions=output:"vhost-user2"
 cookie=0x0, duration=89113.404s, table=0, n_packets=27460, n_bytes=21133440, ip,in_port="vhost-user2" actions=output:"vhost-user1"
 cookie=0x0, duration=89113.398s, table=0, n_packets=1200940, n_bytes=39358530000, ip,in_port="vhost-user0" actions=output:"vhost-user3"
 cookie=0x0, duration=89113.392s, table=0, n_packets=15560, n_bytes=11562240, ip,in_port="vhost-user3" actions=output:"vhost-user0"

[[email protected] openvswitch-2.8.1]# ovs-ofctl dump-ports ovs-br0
OFPST_PORT reply (xid=0x2): 5 ports
  port  "vhost-user3": rx pkts=15560, bytes=11562240, drop=0, errs=0, frame=?, over=?, crc=?
           tx pkts=27460, bytes=21133440, drop=1173480, errs=?, coll=?
  port  "vhost-user1": rx pkts=1748120, bytes=57248848800, drop=0, errs=0, frame=?, over=?, crc=?
           tx pkts=27460, bytes=21133440, drop=0, errs=?, coll=?
  port  "vhost-user0": rx pkts=1747020, bytes=57248782800, drop=0, errs=0, frame=?, over=?, crc=?
           tx pkts=15560, bytes=11562240, drop=0, errs=?, coll=?
  port  "vhost-user2": rx pkts=27460, bytes=21133440, drop=0, errs=0, frame=?, over=?, crc=?
           tx pkts=15560, bytes=11562240, drop=640080, errs=?, coll=?
  port LOCAL: rx pkts=0, bytes=0, drop=0, errs=0, frame=0, over=0, crc=0
           tx pkts=0, bytes=0, drop=0, errs=0, coll=0

至此ovs就啟動並配置好了，vhost-user backend口已經建立好，相應的流表路由表項也已經新增好，接下來就該部署container了。

建立testpmd container 和 l2fwd container

前提：系統已經安裝了docker，這個過程文件就不再記錄

l2fwd和testpmd都屬於dpdk提供的app，使用同一個container即可。建立container時把之前build的dpdk目錄copy到docker中。

# cd $RTE_SDK/../
# cat Dockerfile
  1 FROM ubuntu:latest
  2 RUN apt update -y
  3 RUN apt-get install -y  numactl
  4 WORKDIR /root/dpdk
  5 COPY dpdk-17.05 /root/dpdk/.
  6 ENV PATH "$PATH:/root/dpdk/x86_64-native-linuxapp-gcc/app/"
# docker build -t dpdk-docker:17.05 .
# docker images
REPOSITORY                                  TAG                 IMAGE ID            CREATED             SIZE
dpdk-docker                                 17.05               15a8a7206e7c        3 days ago          366.5 MB

建立pktgen docker

同理，把之前編譯好的pktgen對映到container中即可。此外需要注意的是，pktgen依賴libpcap，所以需要在container中安裝一份。使用時還發現執行container提示無法找到共享庫libpcap.so.1, 而安裝libpcap後只有libpcap.so,解決辦法就是做個軟鏈就可以了。
具體的配置步驟如下：

# cd pktgen-3.4.2/..
# cat Dockerfile
  1 FROM ubuntu:latest
  2 RUN apt update -y
  3 RUN apt-get install -y  numactl libpcap-dev
  4 WORKDIR /root/dpdk
  5 COPY dpdk-17.05 /root/dpdk/.
  6 COPY pktgen-3.4.2 /root/pktgen/.
  7 RUN ln -s /root/pktgen/app/x86_64-native-linuxapp-gcc/pktgen /usr/bin/pktgen
  8 RUN ln -s /usr/lib/x86_64-linux-gnu/libpcap.so /usr/lib/x86_64-linux-gnu/libpcap.so.1
  9 ENV PATH "$PATH:/root/dpdk/x86_64-native-linuxapp-gcc/app/"
# docker build -t pktgen-docker .
# docker images
REPOSITORY                                  TAG                 IMAGE ID            CREATED             SIZE
pktgen-docker                               latest              371924729d87        23 hours ago        431.7 MB
dpdk-docker                                 17.05               15a8a7206e7c        3 days ago          366.5 M

實驗一

1. overview

1. 啟動pktgen

#首先啟動docker container
[root@nsfocus]# docker run -ti --privileged --name=pktgen-docker \
-v /mnt/huge:/mnt/huge -v /usr/local/var/run/openvswitch:/var/run/openvswitch \ 
pktgen-docker:latest
root@a2603b54d66d:~/pktgen# pktgen -c 0x19 --master-lcore 3 -n 1 --socket-mem 1024,1024 --file-prefix pktgen --no-pci  \
--vdev 'net_virtio_user0,mac=00:00:00:00:00:05,path=/var/run/openvswitch/vhost-user0'  \ 
--vdev 'net_virtio_user1,mac=00:00:00:00:00:01,path=/var/run/openvswitch/vhost-user1' \
-- -T -P -m "0.0,4.1"

1. 啟動testpmd

[root@nsfocus ~]# docker run -it --privileged --name=dpdk-docker \ 
-v /mnt/huge:/mnt/huge -v /usr/local/var/run/openvswitch:/var/run/openvswitch \
dpdk-docker:17.05
root@bdbe9fabe89a:~/dpdk/examples/l2fwd/build# cd ~/dpdk/x86_64-native-linuxapp-gcc/app/
root@bdbe9fabe89a:~/dpdk/x86_64-native-linuxapp-gcc/app# 
testpmd -c 0xE0 -n 1 --socket-mem 1024,1024 --file-prefix testpmd --no-pci  \
--vdev 'net_virtio_user2,mac=00:00:00:00:00:02,path=/var/run/openvswitch/vhost-user2' \
--vdev 'net_virtio_user3,mac=00:00:00:00:00:03,path=/var/run/openvswitch/vhost-user3' \
-- -i --burst=64 --disable-hw-vlan --txd=2048 --rxd=2048 -a --coremask=0xc0

1. 發包驗證
   在pktgen端執行：

# 在pktgen中設定速率為10%，更具體的速率設定可以通過tx_cycles設定
# 埠0共傳送100個包，埠1傳送200個
Pktgen:/>set all rate 10
Pktgen:/>set 0 count 100
Pktgen:/>set 1 count 200
Pktgen:/>str

pktgen端：

testpmd端：

ovs端：

實驗二

1. overview

2. 啟動pktgen

#首先啟動docker container
[root@nsfocus]# docker run -ti --privileged --name=pktgen-docker \
-v /mnt/huge:/mnt/huge -v /usr/local/var/run/openvswitch:/var/run/openvswitch \
pktgen-docker:latest
root@a2603b54d66d:~/pktgen# pktgen -c 0x19 --master-lcore 3 -n 1 --socket-mem 1024,1024 --file-prefix pktgen --no-pci \
--vdev 'net_virtio_user0,mac=00:00:00:00:00:05,path=/var/run/openvswitch/vhost-user0' \
--vdev 'net_virtio_user1,mac=00:00:00:00:00:01,path=/var/run/openvswitch/vhost-user1' \
-- -T -P -m "0.0,4.1"

1. 啟動l2fwd

[root@nsfocus ~]# docker run -it --privileged --name=dpdk-docker  \
-v /mnt/huge:/mnt/huge -v /usr/local/var/run/openvswitch:/var/run/openvswitch \
dpdk-docker:17.05
root@bdbe9fabe89a:~/dpdk/examples/l2fwd/build#./l2fwd -c 0xE0 -n 1 --socket-mem 1024,1024 --file-prefix testpmd --no-pci \
    --vdev 'net_virtio_user2,mac=00:00:00:00:00:02,path=/var/run/openvswitch/vhost-user2' \
    --vdev 'net_virtio_user3,mac=00:00:00:00:00:03,path=/var/run/openvswitch/vhost-user3' \
    -- -p 0x3

1. 發包驗證
   在pktgen端執行：

# 在pktgen中設定速率為10%，更具體的速率設定可以通過tx_cycles設定
# 埠0共傳送100個包，埠1傳送200個
Pktgen:/>set all rate 10
Pktgen:/>set 0 count 100
Pktgen:/>set 1 count 200
Pktgen:/>str

pktgen端：

l2fwd端：

說明l2fwd已按照我們的預想進行了報文的轉發。

總結

本次實踐主要還是集中在OVS上面的container App的互通以及container內部對dpdk的支援，分別驗證了在container內部執行testpmd和l2fwd來進行報文轉發。其中，dpdk app的執行模式可以為後續cneos平臺server docker化提供一定的技術指導作用。
如果從更系統化的層面來考慮docker結合ovs以及dpdk的使用，更通用的使用場景應該是這樣的：在ovs的南向通過dpdk pmd和硬體平臺上物理nic的PF或VF繫結，高速收發報文；在ovs的北向，通過virtual device和docker container來共享收發報文，進行上層業務的處理。 南北向之間的流量需要配置flow table來指導轉發。流量示意如下圖所示：

1. 流量從物理port流入，到達OVS查詢流表送入到串聯檢測類container1(如NF，IPS)中，container1處理完後再送回流表，再次查詢流表找到物理口傳送出去
2. 流量從物理port流入，到達OVS查詢流表送入到檢測類container2中(如WAF)
3. 考慮到有多個安全container app，流量序列通過containerN,container2; 實際上，container之間的資料互動還有別的實現方式，如docker天然支援容器互聯技術，這塊還有待進一步確定實際方案

參考資料