2. 程式人生 > >基於DPDK，jupiter 百萬qps併發負載均衡，替代lvs

基於DPDK，jupiter 百萬qps併發負載均衡，替代lvs

阿新 • • 發佈：2019-01-09

一、簡介

1、背景

基於 OS 核心的資料傳輸有什麼弊端

UNIX 的設計初衷其實為電話網路的控制系統而設計的，而不是一般的伺服器作業系統，所以，它僅僅是一個數據負責資料傳送的系統，沒有所謂的控制層面和資料層面的說法，不適合處理大規模的網路資料包。最後 Errata Security 公司的 CEO Robert Graham得出的結論是：

OS 的核心不是解決 C10M 問題的辦法，恰恰相反 OS 的核心正式導致 C10M 問題的關鍵所在。

當網路中大量資料包到來時，會產生頻繁的硬體中斷請求。

  • 中斷處理
  • 記憶體拷貝
  • 上下文切換
  • 區域性性失效
  • 記憶體管理

解決方案
- 控制層留給Linux做，其它資料層全部由應用程式來處理。
- 減少系統排程、系統呼叫、系統中斷，上下文切換等
- 摒棄Linux核心協議棧，將資料包傳輸到使用者空間定製協議棧
- 使用多核程式設計技術替代多執行緒，將OS綁在指定核上執行
- 針對SMP系統，使CPU儘量使用所在NUMA系統節點的記憶體，減少記憶體刷寫
- 使用大頁面，減少訪問
- 採用無鎖技術解競爭
而DPDK恰好為我們提供瞭解決問題的腳手架。

2、DPDK

DPDK是因特爾推出的資料平面開發元件，主要是提供了一個高效的使用者態網絡卡驅動，改以往網絡卡驅動採用的中斷方式，為繫結執行緒輪詢網絡卡的高效模式，可以大幅提高吞吐率。

Dpdk是X86平臺報文快速處理的庫和驅動的集合，不是網路協議棧，不提供二層，三層轉發功能，不具備防火牆ACL功能，但通過DPDK可以輕鬆的開發出上述功能。優勢在於通過Dpdk，可以將使用者態的資料，不經過核心直接轉發到網絡卡，實現加速目的。

dpdk優勢:
- 減少了中斷次數。
- 減少了記憶體拷貝次數。
- 繞過了linux的協議棧，進入使用者協議棧，使用者獲得了協議棧的控制權，能夠定製化協議棧降低複雜度

dpdk劣勢

  • 核心棧轉移至使用者層增加了開發成本.
  • 低負荷伺服器不實用，會造成核心空轉.

3、京東 tiglabs 團隊的 Jupiter

Jupiter是一個基於DPDK實現的高效能4層網路負載均衡服務，支援在fullnat工作模式下對TCP和UDP報文轉發。jupiter支援的負載均衡演算法包括一致性雜湊演算法，輪詢演算法，加權輪詢演算法。

  • 支援TCP, UDP協議
  • 支援應用會話保持
  • 支援負載均衡服務橫向擴充套件
  • 高效能，單機支援百萬QPS

LVS由於基於核心實現，大量併發訪問時，頻繁系統中斷、上下文切換。相同環境下，測試LVS最大70w qps，而jupiter可達200w qps。

二、Jupiter 安裝部署

支援的OS發行版本: Centos-7.2或者Centos-7.4。

個人測試，在VMware Workstation上測試，網絡卡驅動原因是安裝不上的。主機上不能劃分vlan資訊。

1、安裝依賴環境

yum install numactl-devel kernel-devel libpcap-devel rpm-build

不裝kernel-devel會報錯：

make: *** /lib/modules/3.10.0-327.el7.x86_64/build: 沒有那個檔案或目錄。
系統沒有安裝核心開發包，可以看下/usr/src/kernels/，
如果這個目錄是空的，就說明沒有安裝 核心開發包，
如果這個目錄非空，你就需要重新做一下連線
# 參考地址 ：http://blog.sina.com.cn/s/blog_6f24670f0102wv7p.html

2、下載原始碼，編譯安裝RPM包

tar -xf jupiter.tar.gz
cd jupiter
make rpm-pkg
rpm -i rpmbuild/RPMS/x86_64/jupiter-0.1-1.x86_64.rpm

3、配置引數，啟動服務

jupiter-service的預設配置檔案路徑是/etc/jupiter/jupiter.cfg

[DPDK]
argv = -c 0xf00 -n 4

[DEVICE0]
name = jupiter0
ipv4 = 1.1.1.2  # 本機Jupiter0 IP、gw資訊
netmask = 255.255.255.0
gw = 1.1.1.254
rxqsize = 256
txqsize = 512
mtu = 1500
rxoffload = 0
txoffload = 0
# jupiter採用fullnat模式，這些是後端realserver主機互動的IP。local-ip的個數需要大於jupiter的worker執行緒數
local-ipv4 = 10.0.2.1/32, 10.0.2.2/32, 10.0.2.3/32, 10.0.2.4/32
pci = 0000:01:00.2  # 網絡卡的pci。 ethtool -i eth0 | awk '/bus-info/{print $2}'

網絡卡bond情況：

# 網絡卡分別查下這些物理卡的pci，填到配置檔案的pci欄位，用逗號隔開，mode模式選擇rr或者active-backup
mode = rr
# 目前日期2018年5月：bond模式支援 0、1
# bond7種模式介紹地址：http://www.cnblogs.com/lcword/p/5914089.html
  • 配置hugepage:
echo 4096 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages
  • 載入IGB_UIO模組，為網絡卡繫結使用者態驅動igb_uio：

注：更改網絡卡驅動，網路會中斷，需要有管理IP，或idrac口配置

modprobe uio
insmod /usr/share/jupiter/kmod/igb_uio.ko
# 如果配有ip並且是up狀態，需要先down掉，再用指令碼綁驅動
/usr/share/jupiter/tools/dpdk-devbind.py --bind=igb_uio eth0

載入KNI模組:

insmod /usr/share/jupiter/kmod/rte_kni.ko

啟動jupier-service程序:

jupiter-service --daemon

三、jupiter測試環境部署

1. 部署示意圖如下

測試部署示意圖

說一下網路環境：

1、正常環境網段：1.1.1.0/24
2、jupiter主機 1.1.1.2  ' VIP: 10.0.1.1 '  所以ab-client需要加到10.0.1.0/24的路由
3、採用fullnat模式，所以後端realserver，需要加到上面local-ipv4網段的路由
4、' client 與 realserver 主機IP均指向 jupiter主機IP 。如果是全三層bgp 網路是不用配置靜態路由的，會自動學習'

2. ab-client伺服器配置

ifconfig eth0 1.1.1.1/24 up
route add -net 10.0.1.0 netmask 255.255.255.0 gw 1.1.1.2

3. nginx-server伺服器配置

ifconfig eth0 1.1.1.3/24 up
route add -net 10.0.2.0 netmask 255.255.255.0 gw 1.1.1.2

4. jupiter-service伺服器配置

配置虛擬TCP服務10.0.1.1：8888，並新增兩個後端服務1.1.1.3:80和1.1.1.4：80. 

ifconfig jupiter0 1.1.1.2/24 up
jupiter-ctl vs/add 10.0.1.1:8888 tcp wrr
jupiter-ctl rs/add 10.0.1.1:8888 tcp 1.1.1.3:80 7  # 最後的是權重，rr輪詢演算法，不需要寫這部分
jupiter-ctl rs/add 10.0.1.1:8888 tcp 1.1.1.4:80 7 
jupiter-ctl rs/del 10.0.1.1:8888 tcp 1.1.1.5:80  # 刪除rs

權重調整

jupiter-ctl rs/weight 10.0.1.1:8888 tcp 1.1.1.3:80    # 查詢
jupiter-ctl rs/weight 10.0.1.1:8888 tcp 1.1.1.3:80 0  # 調整

5. ab-client訪問vip

ab http://10.0.1.1:8888/

6、一些常用命令

# 檢視網絡卡驅動
/usr/share/jupiter/tools/dpdk-devbind.py --status
# 如果網絡卡配有ip並且是up狀態，需要先down掉，再用命令綁驅動
# eth0的網絡卡驅動換成igb_uio
/usr/share/jupiter/tools/dpdk-devbind.py -b igb_uio eth0
# 更改網絡卡驅動為系統正常驅動
/usr/share/jupiter/tools/dpdk-devbind.py -b igb eth0

# 檢視 vip資訊
jupiter-ctl vs/list
# 檢視 realserver 資訊
jupiter-ctl rs/list 10.0.1.1:8888 tcp

# 檢視KNI | LOCAL ipv4地址
jupiter-ctl netdev/ipaddr
# 檢視NIC包統計資訊
jupiter-ctl netdev/stats
# 檢視arp地址
jupiter-ctl arp/list

四、jupiter 橫向擴充套件

多個jupiter主機實現高可用，需要交換機配置ecmp。支援多個jupiter可以配置相同的vip，但是local ip不能配置一樣的。

橫向擴充套件

感謝 tiglabs 團隊

相關推薦

基於DPDK，jupiter 百萬qps併發負載均衡，替代lvs

一、簡介 1、背景 基於 OS 核心的資料傳輸有什麼弊端 UNIX 的設計初衷其實為電話網路的控制系統而設計的，而不是一般的伺服器作業系統，所以，它僅僅是一個數據負責資料傳送的系統，沒有所謂的控制層面和資料層面的說法，不適合處理大規模的網路資料包。最後

tomcat，jdk編譯安裝，並基於Apache負載均衡，session綁定

arc logs thp .rpm sta gui auth virt 測試 下載tomcat：wget http://mirrors.shu.edu.cn/apache/tomcat/tomcat-8/v8.5.34/bin/apache-tomcat-8.5.34.ta

高階java高併發，高效能，分散式，高可用，負載均衡，系統架構實戰

Java併發程式設計（一）： 併發程式設計的挑戰本文主要內容出自《Java併發程式設計的藝術》一書，是對該書內容的歸納和理解，有興趣的朋友請購買正版閱讀全部內容。 併發程式設計的目的是為了讓程式執行的更快，但是並不是啟動更多的執行緒，就能讓程式最大限度的併發執行。在進行併發程式設計時，如果希望通過多執行

HAproxy的負載均衡，以及基於TCP和HTTP的應用程式代理

HAProxy是一個使用C語言編寫的自由及開放原始碼軟體[1]，其提供高可用性、負載均衡，以及基於TCP和HTTP的應用程式代理。 HAProxy特別適用於那些負載特大的web站點，這些站點通常又需要會話保持或七層處理。HAProxy執行在當前的硬體上，完全可以支援數以萬計的

京東基於DPDK技術的高效能四層負載均衡器SKYLB

摘要 隨著京東業務的高速增長，作為應用入口的負載均衡，大流量大併發帶來的挑戰越來越嚴峻。本文主要介紹了京東商城設計和實踐的一套高可靠，高效能的負載均衡器，我們命名為SKYLB。是一個使用intel DPDK報文轉發庫，實現執行在通用X86伺服器上自研的分散式負載均衡服務。配合網路路由器的OSPF或者

nginx負載均衡，基於windows

1、下載tomcat,https://tomcat.apache.org/download-80.cgi 這邊用的是windows 64位的tomcat8 2、下載nginx,http://tengine.taobao.org/nginx_docs/en/download.html 3、將

Apache服務器反向代理，負載均衡，熱備份

pass eve oca apache服務 8.0 pro 最大 均衡 apache服務器 負載均衡： 第一步：首先下載安裝apache，我選擇的是Apache2.2.19. 第二步：修改apache安裝目錄下的conf/httpd.conf,打開如下配置（默認註釋掉了）

nginx.conf 配置 （反向代理，負載均衡，fastdfs model)

sta remote lena processes ngx type pem events timeout #user nobody;worker_processes 1; #error_log logs/error.log;#error_log logs/error

個人技能總結7--Apache服務器反向代理，負載均衡，熱備份+Tomcat配置

conf 處的 配置文件 mon stat 服務 tor requests httpd 負載均衡： 第一步：首先下載安裝apache，我選擇的是Apache2.2.19. 第二步：修改apache安裝目錄下的conf/httpd.conf,打開如下配置（默認註釋掉了） 　

mysql+mycat搭建穩定高可用集群，負載均衡，主備復制，讀寫分離

root用戶 架構 .bat 出現 內存 ace 權威指南 上層 復制 主要思路 測試環境 實現mysql主備復制 配置A主mysql 配置B備mysql 驗證同步配置結果 驗證是否同步 關閉B備mysql的同步，驗證讀寫分離

Nginx+Tomcat反向代理之負載均衡，redis存放session，keepalived暫未搭建

註意 image 依次 shutdown 占用 securecrt moni secure memcache 由於公司特定機器還未申請到位，本人之前對這一塊也不是很了解，所以前期需要先探路的原因，直接在阿裏雲上申請了一臺測試機，這裏部署的所有服務及操作全部在一臺機器上，經過

LNMP（Nginx負載均衡，SSL原理，Nginx配置SSL，生產SSL密鑰對）

orm mage 解碼 web服務 bind 先來 mkdir padding ddr 一、Nginx負載均衡負載均衡：單從字面上的意思來理解就可以解釋N臺服務器平均分擔負載，不會因為某臺服務器負載高宕機而某臺服務器閑置的情況。那麽負載均衡的前提就是要有多臺服務器才能實現，

基於etcd的Rabbitmq隊列訂閱負載均衡

執行 發布 scrip man 終端 imp wget require 存在 go-qb Load balancer for rabbitmq queue subscribing Feature Rabbitmq queue subscription load balan

批量同步代碼：有3臺服務器（A，B，C）做負載均衡，由於規模太小目前並未使用專業的自動化運維工具

rda 屬性。 環境變量 再次 由於 執行 http sleep 依次 需求背景是：一個業務，有3臺服務器（A，B，C）做負載均衡，由於規模太小目前並未使用專業的自動化運維工具。有新的需求時，開發同事改完代碼會把變更上傳到其中一臺服務器A上。但是其他2臺服務器也需要做相同變

dubbo容錯，負載均衡，協議

帶來 為什麽 div 字符 廣播 cache lib 基於 調用 8.負載均衡 dubbo提供4種負載均衡方式: Random，隨機，按權重配置隨機概率，調用量越大分布越均勻，默認是這種方式 RoundRobin，輪詢，按權重設置輪詢比例，如果存在比較慢的機器容易在這臺

nginx負載均衡，

nginx負載均衡 配置個人SSL 代理服務器後面有多個web服務器upstream 模塊dig 命令 域名解析編輯新配置文件ip_hash 同一個用戶保持在一個機器上不支持去代理httpsssl 原理https 是加密的傳輸每次傳輸都是隨機的生成SSL密鑰對生成密鑰轉換key 去掉密鑰密碼-in

負載均衡，NAT，ACL，VTP，DHCP，熱備份，路由OSPF

負載均衡 NAT ACL DHCP OSPF Vtp配置sw1(config)#vtp do abcsw1(config)#vtp mo sersw1(config)#vtp v 2sw1(config)#vtp prun·sw2(config)#vtp do aaasw2(config)

nginx負載均衡，ssl原理，生成ssl秘鑰對，nginx配置ssl

nginx負載均衡ssl原理生成ssnginx負載均衡 編輯配置文件重新加載，驗證成功，圖太大， 截圖一部分。 ssl原理 生成ssl密鑰對 nginx配置ssl 在vhost下創建ssl配置文件驗證報錯，查看環境需要重新編輯nginx，查看可用的編輯模塊重新編輯，make make install 驗

負載均衡，LVS

lvm負載均衡介紹 LVS介紹 有三種模式1.NAT模式，訪問量很大的時候分發器就成為瓶頸2.IP Tunnel模式： 3.DR模式 LVS的調度算法 一共八種，前面四種比較常用，後面用的比較少 LVS NAT模式搭建 1.設置IP地址分發器：內網：188.130 外網：252.147（僅主

Nginx負載均衡，ssl原理，生成ssl密鑰對，Nginx配置ssl

ssl nginx Nginx負載均衡負載均衡就是：將本應該這臺機器（或集群）要處理的請求（工作或負載），根據一定的算法，平均地分配到其他的機器（或集群）上去處理，這樣可以大大減少這臺機器（或集群）的工作量，防止因負載過大而造成響應超時或down機等意外情況的發生。一般大的網站和系統都使用了負載均衡！