2. 程式人生 > >kubernetes Traefik ingress配置詳解

kubernetes Traefik ingress配置詳解

阿新 • • 發佈：2019-04-12
需要 不可 hosts 解析 nec 更新 行修改 ade sad

理解Ingress

簡單的說，ingress就是從kubernetes集群外訪問集群的入口，將用戶的URL請求轉發到不同的service上。Ingress相當於nginx、apache等負載均衡方向代理服務器，其中還包括規則定義，即URL的路由信息，路由信息得的刷新由Ingress controller來提供。

理解Ingress Controller

Ingress Controller 實質上可以理解為是個監視器，Ingress Controller 通過不斷地跟 kubernetes API 打交道，實時的感知後端 service、pod 等變化，比如新增和減少 pod，service 增加與減少等；當得到這些變化信息後，Ingress Controller 再結合下文的 Ingress 生成配置，然後更新反向代理負載均衡器，並刷新其配置，達到服務發現的作用。

部署Traefik

Traefik是一款開源的反向代理與負載均衡工具。它最大的優點是能夠與常見的微服務系統直接整合，可以實現自動化動態配置。目前支持Docker, Swarm, Mesos/Marathon, Mesos, Kubernetes, Consul, Etcd, Zookeeper, BoltDB, Rest API等等後端模型。

配置文件

ingress-rbac.yaml

apiVersion: v1
kind: ServiceAccount
metadata:
  name: ingress
  namespace: kube-system

---

kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: ingress
subjects:
  - kind: ServiceAccount
    name: ingress
    namespace: kube-system
roleRef:
  kind: ClusterRole
  name: cluster-admin
  apiGroup: rbac.authorization.k8s.io

創建名為traefik-ingress的ingress，文件名ingress.yaml

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: traefik-ingress
  namespace: default
spec:
  rules:
  - host: traefik.locust.io
    http:
      paths:
      - path: /
        backend:
          serviceName: locust-master　　　　#確保此service-name在 上面指定的namespace中
          servicePort: 8089

這其中的backend中要配置default namespace中啟動的service名字，如果你沒有配置namespace名字，默認使用default namespace，如果你在其他namespace中創建服務想要暴露到kubernetes集群外部，可以創建新的ingress.yaml文件，同時在文件中指定該namespace，其他配置與上面的文件格式相同。。path就是URL地址後的路徑，如traefik.frontend.io/path，service將會接受path這個路徑，host最好使用service-name.filed1.filed2.domain-name這種類似主機名稱的命名方式，方便區分服務。

根據你自己環境中部署的service的名字和端口自行修改，有新service增加時，修改該文件後可以使用kubectl replace -f ingress.yaml來更新。

使用DaemonSet類型來部署Traefik,文件名 treafik.yml

apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
  name: traefik-ingress-lb
  namespace: kube-system
  labels:
    k8s-app: traefik-ingress-lb
spec:
  template:
    metadata:
      labels:
        k8s-app: traefik-ingress-lb
        name: traefik-ingress-lb
    spec:
      terminationGracePeriodSeconds: 60
      hostNetwork: true
      restartPolicy: Always
      serviceAccountName: ingress
      containers:
      - image: traefik
        name: traefik-ingress-lb
        resources:
          limits:
            cpu: 200m
            memory: 30Mi
          requests:
            cpu: 100m
            memory: 20Mi
        ports:　　　　　　　　　　#暴露端口
        - name: http
          containerPort: 80
          hostPort: 80
        - name: admin
          containerPort: 8580
          hostPort: 8580
        args:
        - --web
        - --web.address=:8580
        - --kubernetes
      #nodeSelector:
        #edgenode: "true"

查看pod信息並訪問ui(需要配置)

http://10.10.10.12:8580/dashboard/

如下所示

技術分享圖片

默認情況下是沒任何東西的

使用下面的yaml配置來創建Traefik的ingress，文件名 ui.yml

apiVersion: v1
kind: Service
metadata:
  name: traefik-web-ui
  namespace: kube-system
spec:
  selector:
    k8s-app: traefik-ingress-lb
  ports:
  - name: web
    port: 80
    targetPort: 8580
---
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: traefik-web-ui
  namespace: kube-system
spec:
  rules:
  - host: test.traefik-ingress.io
    http:
      paths:
      - path: /
        backend:
          serviceName: traefik-web-ui
          servicePort: web

創建

kubectl create -f .

部署Locust的Controller和Service

locust是啥。。自行百度

$ git clone https://github.com/rootsongjc/distributed-load-testing-using-kubernetes.git

$ cd distributed-load-testing-using-kubernetes/kubernetes-config

修改locust-master-cotnroller中spec.template.spec.containers.env字段中的value為你sample-webapp service的名字（要進行壓力測試的服務的地址）。例：

- name: TARGET_HOST
  value: http://jenkins.kube-system.svc.cluster.local:8080

部署locust-master

$ kubectl create -f locust-master-controller.yaml
$ kubectl create -f locust-master-service.yaml

部署locust-worker

$ kubectl create -f locust-worker-controller.yaml

#worker擴容
$ kubectl scale --replicas=20 replicationcontrollers locust-worker

配置Traefik

ingress.yaml中加入如下配置(上面已經配置)：

 - host: traefik.locust.io
    http:
      paths:
      - path: /
        backend:
          serviceName: locust-master　　　　#namespace要寫對
          servicePort: 8089

然後執行kubectl replace -f ingress.yaml即可更新traefik。

本地配置host,然後訪問traefik.locust.io

技術分享圖片

start swarming就會開始測試

設置邊緣節點

首先解釋下什麽叫邊緣節點（Edge Node），所謂的邊緣節點即集群內部用來向集群外暴露服務能力的節點，集群外部的服務通過該節點來調用集群內部的服務，邊緣節點是集群內外交流的一個Endpoint。

邊緣節點要考慮兩個問題

  • 邊緣節點的高可用，不能有單點故障，否則整個kubernetes集群將不可用
  • 對外的一致暴露端口，即只能有一個外網訪問IP和端口

在Kubernetes中添加了service的同時，在DNS中增加一個記錄，這條記錄需要跟ingress中的host字段相同，IP地址即VIP的地址，本示例中是10.10.10.166，這樣集群外部就可以通過service的DNS名稱來訪問服務了。

選擇Kubernetes的兩個個node作為邊緣節點，並安裝keepalived，下圖展示了邊緣節點的配置，同時展示了向Kubernetes中添加服務的過程。

技術分享圖片

配置說明

需要對原先的traefik ingress進行改造，從以Deployment方式啟動改成DeamonSet。還需要指定一個與node在同一網段的IP地址作為VIP，這裏指定成10.10.10.166，配置keepalived前需要先保證這個IP沒有被分配。。

  • Traefik以DaemonSet的方式啟動
  • 通過hostPort暴露端口
  • 當前VIP漂移到10.10.10.166上
  • Traefik根據訪問的host和path配置，將流量轉發到相應的service上

  • 安裝keepalived並配置

yum install keepalived ipvsadm

配置

! Configuration File for keepalived

global_defs {
   notification_email {
     [email protected]
   }
   notification_email_from [email protected]
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        10.10.10.166
    }
}

virtual_server 10.10.10.166 80{
    delay_loop 6
    lb_algo loadbalance
    lb_kind DR
    nat_mask 255.255.255.0
    persistence_timeout 0
    protocol TCP

    real_server 10.10.10.12 80{
        weight 1
        TCP_CHECK {
        connect_timeout 3
        }
    }
    real_server 10.10.10.162 80{
        weight 1
        TCP_CHECK {
        connect_timeout 3
        }
    }
}

Realserver的IP和端口即traefik供外網訪問的IP和端口。將以上配置分別拷貝到另外一臺node的/etc/keepalived目錄下。

使用轉發效率最高的lb_kind DR直接路由方式轉發，使用TCP_CHECK來檢測real_server的health。

設置keepalived為開機自啟動：

chkconfig keepalived on

啟動keepalived

systemctl start keepalived

node都啟動了keepalived後，觀察eth0的IP，會在兩臺node的某一臺上發現一個VIP是10.10.10.166。

  • 從新配置traefik ingress

由於上面配置了keepalived，此時，本地hosts 文件的解析地址可以寫成10.10.10.166，使用基於域名的traefik ingress

以上面的locust為例，配置traefik ingress如下

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: traefik-ingress
  namespace: default
  annotations:　　　　　　　　　　　　　　　　　　#必須指定
    kubernetes.io/ingress.class: traefik
    traefik.frontend.rule.type: PathPrefixStrip
spec:
  rules:
  #- host: traefik.locust.io
  - host: test.traefik-ingress.io
    http:
      paths:
      - path: /locust　　　　　　#此處配置了url，上面必須指定annotations指定的配置
        backend:
          serviceName: locust-master
          servicePort: 8089

創建好以後，訪問 test.traefik-ingress.io/locust

其他服務同理，host可寫test.traefik-ingress.io，只配置path用於區分不同的服務，訪問的時候訪問host/path即可

Traefik在Kubernetes中Annotate的配置

通用配置

kubernetes.io/ingress.class: traefik   　　　　#Ingress聲明，這裏聲明了ingress後端采用traefik實現，而不是nginx的controller

ingress.kubernetes.io/whitelist-source-range: "1.2.3.0/24, fe80::/16" 　　　　#配置訪問白名單，支持ipv4和ipv6

ingress.kubernetes.io/auth-type: basic        　　#http認證模式，此處為basic模式

ingress.kubernetes.io/auth-secret: mysecret      #basic認證的對應的username和password，這裏對應的traefik所在kubernetes命名空間裏的secrets


前端配置

traefik.frontend.rule.type: PathPrefixStrip

traefik.frontend.priority: "3"　　　　　　#配置前端的權重，值越高則優先匹配

traefik.frontend.passHostHeader: "false"　　　　　　#關閉傳入Hearder

traefik.protocol=https　　　　　　　　#使用https協議

traefik.frontend.entryPoints=http,https　　　　　　#同時支持http和https


後端配置

traefik.backend.loadbalancer.method=drr  　　　　　　#後端Service的負載均衡策略，目前traefik支持的策略包括：wrr（加權輪訓調度算法）和drr（動態加權循環調度算法）

traefik.backend.loadbalancer.stickiness=true 　　　　　　#是否開啟負載均衡器的session親和性

traefik.backend.loadbalancer.stickiness.cookieName=NAME　　　　#手動配置後端session親和性的cookie名稱

traefik.backend.loadbalancer.sticky=true

棄用

健康檢查

traefik.backend.healthcheck.path=/health

traefik的監控檢查路徑

traefik.backend.healthcheck.interval=5s

健康檢查的時間間隔

traefik.backend.circuitbreaker: "NetworkErrorRatio() > 0.5"

監測某臺節點上的服務錯誤率達到50%時，自動下線該節點。

traefik.backend.circuitbreaker: "LatencyAtQuantileMS(50.0) > 50"

監測某臺節點上服務的延時大於50ms時，自動下線該節點。

traefik.backend.circuitbreaker: "ResponseCodeRatio(500, 600, 0, 600) > 0.5"

監測某臺節點上服務返回狀態碼為[500-600]在[0-600]區間占比超過50%時，自動下線該節點。

kubernetes Traefik ingress配置詳解

相關推薦

kubernetes Traefik ingress配置詳解

需要 不可 hosts 解析 nec 更新 行修改 ade sad 理解Ingress 簡單的說，ingress就是從kubernetes集群外訪問集群的入口，將用戶的URL請求轉發到不同的service上。Ingress相當於nginx、apache等負載均衡方向代理服

setting.xml 配置詳解

校驗 找不到 順序 裁剪 全局 -- mls leg 觸發 文件存放位置 全局配置: ${M2_HOME}/conf/settings.xml 用戶配置: ${user.home}/.m2/settings.xml note：用戶配置優先於全局配置。${user.home}

【Spring】Spring MVC原理及配置詳解

進行 return sub sca scrip uil 線程安全 松耦合 必須 1.Spring MVC概述： Spring MVC是Spring提供的一個強大而靈活的web框架。借助於註解，Spring MVC提供了幾乎是POJO的開發模式，使得控制器的開發和測試更加簡

kafka參數配置詳解

kafka 參數 broker.idbroker的唯一標識符，如果不配置則自動生成，建議配置且一定要保證集群中必須唯一，默認-1log.dir日誌數據存放的目錄，默認/tmp/kafka-logslog.dirs日誌數據存放的目錄，如果沒有配置則使用log.dir，建議此項配置。zookeeper.c

Lnux系統網卡綁定配置詳解

ole osd 接口 當前 onf prim multi pac lin 一、CentOS 配置網卡綁定（bonding） 1、bonding概述 （1）作用：就是將多塊網卡綁定同一IP地址對外提供服務，可以實現高可用或者負載均衡。當然，直接給兩塊網卡設置同一IP地址是不可

Nginx配置詳解

set 文件結構 時也 解決方案 ces 反向代理服務器 use 力量 第三方模塊 最近在搞nginx和tomcat 以及apache的集群。下面是參考的一片很不錯的關於nginx配置的詳細講解： http://www.cnblogs.com/knowledgesea/p/

Apache配置詳解

搜索 相對 第一個 form 執行權限 php 時有 多個 direct Apache的配置由httpd.conf文件配置，因此下面的配置指令都是在httpd.conf文件中修改。 主站點的配置(基本配置) (1) 基本配置: ServerRoot "/mnt/softwa

緩存varnish的管理及配置詳解

啟動 一個 hint 單位 quad spec int rom try 一 工作原理 在當前主流的Web服務架構體系中，Cache擔任著越來越重要的作用。常見的基於瀏覽器的C/S架構，Web Cache更是節約服務器資源的關鍵。而最近幾年由FreeBSD創始人之一Kamp開

日誌配置詳解

lin XML html表格 記錄 文件中 對齊方式 oca read val #①配置根Logger，其語法為： # #log4j.rootLogger = [level],appenderName,appenderName2,... #level是日誌記錄的優先級，分為

phpmyadmin配置詳解

php phpmyadmin配置文件中的一個，路徑為libraries/config.default.php，可以修改若幹配置，其中，only_db可以配置在web端顯示的數據庫本文出自 “12968673” 博客，請務必保留此出處http://12978673.blog.51cto.com/1296867

DNS配置詳解 bind實現正向解析和反向解析

cell 8.4 -s intern 資源記錄 ted borde linux系統 ans DNS是域名服務（Domain Name Service)，負責把域名解析成IP地址（正向解析）或者把IP地址解析為域名（反向解析）。 DNS查詢過程： 假設我們要訪問www.a

MySQL5.6 數據庫主從（Master/Slave）同步安裝與配置詳解

inux bind 主從配置 希望 master 強調 數據庫主從 ria 配置文件 目錄(?)[+] 安裝環境 操作系統 ：CentOS 6.5 數據庫版本：MySQL 5.6.27 主機A：192.168.1.1 （Master） 主機B：192.168.

web緩存服務器varnish-4.1.6的部署及配置詳解

是否 次數 tool 至少 hits 檢查 rep nat list web緩存服務器varnish-4.1.6的部署及配置詳解 1.安裝varnish4.1.6安裝依賴 yum install -y autoconf automake jemalloc-devel li

web.xml配置詳解

知識 其他 location 參數 pin systems doctype doc clu web.xml配置詳解 引文： 對於一個J2EE領域的程序員而言，基本上每天都會和web應用打交道。 什麽是web應用？最簡單的web應用什麽樣？給你一個web應用你該從何入手

mybatis一對一映射配置詳解

技術分享 iat rom cti 加載 文件中 src 裏的 new 聽說mybatis一對一有三種寫法，今天我試了一下。 數據庫表準備 為了偷懶，我直接就拿用戶權限菜單裏的菜單表和菜單與權限的中間表做實現，他們原來是多對多的關系，這邊我假設這兩張表是一對一。 表 g

CentOS Apache配置詳解

先來 page over oca 基於ip chmod 程序 ror 接收 要想在linux上實現網頁服務器（www）需要Apache這個服務器軟件，不過Apache僅能提供最基本的靜態網站數據而已，想要實現動態網站的話，最好還是要PHP與MySQL的支持，所以下面我們將會

Nginx配置文件（nginx.conf）配置詳解

最好 緩沖區 網絡io dev mp3 forward val eight 超時 Nginx的配置文件nginx.conf配置詳解如下： user nginx nginx ; Nginx用戶及組：用戶 組。window下不指定 worker_process

PLSQL連接Oracle 數據庫配置詳解

evel 目錄 win32 asi ges network con 配置詳解 soft 1. 下載instantclient-basic-win32-11.2.0.1.0 （oracle官網下載地址:http://www.oracle.com/technetwork/t

09-nginx常用配置詳解

accept 用戶與用戶組 oot 進程資源 常用 brush pan nts 還要 Nginx配置分為各個配置塊，主配置塊負責全局配置，子配置塊可以繼承全局配置，也可以相應的配置不同設置。 main block:主配置（全局配置） event{

saltstack 安裝配置詳解

saltstackSaltStack是一個服務器基礎架構集中化管理平臺，具備配置管理、遠程執行、監控等功能，一般可以理解為簡化版的puppet和加強版的func。SaltStack基於Python語言實現，結合輕量級消息隊列（ZeroMQ）與python第三方模塊（Pyzmq、PyCrypto、Pyjinji