1. 程式人生 > >Ocelot + Consul實踐

Ocelot + Consul實踐

關於Consul(https://www.consul.io)是一個分散式,高可用,支援多資料中心的服務發現和配置共享的服務軟體,由 HashiCorp 公司用 Go 語言開發, 基於 Mozilla Public License 2.0 的協議進行開源。 在Consul的文件上,Consul 支援Service Discovery, Health Checking, Key/Value Store, Multi DataCenter。運用Consul,可以在系統中build複雜的應用和服務的發現等。本文不是Consul的學習重點,關於更多Consul的學習,可參考:http://blog.csdn.net/column/details/consul.html

閱讀本部落格的前提是對Consul中資料中心,節點,服務,健康檢查等名詞,一些基本的consul命令,Consul UI的使用有一定的瞭解。

Ocelot對Consul支援是天生整合,在OcelotGateway專案中configuration.json配置就可以開啟consul+ocelot的使用,這套組合可以實現什麼功能呢?

服務註冊,服務發現,API閘道器(ocelot固有,不作說明),負載均衡,限流,熔錯告警,彈性和瞬態故障處理

一、服務治理:服務註冊,服務發現

服務註冊和服務發現都是Consul自有的功能,可以通過Consul的http api完成註冊或發現,我寫了個NuGet庫ConsulSharp(https://github.com/axzxs2001/ConsulSharp),可以在.net core下完成服務的註冊和發現,建議服務註冊做到一個統一的管理平臺裡,為了測試方便,可以在Consul的配置文裡先配置服務,每次Consul啟動時,自動註冊;關於服務發現,Ocelot自動可以完成,只需要在OcelotGateway專案中configuration.json進行配置就可以,接下來我們看看怎麼配置。

再下載Consul配置檔案(這個配置檔案是適合本例Demo的,可根據具體給你個況調整)https://github.com/axzxs2001/Asp.NetCoreExperiment/tree/master/Asp.NetCoreExperiment/ConsulOcelot/consul

conf資料夾:consul存放配置檔案

dist資料夾:consul UI,一個小的consul資訊展示門戶

data資料夾:consul啟動後存放consul的生成的資料和檔案,在執行consul前可以清空此資料夾

Consul的配置檔案如下:

{

  "encrypt": "7TnJPB4lKtjEcCWWjN6jSA==
", "services": [ { "id": "API001", "name": "API001", "tags": [ "API001" ], "address": "192.168.1.99", "port": 5001, "checks": [ { "id": "API001_Check", "name": "API001_Check", "http": "http://192.168.1.99:5001/health", "interval": "10s", "tls_skip_verify": false, "method": "GET", "timeout": "1s" } ] }, { "id": "API002", "name": "API002", "tags": [ "API002" ], "address": "192.168.1.99", "port": 5002, "checks": [ { "id": "API002_Check", "name": "API002_Check", "http": "http://192.168.1.99:5002/health", "interval": "10s", "tls_skip_verify": false, "method": "GET", "timeout": "1s" } ] } ] }

兩個服務API001和API002,跟著兩個健康檢查API001_Check和API002_Check

基於consul服務的配置,現在建立三個asp.net core web api專案

OcelotGateway實現引入Ocelot閘道器,API001,API002實現健康檢查的兩個get請求。

測試服務註冊和發現:

1、 啟動consul

consul agent -server -datacenter=dc1 -bootstrap -data-dir ./data -config-file ./conf -ui-dir ./dist -node=n1 -bind 本機IP -client=0.0.0.0

再啟動一個consul,檢視狀態,命令:consul operator raft list-peers

結果:

Node  ID                                    Address            State   Voter  RaftProtocol

n1    dad74de2-173d-1c1e-add0-975a243b59eb  192.168.1.99:8300  leader  true   3

用Consul UI檢視

services:

 

nodes:

可以看到API001和API002服務,並且健康檢查都是正常的。

2、 配置Ocelot閘道器

configuration.json檔案如下(關於ocelot配置檔案,詳見http://ocelot.readthedocs.io/en/latest/features/configuration.html):

{

  "ReRoutes": [

    {

      "DownstreamPathTemplate": "/api/values",

      "DownstreamScheme": "http",

      "DownstreamHostAndPorts": [

        {

          "Host": "localhost",

          "Port": 5001

        }

      ],

      "UpstreamPathTemplate": "/api001/values",

      "UpstreamHttpMethod": [ "Get" ],

      "ServiceName": "API001",

      "LoadBalancer": "RoundRobin",

      "UseServiceDiscovery": true,

      "ReRouteIsCaseSensitive": false,

      "QoSOptions": {

        "ExceptionsAllowedBeforeBreaking": 3,

        "DurationOfBreak": 10,

        "TimeoutValue": 5000

      },

      "HttpHandlerOptions": {

        "AllowAutoRedirect": false,

        "UseCookieContainer": false,

        "UseTracing": false

      },

      "AuthenticationOptions": {

        "AuthenticationProviderKey": "",

        "AllowedScopes": []

      },

      "RateLimitOptions": {

        "ClientWhitelist": [ "admin" ],

        "EnableRateLimiting": true,

        "Period": "1m",

        "PeriodTimespan": 15,

        "Limit": 5

      }

    },

    {

      "DownstreamPathTemplate": "/notice",

      "DownstreamScheme": "http",

      "DownstreamHostAndPorts": [

        {

          "Host": "localhost",

          "Port": 5001

        }

      ],

      "UpstreamPathTemplate": "/notice",

      "UpstreamHttpMethod": [ "Post" ],     

      "ReRouteIsCaseSensitive": false,

      "QoSOptions": {

        "ExceptionsAllowedBeforeBreaking": 3,

        "DurationOfBreak": 10,

        "TimeoutValue": 5000

      },

      "HttpHandlerOptions": {

        "AllowAutoRedirect": false,

        "UseCookieContainer": false,

        "UseTracing": false

      },

      "AuthenticationOptions": {

        "AuthenticationProviderKey": "",

        "AllowedScopes": []

      }   

    },

    {

      "DownstreamPathTemplate": "/api/values",

      "DownstreamScheme": "http",

      "DownstreamHostAndPorts": [

        {

          "Host": "localhost",

          "Port": 5002

        }

      ],

      "UpstreamPathTemplate": "/API002/values",

      "UpstreamHttpMethod": [ "Get" ],

      "QoSOptions": {

        "ExceptionsAllowedBeforeBreaking": 3,

        "DurationOfBreak": 10,

        "TimeoutValue": 5000

      },

      "ServiceName": "API002",

      "LoadBalancer": "RoundRobin",

      "UseServiceDiscovery": true,

      "HttpHandlerOptions": {

        "AllowAutoRedirect": false,

        "UseCookieContainer": false

      },

      "AuthenticationOptions": {

        "AuthenticationProviderKey": "",

        "AllowedScopes": []

      },

      "RateLimitOptions": {

        "ClientWhitelist": [ "user" ],

        "EnableRateLimiting": true,

        "Period": "1m",

        "PeriodTimespan": 15,

        "Limit": 5

      }

    }

  ],

  "GlobalConfiguration": {

    "ServiceDiscoveryProvider": {

      "Host": "localhost",

      "Port": 8500

    },

    "RateLimitOptions": {

      "ClientIdHeader": "client_id",

      "QuotaExceededMessage": "Too Many Requests!!!",

      "DisableRateLimitHeaders": false

    }

  }

}

啟動OcelotGateway,API001,API002專案,通過http://localhost:5000/api001/values,和http://localhost:5000/api002/values訪問;因為Ocelot配置了Consul的服務治理,所以可以通過配置的服務名稱和GlobalConfiguratin的Consul http api介面查詢到對應服務的地址,進行訪問,這些都是Ocelot幫我們做,這點很容易證明,可以修改Consul配置檔案中服務的address為錯誤IP,就會發現通過5000埠訪問不成功。

二、負載均衡

負載均衡需要啟動多個API001和API002,才能進行測試,所以釋出API001和API002專案,並複製到一個與192.168.1.99在一個區域網的電腦中,同時把Consul和它的配置,UI檔案也複製到這臺電腦上,閘道器專案OcelotGateway不需要,假設另外一臺電腦為192.168.1.126

首先修改Consul的配置檔案如下

{

  "encrypt": "7TnJPB4lKtjEcCWWjN6jSA==",

  "services": [

    {

      "id": "API001",

      "name": "API001",

      "tags": [ "API001" ],

      "address": "192.168.1.126",

      "port": 5001,

      "checks": [

        {

          "id": "API001_Check",

          "name": "API001_Check",

          "http": "http://192.168.1.126:5001/health",

          "interval": "10s",

          "tls_skip_verify": false,

          "method": "GET",

          "timeout": "1s"

        }

      ]

    },

    {

      "id": "API002",

      "name": "API002",

      "tags": [ "API002" ],

      "address": "192.168.1.126",

      "port": 5002,

      "checks": [

        {

          "id": "API002_Check",

          "name": "API002_Check",

          "http": "http://192.168.1.126:5002/health",

          "interval": "10s",

          "tls_skip_verify": false,

          "method": "GET",

          "timeout": "1s"

        }

      ]

    }

  ]

}

在192.168.1.126下啟動API001,API002專案

啟動consul

consul agent -server -datacenter=dc1 -data-dir ./data -config-file ./conf -ui-dir ./dist -node=n2 -bind 192.168.1.126

同樣,在192.168.1.126下用Consul UI檢視各服務是否正常

在192.168.1.99下,把192.168.1.126加到叢集中,命令如下

consul join 192.168.1.126

注意,consul叢集中,consul配置檔案中的encrypt,一定要相同,否則無法放加入同一個叢集

用consul operator raft list-peers檢視狀態,會發現n1,n2在一個叢集中了

Node  ID                                    Address             State     Voter  RaftProtocol

n1    dad74de2-173d-1c1e-add0-975a243b59eb  192.168.1.99:8300   leader    true   3

n2    efe954ce-9840-5c66-fa80-b9022167d782  192.168.1.126:8300  follower  true   3

些時在瀏覽器中多次訪問view-source:http://localhost:5000/api001/values或view-source:http://localhost:5000/api002/values,會發現返回的內容是交替出現的,因為只有兩個相同的API在叢集中,這樣就實現了負載均衡。

 

三、限流

限流是通過configuration.json配置完成的,具體值詳見http://ocelot.readthedocs.io/en/latest/features/ratelimiting.html

每個要限流Route中

    "RateLimitOptions": {

        "ClientWhitelist": [ "admin" ],

        "EnableRateLimiting": true,

        "Period": "1m",

        "PeriodTimespan": 15,

        "Limit": 5

      }
GlobalConfiguration中

    "RateLimitOptions": {

      "ClientIdHeader": "client_id",

      "QuotaExceededMessage": "too more request",

      "DisableRateLimitHeaders": false

}

需要說明的是如果配置ClientWithelist白名單,需要在訪問api的客戶端新增一個Header專案,key為client_id,值為admin,此客戶端就不受限流控制

為了測試限流建立 TestClient控制檯程式進行測試,交果如下圖,在一分鐘內,用adminclinet訪問API001超過五次也可以,訪問API002,只能五次

 

四、熔錯告警

熔斷保護在Consul中和Ocelot中都有實現,意義當一個服務不正常時,首先不影響正常使用(因為服務作了叢集,可以把請求轉到別的伺服器上),二是發生問題,應該用所告警。Ocelot負載均衡可以自動發現服務出問題(Consul有健檢查),並停止對異常服務請求;告警是通過Consul配置檔案實現的,關於watches參看https://www.consul.io/docs/agent/watches.html

{

  "watches": [

    {

      "type": "checks",

      "handler_type": "http",

      "state": "critical",

      "http_handler_config": {

        "path": "http://192.168.1.99:5000/notice",

        "method": "POST",

        "timeout": "10s",

        "header": { "Authorization": [ "token" ] }

      }

    }

  ]

}

在consul啟動時,會載入conf下的所有json檔案,因為是json內容是watches節點,consul會作特定處理。

同時http://192.168.1.99:5000/notice對映的http://localhost:5001/notice中作了一個發郵件的操作,把發生異常的服務資訊傳送給對應郵箱,這裡注意,測試時,不要關了API001測試,因為發郵件的功能在這個專案裡,可以關掉API002測試,真實環境中,這塊肯定是獨立專案處理,並且採用叢集的,效果如下:

 

關掉192.168.1.99下的API2,作業報警郵件會提示準確的檢查錯誤和服務名稱。

五、彈性和瞬態故障處理

相關推薦

Ocelot + Consul實踐

關於Consul(https://www.consul.io)是一個分散式,高可用,支援多資料中心的服務發現和配置共享的服務軟體,由 HashiCorp 公司用 Go 語言開發, 基於 Mozilla Public License 2.0 的協議進行開源。 在Consul的文件上,Consul 支援Servi

Ocelot Consul ACL

Ocelot允許您指定服務發現提供程式,並使用它來查詢Ocelot正在將請求轉發給下游服務的主機和埠。目前,這僅在GlobalConfiguration部分中受支援,這意味著所有ReRoute將使用相同的服務發現提供程式,以便在ReRoute級別指定ServiceName。 Consul

Ocelot Consul

1首先建立一個json的配置檔案,檔名隨便取,我取Ocelot.json  這個配置檔案有兩種配置方式,第一種,手動填寫 服務所在的ip和埠;第二種,用Consul進行服務發現 第一種如下: { "ReRoutes": [ { //轉發處理格式

【3分鐘就會系列】使用Ocelot+Consul搭建微服務吧!

  【3分鐘就會系列】使用Ocelot+Consul搭建微服務吧!   1|0一.什麼Ocelot?   API閘道器是一個伺服器,是系統的唯一入口。API 閘道器一般放到微服務的最前端,並且要讓API 閘道器變成由應用所發起的每個請求

ConsulConsul實踐指導-Watch機制

        Watches是檢視指定資料資訊的一種方法,比如檢視nodes列表、鍵值對、健康檢查。當監控到更新時,可以呼叫外部處理程式——可以自定義。比如,發現健康狀態發生變化可以通知外部系統健康異常。         Watches在呼叫http api介面使用阻塞佇

ConsulConsul實踐指導-Agent

       ConsulAgent是Consul的核心程序,Agent的工作是維護成員關係資訊、註冊服務、健康檢查、響應查詢等等。Consul叢集的每一個節點都必須執行agent程序。 Agent有

ConsulConsul實踐指導-健康檢查(Checks)

        Consul的一個基本功能是提供系統級和應用級健康檢查。如果健康檢查與某個服務關聯,則稱為是應用級的;如果不予服務關聯,則監控整個節點的健康。 check定義在配置檔案中,或執行時通過HTTP介面新增。Check是通過HTTP與節點保持一致。 有五種che

ConsulConsul實踐指導-服務註冊(Service)

        服務發現是consul的另一主要功能。Consul Agent提供簡單的Service定義格式用於申報服務的可用性,並與健康檢查相關聯。如果健康檢查與服務關聯,則認為服務是應用級的。服務可以定義在配置檔案中或在執行時通過HTTP介面新增。  1.1.1  S

Ocelot入門實踐

執行 lec fig pst pla program base 分享交流 模板 博主是第一次寫技術文檔,一是對這兩年工作以來的一些技術和經驗進行整理,二也是希望能和大家多多分享交流,如有寫的不對的地方望大家多多指正。進入正題 Ocelot 概念就不說了,大家自行

Ocelot+Consul實現微服務架構

API閘道器   API 閘道器一般放到微服務的最前端,並且要讓API 閘道器變成由應用所發起的每個請求的入口。這樣就可以明顯的簡化客戶端實現和微服務應用程式之間的溝通方式。以前的話,客戶端不得不去請求微服務A,然後再到微服務B,然後是微服務C。客戶端需要去知道怎麼去一起來消費這三個不同的service。使用

(8)ASP.NET Core3.1 Ocelot Consul服務註冊與發現

1.服務註冊與發現(Service Discovery) ●服務註冊:我們通過在每個服務例項寫入註冊程式碼,例項在啟動的時候會先去註冊中心(例如Consul、ZooKeeper、etcd、Eureka)註冊一下,那麼客戶端通過註冊中心可以知道每個服務例項的地址,埠號,健康狀態等等資訊,也可以通過註冊中心刪除服

關於Ocelot 網關結合Consul實現服務轉發的坑爹問題

但是 如果 template streams 驗證 ports style conf 結合 下面是我的網關配置來驗證下Ocelot的問題,如果只是做網關轉發應該還ok,但是要是結合Consul來檢查並健康的轉發有效服務器還是有很多弊端 下面用代碼來說明下: {

winserver的consul部署實踐與.net core客戶端使用(附demo源碼)

指令 his on() client模式 mvc lan -s enc .com 前言 隨著微服務興起,服務的管理顯得極其重要。都知道微服務就是”拆“,把臃腫的單塊應用,拆分成多個輕量級的服務,每個服務可以在短周期內重構、叠代、交付。隨著微服務的數

winserver的consul部署 北京_賽車采集修復 實踐與.net core客戶端使用

易用 代理 ade 數據庫 訪問 需要 記錄 地址 agent 隨著微服務興起,服務的管理顯得極其重要。都知道微服務就是”拆“,把臃腫的單塊應用,拆分成多個輕量級的服務,每個服務可以在短周期內重構、叠代、交付。隨著微服務的數量增多,因量變引起了質量,帶來新的問題其中一個是服

微服務之:從零搭建ocelot閘道器和consul叢集

介紹   微服務中有關鍵的幾項技術,其中閘道器和服務服務發現,服務註冊相輔相成。 首先解釋幾個本次教程中需要的術語 閘道器 Gateway(API GW / API 閘道器),顧名思義,是企業 IT 在系統邊界上提供給外部訪問內部介面服務的統一入口,簡化了外部由於多服務協同完成

微服務之:從零搭建ocelot網關和consul集群

分享 p地址 node response sin internet server2 ont opp 原文:微服務之:從零搭建ocelot網關和consul集群介紹 微服務中有關鍵的幾項技術,其中網關和服務服務發現,服務註冊相輔相成。 首先解釋幾個本次教程中需要

Docker & Consul & Fabio & ASP.NET Core 2.0 微服務跨平臺實踐

相關博文: 閱讀目錄: Docker 執行 Consul 環境 Docker 執行 Fabio 環境 使用 Consul 註冊 ASP.NET Core 2.0 服務 使用 Docker 釋出部署 ASP.NET Core 2.0 服務 本篇博文的目的:在 Mac OS 中使用 VS Code 開發 A

Ocelot中使用Butterfly實踐

Ocelot(https://github.com/TomPallister/Ocelot)是一個用.net core實現的API閘道器,Butterfly(https://github.com/ButterflyAPM/butterfly)是用.net core實現的全程式跟蹤,現在,Ocelot中可以使用

winserver的consul部署實踐與.net core客戶端使用(附demo原始碼)

前言隨著微服務興起,服務的管理顯得極其重要。都知道微服務就是”拆“,把臃腫的單塊應用,拆分成多個

Consul初探-整合ocelot

前言 由於 Consul 的高可用性、豐富的API、友好的 Web 控制檯介面等特點,Consul 的發展非常迅猛,得益於 .NETCore 社群的快速發展和社群成員的貢獻,我們現在可以非常方便快速的將 Consul 整合到 .NETCore 中,在 Ocelot 的整合方面也是非常的便捷,在 API Gat