2. 程式人生 > 其它 >聊聊微服務釋出重啟

聊聊微服務釋出重啟

阿新 • • 發佈：2020-12-23

技術標籤：JAVA隨筆spring優雅停機微服務java

1. 概述

在微服務架構體系下，服務的每一個節點都不應該是單點。每個服務都是叢集部署，這樣服務的釋出會非常頻繁。對於在大流量請求下，如何保證服務節點的釋出過程中不影響任何一個業務請求往往會被忽略掉。
在分散式系統中，一個請求的異常很可能就會導致一筆業務處理失敗。業務如果沒有自修復能力的話，這筆業務就會中斷，往往需要人工介入，甚者會收到使用者投訴。
所以，在分散式微服務體系下，服務的優雅釋出也是不能忽略的一部分。

2. 服務優雅釋出流程

2.1 服務的釋出流程

  • 服務自檢
    • 服務初始化配置是否正確
    • 依賴的中介軟體是否連線成功(如：db, redis, mq 等)
    • 可參考spring boot actuator
  • 匯入流量
    • 流量匯入應該按照比率遞增，避免突然的高流量導致內部的連線池等元件異常

2.2 服務的停止流程

  • 入口流量
    • http呼叫
    • rpc呼叫
    • MQ消費邏輯
    • 定時任務
    • 其他觸發業務流程入口
  • 關閉入口流量
    • 關閉流量匯入不應該使當前應用例項對應呼叫拒絕服務，應該通過服務註冊中心下線對應例項釋出的服務，通常由於通知的延後性，要保證服務下線之後依然能夠提供點對點呼叫
    • 關閉流量入口要保證現有處理中的業務流程正常執行完成

2.3 服務上線下線

基於以上的服務優雅釋出平臺的邏輯實現，我們可以實現服務的某一個臨時下線和上線的功能。臨時下線能支援線上某些特殊問題的排查。此時能保留線上執行環境，但此節點不對線上業務提供服務。

  • 下線：通知服務註冊中心下線某個例項全部服務
  • 上線：通知服務中心中心釋出某個例項全部服務

3 服務下線的實現

  • 通常微服務RPC服務釋出都類似(上圖)流程，RPC服務的下線流程比較簡單，只需要在註冊中心將本例項釋出的服務取消註冊即可
  • MQ的話只需要停止訊息的消費邏輯
  • 定時排程任務只需要將本例項排除即可
  • 以下提供幾種中介軟體下線的示例程式碼

3.1. dubbo服務下線

支援QOS的dubbo版本

import org.apache.dubbo.common.extension.ExtensionLoader;
import org.apache.dubbo.registry.Registry;
import
 
 org.apache.dubbo.registry.RegistryFactory;
import org.apache.dubbo.rpc.model.ApplicationModel;
import org.apache.dubbo.rpc.model.ProviderModel;
import org.springframework.stereotype.Component;
import java.util.Collection;
import java.util.List;

/**
 * dubbo服務上線下線
 */
public class DubboManager {

    public void onlineDubbo() {
        managerDubboService(false);
    }

    public void offlineDubbo() {
        managerDubboService(true);
    }

    private void managerDubboService(boolean disabled) {
        Collection<ProviderModel> providerModelList = ApplicationModel.getServiceRepository().getExportedServices();
        RegistryFactory registryFactory = ExtensionLoader.getExtensionLoader(RegistryFactory.class).getAdaptiveExtension();
        for (ProviderModel providerModel : providerModelList) {
            List<ProviderModel.RegisterStatedURL> statedUrls = providerModel.getStatedUrl();
            for (ProviderModel.RegisterStatedURL statedUrl : statedUrls) {
                if (disabled) {
                    if (statedUrl.isRegistered()) {
                        Registry registry = registryFactory.getRegistry(statedUrl.getRegistryUrl());
                        registry.unregister(statedUrl.getProviderUrl());
                        statedUrl.setRegistered(false);
                    }
                } else {
                    if (!statedUrl.isRegistered()) {
                        Registry registry = registryFactory.getRegistry(statedUrl.getRegistryUrl());
                        registry.register(statedUrl.getProviderUrl());
                        statedUrl.setRegistered(true);
                    }
                }
            }
        }
    }
}

低版本的dubbo實現(不夠優雅)

public void dubboOnline() {
    Collection<Registry> registries = getAllDubboRegistry();
    for (Registry registry : registries) {
        if (registry instanceof ZookeeperRegistry) {
            ZookeeperRegistry zkr = (ZookeeperRegistry) registry;
            Set<URL> registeredURL = zkr.getRegistered();
            for (URL url : registeredURL) {
                try {
                    log.info("doRegister for {}", url);
                    Method method = ReflectionUtils.findMethod(ZookeeperRegistry.class, "doRegister", URL.class);
                    method.setAccessible(true);
                    ReflectionUtils.invokeMethod(method, zkr, url);
                } catch (Exception e) {
                    log.error("doRegister for " + url.toString() + " error", e);
                }
            }
        } else {
            log.warn("not zookeeper registry, can not online");
        }
    }
}

public void dubboOffline() {
    Collection<Registry> registries = getAllDubboRegistry();
    for (Registry registry : registries) {
        if (registry instanceof ZookeeperRegistry) {
            // 暫時實現基於zookeeper註冊中心的上線下線功能，其他註冊服務暫時未實現
            ZookeeperRegistry zkr = (ZookeeperRegistry) registry;
            Set<URL> registeredURL = zkr.getRegistered();
            for (URL url : registeredURL) {
                try {
                    log.info("doUnregister for {}", url);
                    Method method = ReflectionUtils.findMethod(ZookeeperRegistry.class, "doUnregister", URL.class);
                    method.setAccessible(true);
                    ReflectionUtils.invokeMethod(method, zkr, url);
                } catch (Exception e) {
                    log.error("doUnregister for " + url.toString() + " error", e);
                }
            }
        } else {
            log.warn("not zookeeper registry, can not offline");
        }
    }
}

private Collection<Registry> getAllDubboRegistry() {
    return AbstractRegistryFactory.getRegistries();
}

3.2. HTTP服務下線

  1. HTTP服務可以通過Eureka註冊中心提供，只要取消對應例項的註冊
  2. 基於nginx的反向代理實現, 配置健康檢查nginx
# nginx upstreeam配置
http1.1:
        upstream test.domain {
            server 192.168.1.1:80;
            server 192.168.1.2:80;
            #http健康檢查
            check_keepalive_requests 10;
            check_http_send "HEAD /health/status HTTP/1.1\r\nConnection: keep-alive\r\n\r\n";
            check_http_expect_alive http_2xx http_3xx;
        }
        
http1.0:
        upstream test.domain {
            server 192.168.10.1:80;
            server 192.168.10.2:80;
            #http健康檢查
            check interval=3000 rise=2 fall=5 timeout=1000 type=http;
            check_http_send "HEAD /health/status HTTP/1.0\r\n\r\n";
            check_http_expect_alive http_2xx http_3xx;
        }

interval=3000 代表重試間隔3s;
rise=2 練習2次檢測OK後標識後端為up狀態;
fall=5 嘗試5次後失敗標識為down狀態;
timeout=1000 標識每次檢查的超時時間為1s;
type=http 代表檢查型別是http;
check_http_send "HEAD /health/status HTTP/1.0\r\n\r\n"; 指定健康檢查頁面及http協議;
check_http_expect_alive http_2xx http_3xx; 預期返回結果。

3.3. RabbitMQ服務下線

public void rabbitMqOffline() {
    for (SimpleMessageListenerContainer container : getAllRabbitMqContainer()) {
        container.stop();
    }
}

public void rabbitMqOnline() {
    for (SimpleMessageListenerContainer container : getAllRabbitMqContainer()) {
        container.start();
    }
}

private Collection<SimpleMessageListenerContainer> getAllRabbitMqContainer() {
    Set<SimpleMessageListenerContainer> set = Sets.newHashSet();
    // 獲取spring上下文物件
    ApplicationContext context = getApplicationContext();
    do {
        Collection<SimpleMessageListenerContainer> listenerContainers = context.getBeansOfType(SimpleMessageListenerContainer.class).values();
        set.addAll(listenerContainers);
        context = context.getParent();
    } while (context != null);

    return Collections.unmodifiableCollection(set);
}

3.4. ElasticJob排程下線

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;
import java.util.List;
import com.dangdang.ddframe.job.lite.internal.storage.JobNodePath;
import com.dangdang.ddframe.job.reg.base.CoordinatorRegistryCenter;
import com.dangdang.ddframe.job.util.env.IpUtils;

public class ElasticJobManager {

    // 基於spring的注入
    @Autowired(required = false)
    private List<CoordinatorRegistryCenter> list;

    /**
     * 停止當前節點的任務排程
     */
    public void disableCurrentServerScheduler() {
        setCurrentScheduler(IpUtils.getIp(), true);
    }

    /**
     * 恢復當前節點的任務排程
     */
    public void enableCurrentServerScheduler() {
        setCurrentScheduler(IpUtils.getIp(), false);
    }

    private void setCurrentScheduler(String serverIp, boolean disabled) {
        if (list == null) {
            return;
        }

        for (CoordinatorRegistryCenter regCenter : list) {
            List<String> jobNames = regCenter.getChildrenKeys("/");
            for (String each : jobNames) {
                if (regCenter.isExisted(new JobNodePath(each).getServerNodePath(serverIp))) {
                    JobNodePath jobNodePath = new JobNodePath(each);
                    String serverNodePath = jobNodePath.getServerNodePath(serverIp);
                    if (disabled) {
                        regCenter.persist(serverNodePath, "DISABLED");
                    } else {
                        regCenter.persist(serverNodePath, "");
                    }
                }
            }
        }
    }
}

3.5. 其他中介軟體服務下線

  • 參考以上原理，檢視對應中介軟體服務原理

相關推薦

聊聊微服務釋出重啟

技術標籤：JAVA隨筆spring優雅停機微服務java 1. 概述 在微服務架構體系下，服務的每一個節點都不應該是單點。每個服務都是叢集部署，這樣服務的釋出會非常頻繁。對於在大流量請求下，如何保證服務節點的釋出過程

Golang HTTP 服務平滑重啟及升級的思路

Golang HTTP服務在上線時，需要重新編譯可執行檔案，關閉正在執行的程序，然後再啟動新的執行程序。對於訪問頻率比較高的面向終端使用者的產品，關閉、重啟的過程中會出現無法訪問（nginx表現為502）的情況，影響終

微服務釋出指令碼

#!/usr/bin/python2.7 #coding=utf-8 \'\'\' Created on Oct 19 @author [email protected] Update Version TO Wan

使用SpringBoot實現微服務超時重試模式的示例

使用resilience4j的庫和Spring Boot設計高彈性的微服務。 微服務本質上是分散式的。當您使用分散式系統時，請始終記住這一第一法則-網路中可能發生任何事情。處理任何此類意外故障可能很難解決。故障可能是任何東西-

shell指令碼監測redis服務自動重啟

服務因意外掛掉，如何保證其自動重啟，繼續提供服務？？ shell通過while-do迴圈，用ps -ef|grep 檢查loader程序是否正在執行，如果沒有執行，則啟動，這樣就保證了崩潰掛掉的程序重新被及時啟動。

goland服務熱重啟的配置檔案

開發web api或web專案，修改原始碼後，無需手動重啟即可檢視效果，使用air即可實現。

docker入門(利用docker部署web應用)docker服務啟動,重啟,關閉命令

前言:本課程是在慕課網上學習 第一個docker化的java應用 課程時所做的筆記,供本人複習之用

Quartz服務的重啟

技術標籤：Quartz.NetQuartz 簡單記錄下,關鍵是RescheduleJob(triggerKey, newTrigger)方法來重啟服務

聊聊微服務叢集當中的自動化工具

本篇部落格主要介紹了自動化工具這個概念，在微服務叢集當中的作用，算拋磚引玉，歡迎大家提出自己的見解。

Jenkins+Docker+SpringCloud微服務持續整合（六）：微服務釋出

連結：https://pan.baidu.com/s/1HR3Q-cojnCidRy1xrdlOxg 提取碼：7m56 --來自百度網盤超級會員V3的分享

系統服務自動重啟方案

目的：當服務掛掉後自動重啟服務 方案一：crontab 定時任務檢測與重啟。 　　1、建立服務執行檢測與重啟指令碼: appRestart.sh

解決機房加電後Kubernetes叢集kube-apiserver服務不斷重啟報錯問題

1、背景 　　去年協助某部門在他們測試環境下部署了一套Kubernetes叢集（1Master 4Worker），當時在Kubernetes叢集配置了公司內部的映象倉庫，今年上半年由於公司機房網路環境調整，某部門的伺服器連不上公司映象倉庫

? Hyperf 釋出 Retry 重試元件及 v1.1.7 版本 | 企業級的 PHP 微服務雲原生協程框架

更新內容 本週更新主要為新增 hyperf/retry 元件，網路通訊天然是不穩定的，因此在分散式系統中，需要有良好的容錯設計，無差別重試是非常危險的。當通訊出現問題時，每個請求都重試一次，相當於系統 IO 負載增加了

螞蟻金服重磅釋出SOFAStack雙模微服務平臺

11月19日，螞蟻金服在北京舉辦主題為“巔峰洞見·聚焦金融新技術”釋出會，重磅推出金融級分散式架構SOFAStack雙模微服務平臺。這是業界首家將傳統微服務和Service Mesh技術深度融合的金融級雙模微服務平臺，其核心技

?Hyperf v1.1 釋出，一個全新的里程碑，企業級的 PHP 微服務雲原生協程框架

本文為 10 月 8 日釋出的文章，現為同步到掘金 過去的3個半月 從 6月20日 Hyperf 1.0 釋出以來，Hyperf 受到了非常多的關注，也獲得了非常多的建議和幫助，截止至今， Hyperf 在 Github 上已經收穫了 1330+ stars，

? Hyperf 釋出 v1.1.2 版本 | 企業級的 PHP 微服務雲原生協程框架

本為 10 月 17 日釋出的文章，現同步至掘金 更新內容 本週更新主要為一個 bugfix 版本，我們修復了一些元件的 ?Bug，使 Hyperf 1.1.* 系列版本更加的健壯了，釋出於 1.1.2 版，建議使用 1.1 的使用者更新。

dos下清除列印快取及重啟列印服務

複製下面的程式碼並貼上在記事本，儲存為“清除列印快取及重啟列印服務.bat”，以後需要的時候雙擊執行一下即可。

使用Go實現優雅重啟服務功能

暴力的重啟服務方案 一般伺服器重啟可以直接通過 kill 命令殺死程序，然後重新啟動一個新的程序即可。但這種方法比較粗暴，有可能導致某些正在處理中的客戶端請求失敗，如果請求正在寫資料，那麼還有可能導致資料丟失

php使用goto實現自動重啟swoole、reactphp、workerman服務的程式碼

在平時使用swoole進行開發中，常常遇到這種問題，改了程式碼之後，手動ctrl+c中斷服務，再敲命令重啟服務。頻繁地重啟，感覺心很累。

基於Docker Compose的.NET Core微服務持續釋出

是不是現在每個團隊都需要上K8s才夠潮流，不用K8s是不是就落伍了。今天，我就通過這篇文章來回答一下。