2. 程式人生 > >dubbo原始碼之Directory與LoadBalance

dubbo原始碼之Directory與LoadBalance

阿新 • • 發佈：2018-12-06

Directory：

叢集目錄服務Directory， 代表多個Invoker, 可以看成List<Invoker>,它的值可能是動態變化的比如註冊中心推送變更。叢集選擇呼叫服務時通過目錄服務找到所有服務

StaticDirectory: 靜態目錄服務， 它的所有Invoker通過建構函式傳入， 服務消費方引用服務的時候， 服務對多註冊中心的引用，將Invokers集合直接傳入 StaticDirectory構造器，再由Cluster偽裝成一個Invoker；StaticDirectory的list方法直接返回所有invoker集合；

RegistryDirectory: 註冊目錄服務， 它的Invoker集合是從註冊中心獲取的， 它實現了NotifyListener介面實現了回撥介面notify(List<Url>)

通俗的來說，就是一個快取和更新快取的過程

Directory目錄服務的更新過程

RegistryProtocol.doRefer方法，也就是消費端在初始化的時候，這裡涉及到了RegistryDirectory這個類。然後執行cluster.join(directory)方法。這些程式碼在上篇部落格有分析過。

cluster.join其實就是將Directory中的多個Invoker偽裝成一個Invoker, 對上層透明，包含叢集的容錯機制

private <T> Invoker<T> doRefer(Cluster cluster, Registry registry, Class<T> type, URL url) {
    RegistryDirectory<T> directory = new RegistryDirectory<T>(type, url);//對多個invoker進行組裝
    directory.setRegistry(registry); //ZookeeperRegistry
    directory.setProtocol(protocol); //protocol=Protocol$Adaptive
    //url=consumer://192.168.111....
    URL subscribeUrl = new URL(Constants.CONSUMER_PROTOCOL, NetUtils.getLocalHost(), 0, type.getName(), directory.getUrl().getParameters());
    //會把consumer://192...  註冊到註冊中心
    if (! Constants.ANY_VALUE.equals(url.getServiceInterface())
            && url.getParameter(Constants.REGISTER_KEY, true)) {
        //zkClient.create()
        registry.register(subscribeUrl.addParameters(Constants.CATEGORY_KEY, Constants.CONSUMERS_CATEGORY,
                Constants.CHECK_KEY, String.valueOf(false)));
    }
    directory.subscribe(subscribeUrl.addParameter(Constants.CATEGORY_KEY, 
            Constants.PROVIDERS_CATEGORY 
            + "," + Constants.CONFIGURATORS_CATEGORY 
            + "," + Constants.ROUTERS_CATEGORY));
    //Cluster$Adaptive
    return cluster.join(directory);
}

　　directory.subscribe:

訂閱節點的變化，

1. 當zookeeper上指定節點發生變化以後，會通知到RegistryDirectory的notify方法

2. 將url轉化為invoker物件

呼叫過程中invokers的使用

再呼叫過程中，AbstractClusterInvoker.invoke方法中:其中list(invocation) 就是獲取directory中所快取的 invoker。呼叫AbstrctDirectory的list方法，再轉由呼叫RegisteryDirectory的doList，拿到成員變數methodInvokerMap裡的值。

public Result invoke(final Invocation invocation) throws RpcException {

    checkWhetherDestroyed();

    LoadBalance loadbalance;
    
    List<Invoker<T>> invokers = list(invocation); 
    if (invokers != null && invokers.size() > 0) {
        loadbalance = ExtensionLoader.getExtensionLoader(LoadBalance.class).getExtension(invokers.get(0).getUrl()
                .getMethodParameter(invocation.getMethodName(),Constants.LOADBALANCE_KEY, Constants.DEFAULT_LOADBALANCE));
    } else {
        loadbalance = ExtensionLoader.getExtensionLoader(LoadBalance.class).getExtension(Constants.DEFAULT_LOADBALANCE);
    }
    RpcUtils.attachInvocationIdIfAsync(getUrl(), invocation);
    return doInvoke(invocation, invokers, loadbalance);
}

負載均衡LoadBalance：　

　　LoadBalance負載均衡， 負責從多個 Invokers中選出具體的一個Invoker用於本次呼叫，呼叫過程中包含了負載均衡的演算法。

　　在AbstractClusterInvoker.invoke中程式碼如下，通過名稱獲得指定的擴充套件點。RandomLoadBalance：

public Result invoke(final Invocation invocation) throws RpcException {

    checkWhetherDestroyed();

    LoadBalance loadbalance;
    
    List<Invoker<T>> invokers = list(invocation);
    if (invokers != null && invokers.size() > 0) {//預設拓展點是隨機演算法@SPI(RandomLoadBalance.NAME)
        loadbalance = ExtensionLoader.getExtensionLoader(LoadBalance.class).getExtension(invokers.get(0).getUrl()
                .getMethodParameter(invocation.getMethodName(),Constants.LOADBALANCE_KEY, Constants.DEFAULT_LOADBALANCE));
    } else {
        loadbalance = ExtensionLoader.getExtensionLoader(LoadBalance.class).getExtension(Constants.DEFAULT_LOADBALANCE);
    }
    RpcUtils.attachInvocationIdIfAsync(getUrl(), invocation);
    return doInvoke(invocation, invokers, loadbalance);
}

AbstractClusterInvoker.doselect

　　呼叫LoadBalance.select方法，講invokers按照指定演算法進行負載

private Invoker<T> doselect(LoadBalance loadbalance, Invocation invocation, List<Invoker<T>> invokers, List<Invoker<T>> selected) throws RpcException {
    if (invokers == null || invokers.size() == 0)
        return null;
    if (invokers.size() == 1)
        return invokers.get(0);
    // 如果只有兩個invoker，退化成輪循
    if (invokers.size() == 2 && selected != null && selected.size() > 0) {
        return selected.get(0) == invokers.get(0) ? invokers.get(1) : invokers.get(0);
    }
    Invoker<T> invoker = loadbalance.select(invokers, getUrl(), invocation);
    
    //如果 selected中包含（優先判斷） 或者 不可用&&availablecheck=true 則重試.
    if( (selected != null && selected.contains(invoker))
            ||(!invoker.isAvailable() && getUrl()!=null && availablecheck)){
        try{
            Invoker<T> rinvoker = reselect(loadbalance, invocation, invokers, selected, availablecheck);
            if(rinvoker != null){
                invoker =  rinvoker;
            }else{
                //看下第一次選的位置，如果不是最後，選+1位置.
                int index = invokers.indexOf(invoker);
                try{
                    //最後在避免碰撞
                    invoker = index <invokers.size()-1?invokers.get(index+1) :invoker;
                }catch (Exception e) {
                    logger.warn(e.getMessage()+" may because invokers list dynamic change, ignore.",e);
                }
            }
        }catch (Throwable t){
            logger.error("clustor relselect fail reason is :"+t.getMessage() +" if can not slove ,you can set cluster.availablecheck=false in url",t);
        }
    }
    return invoker;
}

　　通過呼叫 AbstrctLoadBalance 的loadbalance.select(invokers, getUrl(), invocation) 轉向具體的實現類，這裡就是隨機演算法負載的 doSelect：

protected <T> Invoker<T> doSelect(List<Invoker<T>> invokers, URL url, Invocation invocation) {
    int length = invokers.size(); // 總個數
    int totalWeight = 0; // 總權重
    boolean sameWeight = true; // 權重是否都一樣
    for (int i = 0; i < length; i++) {
        int weight = getWeight(invokers.get(i), invocation);
        totalWeight += weight; // 累計總權重
        if (sameWeight && i > 0
                && weight != getWeight(invokers.get(i - 1), invocation)) {
            sameWeight = false; // 計算所有權重是否一樣
        }
    }
    if (totalWeight > 0 && ! sameWeight) {
        // 如果權重不相同且權重大於0則按總權重數隨機
        int offset = random.nextInt(totalWeight);
        // 並確定隨機值落在哪個片斷上
        for (int i = 0; i < length; i++) {
            offset -= getWeight(invokers.get(i), invocation);
            if (offset < 0) {
                return invokers.get(i);
            }
        }
    }
    // 如果權重相同或權重為0則均等隨機
    return invokers.get(random.nextInt(length));
}

　配置權重可以在配置檔案中再service中可以配置weight 來確定隨機的傾向

Random LoadBalance

  • 隨機，按權重設定隨機概率。
  • 在一個截面上碰撞的概率高，但呼叫量越大分佈越均勻，而且按概率使用權重後也比較均勻，有利於動態調整提供者權重。

RoundRobin LoadBalance

  • 輪循，按公約後的權重設定輪循比率。
  • 存在慢的提供者累積請求問題，比如：第二臺機器很慢，但沒掛，當請求調到第二臺時就卡在那，久而久之，所有請求都卡在調到第二臺上。

LeastActive LoadBalance

  • 最少活躍呼叫數，相同活躍數的隨機，活躍數指呼叫前後計數差。
  • 使慢的提供者收到更少請求，因為越慢的提供者的呼叫前後計數差會越大。

ConsistentHash LoadBalance

  • 一致性Hash，相同引數的請求總是發到同一提供者。
  • 當某一臺提供者掛時，原本發往該提供者的請求，基於虛擬節點，平攤到其它提供者，不會引起劇烈變動。
  • 預設只對第一個引數Hash，如果要修改，請配置<dubbo:parameter key="hash.arguments" value="0,1" />
  • 預設用160份虛擬節點，如果要修改，請配置<dubbo:parameter key="hash.nodes" value="320" />

相關推薦

dubbo原始碼之Directory與LoadBalance

Directory： 叢集目錄服務Directory， 代表多個Invoker, 可以看成List<Invoker>,它的值可能是動態變化的比如註冊中心推送變更。叢集選擇呼叫服務時通過目錄服務找到所有服務 StaticDirectory: 靜態目錄服務， 它的所有Invoker通過建構函式傳入

dubbo原始碼分析-Directory 和 LoadBalance-筆記

Directory 訂閱節點的變化， 當zookeeper上指定節點發生變化以後，會通知到RegistryDirectory的notify方法 將url轉化為invoker物件 呼叫過程中invokers的使用 StaticDirectory: 靜態目

HashMap原始碼之get與put方法

HashMap是基於陣列和連結串列來儲存鍵值對物件的，我們簡單看下get和put方法的原始碼。 1、我們呼叫put方法來儲存鍵值對時，它先呼叫hash方法來計算hashcode，然後用hashcode和Entry陣列的大小來做按位與操作，求出所在的Entry陣列的下標位置。通過key與下標所

深入Dubbo 原始碼解析 — 負載均衡LoadBalance

技術點 面試中Dubbo負載均衡常問的幾點 常見負載均衡演算法簡介 Dubbo 官方文件介紹 Dubbo 負載均衡的策略 Dubbo 負載均衡原始碼解析 面試中Dubbo負載均衡常問的幾點 負載均衡演算法 最小活躍數 一致性雜湊演算法

dubbo原始碼解析——Directory

首先來看一下directory介面的實現類,他主要有兩個實現類,一個是StaticDirectory,一個是RegistryDirectory，本文主要解析RegistryDirectory。 StaticDirectory StaticDirectory中的S

深入學習jquery原始碼之prop()與removeProp()

深入學習jquery原始碼之prop()與removeProp() prop(name|properties|key,value|fn) 概述 獲取在匹配的元素集中的第一個元素的屬性值。 隨著一些內建屬性的DOM元素或window物件，如果試圖將刪除該屬性，瀏覽器可能會產生錯誤。jQ

深入學習jquery原始碼之attr()與removeAttr()

深入學習jquery原始碼之attr()與removeAttr() attr(name|properties|key,value|fn) 概述 設定或返回被選元素的屬性值。 引數 name String 屬性名稱 properties Map 作為

深入學習jquery原始碼之is()與not()

深入學習jquery原始碼之is()與not() is(expr|obj|ele|fn) 概述 根據選擇器、DOM元素或 jQuery 物件來檢測匹配元素集合，如果其中至少有一個元素符合這個給定的表示式就返回true。 如果沒有元素符合，或者表示式無效，都返回'false'。 '''

深入學習jquery原始碼之filter()與find()

深入學習jquery原始碼之filter()與find() filter(expr|obj|ele|fn) 概述 篩選出與指定表示式匹配的元素集合。 這個方法用於縮小匹配的範圍。用逗號分隔多個表示式 引數 expr String 字串值，包含供匹配當前元素集合的

深入學習java原始碼之isSpaceChar()與reverseBytes()

深入學習java原始碼之isSpaceChar()與reverseBytes() Character類包裝一個物件中的基本型別char的值。 型別為Character的物件包含一個單一欄位，其型別為char 。  此外，該類還提供了幾種方法來確定字元的類別（小寫字母，數字等），並將字元

深入學習java原始碼之toChars()與isUpperCase()

深入學習java原始碼之toChars()與isUpperCase() Character類包裝一個物件中的基本型別char的值。 型別為Character的物件包含一個單一欄位，其型別為char 。  此外，該類還提供了幾種方法來確定字元的類別（小寫字母，數字等），並將字元從大寫轉換

深入學習java原始碼之Subset與UnicodeBlock

深入學習java原始碼之Subset與UnicodeBlock Character.Subset表示Unicode字符集的特定子集 Modifier and Type Method and Description boolean

解讀Dubbo原始碼之ZooKeeper——主要功能及原理

本文轉自：https://blog.csdn.net/weijifeng_/article/details/79775738 一 、Zookeeper功能簡介 ZooKeeper是一個開源的分散式協調服務，由雅虎建立，是Google Chubby的開源實現。分散式應用程式可以基於ZooKee

深入學習java原始碼之valid()與sync()

深入學習java原始碼之valid()與sync() 檔案描述符類的例項用作表示開啟檔案，開放套接字或其他位元組源或信宿的底層機器特定結構的不透明控制代碼。 檔案描述符的主要實際用途是建立一個FileInputStream或FileOutputStream來包含它。  應用程式不應建立

dubbo原始碼之攔截呼叫

dubbo在生成呼叫者和被呼叫者的動態代理的時候會生成呼叫鏈，在攔截呼叫鏈走完後才會進入真正的方法呼叫，攔截呼叫分別在消費者端和呼叫者端都生成了呼叫鏈，程式碼如下：消費者端行成呼叫鏈： public <T> Invoker<T> refer(Cl

dubbo原始碼之動態代理模式生成proxy過程

跟蹤消費方建立代理物件的過程在ReferenceConfig中實現 //在init方法中建立代理物件，init在工廠方法FactoryBean的getObject()中呼叫 ref = createProxy(map); /** * 在createP

dubbo原始碼之動態代理模式生成Invoker過程

// 原始碼中proxyFactory生成Invoker根據spi機制預設使用JavaassistRpcProxyFactory Invoker<?> invoker = proxyFactory.getInvoker(ref, (Class)

Dubbo（三）：深入理解Dubbo原始碼之如何將服務釋出到註冊中心

一、前言 　　前面有說到Dubbo的服務發現機制，也就是SPI，那既然Dubbo內部實現了更加強大的服務發現機制，現在我們就來一起看看Dubbo在發現服務後需要做什麼才能將服務註冊到註冊中心中。 二、Dubbo服務註冊簡介 　　首先需要明白的是Dubbo是依賴於Spring容器的（至於為什麼在上篇部落格中有介

[dubbo 原始碼之 ]1. 服務提供方如何釋出服務

服務釋出 啟動流程 1.ServiceConfig#export 服務提供方在啟動部署時，dubbo會呼叫ServiceConfig#export來啟用服務釋出流程，如下所示： Java API: // 1. 建立ServiceConfig例項 ServiceConfig<I

[dubbo 原始碼之 ]2. 服務消費方如何啟動服務

啟動流程 消費者在啟動之後，會通過ReferenceConfig#get()來生成遠端呼叫代理類。在get方法中，會啟動一系列呼叫函式，我們來一個個解析。 配置同樣包含2種： XML <?xml version="1.0" encoding="UTF-8"?&