一、前言

       最近工作不忙閒來無事，仔細分析了公司整個專案架構，發現用到了很多阿里巴巴集團開源的框架，今天要介紹的是中介軟體diamond，訪問了對應開發團隊的部落格（http://jm-blog.aliapp.com），認真學習了一下diamond，下面是本人學習中的一些心得，故寫出來。

二、diamond學習筆記

      1、diamond簡介

      diamond是一個管理持久配置（持久配置是指配置資料會持久化到磁碟和資料庫中）的系統。無可厚非，淘寶內部正在使用diamond，在淘寶內部的絕大多數系統的配置都是由diamond統一管理的。diamond最大的特點就是簡單、可靠、易用。diamond的簡單是指diamond整體結構非常簡單，從而減少了出錯的可能性；diamond的可靠是指應用方在任何情況下都可以啟動，例如：淘寶的核心繫統最初一年多是由diamond所管理，在這期間並沒有發生什麼大的故障；diamond的易用是指客戶端使用只需要兩行程式碼，暴露出的介面都非常簡單，易於理解。

     對於應用系統而言，diamond為其提供獲取配置的服務，應用不僅可以在啟動時從diamond獲取相關的配置，而且可以在執行中對配置資料的變化進行感知並獲取變化後的配置資料。

      2、快速使用

      server搭建：

         a. mysql

         mysql的安裝（安裝步驟請自行查閱資料，本人建議按照mysql官方文件），以root使用者登入，建立使用者並賦予許可權，建立資料庫，然後建表。指令碼如下：

create database diamond;
grant all on diamond.* to [email protected]
 
'%' identified by 'abc';

use diamond
create table config_info (
  'id' bigint(64) unsigned NOT NULL auto_increment,
  'data_id' varchar(255) NOT NULL default ' ',
  'group_id' varchar(128) NOT NULL default ' ',
  'content' longtext NOT NULL,
  'md5' varchar(32) NOT NULL default ' ',
  'gmt_create' datetime NOT NULL default '2010-05-05 00:00:00',
  'gmt_modified' datetime NOT NULL default '2010-05-05 00:00:00',
  PRIMARY KEY  ('id'),
  UNIQUE KEY 'uk_config_datagroup' ('data_id','group_id')
);
 

        b. tomcat

        tomcat是diamond server的執行容器，而對於tomcat的安裝請自行查閱資料，推薦使用tomcat7和安裝tomcat的官方文件。tomcat安裝後，不需要做任何改動。

        c. diamond server

        在diamond-server原始碼根目錄下，執行mvn clean package -Dmaven.test.skip，成功後會在diamond-server/target目錄下生成diamond-server.war（如果沒有安裝maven，請參考maven官方文件進行安裝）。打包完成後，將diamond-server.war放在tomcat的webapps目錄下。啟動tomcat，即啟動了diamond-server。

        d. http server

        http server用來存放diamond server等地址列表，可以選用任何http server，這裡以tomcat為例。一般來講，http server和diamond server是部署在不同機器上的，這裡簡單起見，將二者部署在同一個機器下的同一個tomcat的同一個應用中，注意，如果部署在不同的tomcat中，埠號一定是8080，不能修改（所以必須部署在不同的機器上）。在上一步的tomcat的webapps中的diamond-server中建立檔案diamond，檔案內容是diamond-server的地址列表，一行一個地址，地址為IP，例如：127.0.0.1。完成以上4步後，server端的搭建就完成了。

      釋出資料：

         diamond釋出資料通過手工的方式進行。在瀏覽器中輸入http://ip:8080/diamond-server/，ip為server搭建的第二步中的地址，以user為使用者名稱，123為密碼，登入後進入後臺管理介面，然後點選“配置資訊管理”—— “新增配置資訊”，在輸入框中輸入dataId、group、內容，最後點選“提交”即可。成功後，可以在“配置資訊管理”中查詢到釋出的資料。

      訂閱資料：

         diamond客戶端API主要提供了訂閱資料的功能：

         a. 客戶端獲取服務端地址
         獲取服務端地址對客戶端是透明的，客戶端僅僅需要在本地進行如下域名繫結即可：ip a.b.c，ip為前面搭建的http-server的ip。

         b. 建立訂閱者        

DiamondManager manager = new DefaultDiamondManager(group, dataId, new ManagerListener() {
   public Executor getExecutor() {
       return null;
   }

   public void receiveConfigInfo(String configInfo) {
      // 客戶端處理資料的邏輯

   }
});

        c. 獲取配置資料    

String configInfo = manager.getAvailableConfigureInfomation(timeout);

        diamond-server端儲存的配置全都為文字型別，返回給客戶端的配置資料為java.lang.String型別，timeout為從網路獲取配置資料的超時時間。客戶端呼叫每次呼叫該方法，都能夠保證獲取一份最新的可用的配置資料。

      2、核心原理

      diamond核心原理主要包括server叢集的資料同步、client獲取server地址、client從server獲取資料、client執行時感知server的資料變化，這四部分。

        a. server叢集的資料同步

        diamond-server將資料儲存在mysql和本地檔案中，mysql是一箇中心，diamond認為儲存在mysql中的資料絕對正確，除此之外，server會將資料儲存在本地檔案中。

        同步資料有兩種方式：

        server寫資料時，先將資料寫入mysql，然後寫入本地檔案，寫入完成後傳送一個HTTP請求給叢集中的其他server，其他server收到請求，從mysql中dump剛剛寫入的資料至本地檔案。

        server啟動後會啟動一個定時任務，定時從mysql中dump所有資料至本地檔案。

        b. client獲取server地址

        diamond-client在使用時沒有指定server地址的程式碼，地址獲取對使用者是透明的。server地址儲存在一臺具有域名的機器上的HTTP server中，我們稱它為地址伺服器，diamond-client使用前需要在本地進行正確的域名繫結，啟動時它會根據域名繫結，去對應環境的地址伺服器上獲取diamond-server地址列表。獲取的地址列表，會儲存在client本地，當出現網路異常，無法從網路獲取地址列表時，client會使用本地儲存的地址列表。client啟動後會啟動一個定時任務，定時從HTTP server上獲取地址列表並儲存在本地，以保證地址是最新的。

        c. client從server獲取資料

        client呼叫getAvailableConfigInfomation()， 即可獲取一份最新的可用的配置資料，獲取過程實際上是拼接http url，使用http-client呼叫http method的過程。為了避免短時間內大量的獲取資料請求發向server，client端實現了一個帶有過期時間的快取，client將本次獲取到的資料儲存在快取中，在過期時間內的所有請求，都返回快取內的資料，不向server發出請求。

        d. client執行時感知server的資料變化

        這是diamond最為核心的一個功能。這個特性是通過比較client和server的資料的MD5值實現的。server在啟動時，會將所有資料的MD5載入到記憶體中（MD5根據某演算法得出，保證資料內容不同，MD5不同，MD5儲存在mysql中），資料更新時，會更新記憶體中對應的MD5。client在啟動並第一次獲取資料後，會將資料的MD5儲存在記憶體中，並且在啟動時會啟動一個定時任務，定時去server檢查資料是否變化。每次檢查時，client將MD5傳給server，server比較傳來的MD5和自身記憶體中的MD5是否相同，如果相同，說明資料沒變，返回一個標示資料不變的字串給client；如果不同，說明資料變了，返回變化資料的dataId和group給client.  client收到變化資料的dataId和group，再去server請求一次資料，拿回資料後回撥監聽器。

     3、diamond架構

     diamond服務是一個叢集，是一個去除單點的協作叢集。如下圖所示：

     對該圖進行一些說明：

     a. 作為一個配置中心，diamond的功能分為釋出和訂閱兩部分。因為diamond存放的是持久資料，這些資料的變化頻率不會很高，甚至很低，所以釋出採用手工的形式，通過diamond後臺管理介面釋出；訂閱是diamond的核心功能，訂閱通過diamond-client的API進行。

     b. diamond服務端採用mysql加本地檔案的形式存放配置資料。釋出資料時，資料先寫到mysql，再寫到本地檔案；訂閱資料時，直接獲取本地檔案，不查詢資料庫，這樣可以最大程度減少對資料庫的壓力。

     c. diamond服務端是一個叢集，叢集中的每臺機器連線同一個mysql，叢集之間的資料同步通過兩種方式進行，一是每臺server定時去mysql dump資料到本地檔案，二是某一臺server接收發布資料請求，在更新完mysql和本機的本地檔案後，傳送一個HTTP請求（通知）到叢集中的其他幾臺server，其他server收到通知，去mysql中將剛剛更新的資料dump到本地檔案。

     d. 每一臺server前端都有一個nginx，用來做流量控制。

     e. 圖中沒有將地址伺服器畫出，地址伺服器是一臺有域名的機器，上面執行有一個HTTP server，其中有一個靜態檔案，存放著diamond伺服器的地址列表。客戶端啟動時，根據自身的域名繫結，連線到地址伺服器，取回diamond伺服器的地址列表，從中隨機選擇一臺diamond伺服器進行連線。

     4、容災機制

     diamond容災機制涉及到client和server兩部分，主要包括以下幾個方面：

     a. server儲存資料的方式

     server儲存資料是“資料庫 + 本地檔案”的方式，叢集間的資料同步我們在之前的文章中講過（請參考專題二的原理部分），client訂閱資料時，訪問的是本地檔案，不查詢資料庫，這樣即使資料庫出問題了，仍然不影響client的訂閱。

     b. server是一個叢集

     這是一個基本的容災機制，叢集中的一臺server不可用了，client發現後可以自動切換到其他server上進行訪問，自動切換在client內部實現。

     c. client儲存snapshot

     client每次從server獲取到資料後，都會將資料儲存在本地檔案系統，diamond稱之為snapshot，即資料快照。當client下次啟動發現在超時時間內所有server均不可用（可能是網路故障），它會使用snapshot中的資料快照進行啟動。

     d. client校驗MD5

     client每次從server獲取到資料後，都會進行MD5校驗（資料儲存在response body，MD5儲存在response header），以防止因網路故障造成的資料不完整，MD5校驗不通過直接丟擲異常。

     e. client與server分離

     client可以和server完全分離，單獨使用，diamond定義了一個“容災目錄”的概念，client在啟動時會建立這個目錄，每次主動獲取資料（即呼叫getAvailableConfigInfomation()方法），都會優先從“容災目錄”獲取資料，如果client按照一個固定的規則，在“容災目錄”下配置了需要的資料，那麼client直接獲取到資料返回，不再通過網路從diamond-server獲取資料。同樣的，在每次輪詢時，都會優先輪詢“容災目錄”，如果發現配置還存在於其中，則不再向server發出輪詢請求。 以上的情形， 會持續到“容災目錄”的配置資料被刪除為止。

    根據以上的容災機制，我們可以總結一下diamond整個系統完全不可用的條件：

    資料庫不可用；

    所有server均不可用；

    client主動刪除了snapshot；

    client沒有備份配置資料，導致其不能配置"容災目錄"；

    本人在公司的線上環境仔細分析過，同時滿足這四點條件的概率那是相當小！

三、總結

    通過對diamond原始碼的閱讀及架構的分析，可以得出這樣一個結論：diamond簡單、可靠、易用的特點是相輔相成的，即diamond之所以簡單是因為使用的都是一些最常用的技術以及產品，它之所以表現得非常穩定，跟其架構簡單是分不開的，當然，穩定的另一個主要原因是它具備一套比較完善的容災機制。