持久化配置管理 diamond 使用簡介
本次為大家介紹diamond的概況和快速使用。
一、概況
diamond是淘寶內部使用的一個管理持久配置的系統,它的特點是簡單、可靠、易用,目前淘寶內部絕大多數系統的配置,由diamond來進行統一管理。
diamond為應用系統提供了獲取配置的服務,應用不僅可以在啟動時從diamond獲取相關的配置,而且可以在執行中對配置資料的變化進行感知並獲取變化後的配置資料。
持久配置是指配置資料會持久化到磁碟和資料庫中。
diamond的特點是簡單、可靠、易用:
簡單:整體結構非常簡單,從而減少了出錯的可能性。
可靠:應用方在任何情況下都可以啟動,在承載淘寶核心系統並正常執行一年多以來,沒有出現過任何重大故障。
易用:客戶端使用只需要兩行程式碼,暴露的介面都非常簡單,易於理解。
二、快速使用
1、原始碼檢出
從以下svn地址檢出diamond的原始碼:
2、server的搭建
(1)mysql
安裝mysql-server的步驟請參考mysql官方文件,安裝完畢後,建立資料庫,然後建立兩張表,建表語句分別如下:
create table config_info (
`id` bigint(64) unsigned NOT NULL auto_increment,
`data_id` varchar(255) NOT NULL default ’ ’,
`group_id` varchar(128) NOT NULL default ’ ’,
`content` longtext NOT NULL,
`md5` varchar(32) NOT NULL default ’ ’,
`src_ip` varchar(20) default NULL,
`src_user` varchar(20) default NULL,
`gmt_create` datetime NOT NULL default ’2010-05-05 00:00:00′,
`gmt_modified` datetime NOT NULL default ’2010-05-05 00:00:00′,
PRIMARY KEY (`id`),
UNIQUE KEY `uk_config_datagroup` (`data_id` ,`group_id`)
);
create table group_info (
`id` bigint(64) unsigned NOT NULL auto_increment,
`address` varchar(70) NOT NULL default ’ ’,
`data_id` varchar(255) NOT NULL default ’ ’,
`group_id` varchar(128) NOT NULL default ’ ’,
`src_ip` varchar(20) default NULL,
`src_user` varchar(20) default NULL,
`gmt_create` datetime NOT NULL default ’2010-05-05 00:00:00′,
`gmt_modified` datetime NOT NULL default ’2010-05-05 00:00:00′,
PRIMARY KEY (`id`),
UNIQUE KEY `uk_group_address` (`address`,`data_id`,`group_id`)
);
建表完成後,請將資料庫的配置資訊新增到diamond-server工程的src/resources/jdbc.properties檔案中。
(2)tomcat
tomcat是diamond server的執行容器。
tomcat的安裝請參考tomcat官方文件,建議使用tomcat7
不需要對tomcat進行任何改動。
(3)diamond server
在diamond-server原始碼根目錄下,執行mvn clean package -Dmaven.test.skip,成功後會在diamond-server/target目錄下生成diamond-server.war(如果沒有安裝maven,請參考maven官方文件進行安裝)。
打包完成後,將diamond-server.war放在tomcat的webapps目錄下。
(4)http server
http server用來存放diamond server等地址列表,可以選用任何http server,這裡以tomcat為例。
安裝tomcat的步驟請參開tomcat官方文件,注意,如果http server和diamond server安裝在一臺機器上,請修改http server的埠,避免衝突。
修改完埠後,請將diamond-utils工程下的com.taobao.diamond.common.Constants類中的DEFAULT_PORT常量修改成對應的埠號。
安裝完成後,請在tomcat的webapps下建立資料夾diamond-server和pushit-server,diamond-server中再建立diamond檔案,檔案內容是diamond-server的地址列表,一行一個地址,地址為ip;pushit-server中也建立diamond檔案,檔案內容是pushit-server的地址列表,一行一個地址,地址為ip:port(pushit後文會進行敘述)
(5)pushit
pushit是一個輕量級的訊息通知服務元件,用來為diamond做實時通知服務,通知客戶端資料的變化,它也是CS的結構,服務端搭建步驟如下:
在pushit原始碼根目錄下,執行mvn clean package assembly:assembly -Dmaven.test.skip命令,成功後會在pushit/target目錄中看到pushit-pushit.tar.gz包。
執行tar -xzvf pushit-pushit.tar.gz,進行解壓。
進入pushit目錄,建立logs目錄,在logs目錄中建立pushit.log檔案。
進入pushit/bin目錄,執行./pushit-startup.sh ../conf/server.properties命令,啟動pushit-server
(6)redis
redis用來存放一些跟統計相關的資訊。
redis的安裝請參考redis的官方文件。
安裝完成後,請在diamond-server的配置檔案redis.properties中填寫對應的資訊。
完成以上6步後,server端的搭建就完成了。
2、釋出資料
diamond釋出資料通過手工的方式進行。
修改diamond-server的配置檔案user.properties,以k=v的方式新增登入diamond-server的使用者名稱和密碼。
在瀏覽器中輸入http://ip:port/diamond-server/,ip和port為server搭建的第(2)步中的地址和埠,登入後進入後臺管理介面,然後點選“配置資訊管理”—— “新增配置資訊”,在輸入框中輸入dataId、group、內容,最後點選“提交”即可。
成功後,可以在“配置資訊管理”中查詢到釋出的資料。
3、訂閱資料
diamond客戶端API主要提供了訂閱資料的功能.
(1)客戶端獲取服務端地址
獲取服務端地址對客戶端是透明的,客戶端僅僅需要在本地進行如下域名繫結即可:
domain ip
其中,domain的值與diamond-utils工程下的com.taobao.diamond.common.Constants類中的DEFAULT_DOMAINNAME和DAILY_DOMAINNAME的值相同,ip為server搭建第(4)步中的http server地址。
(2)建立訂閱者
DiamondManager manager = new DefaultDiamondManager(group, dataId, new ManagerListener() {
public void receiveConfigInfo(String configInfo) {
// 客戶端處理資料的邏輯
}
});
引數的說明:
group和dataId為String型別,二者結合為diamond-server端儲存資料的惟一key
ManagerListener 是客戶端註冊的資料監聽器, 它的作用是在執行中接受變化的配置資料,然後回撥receiveConfigInfo()方法,執行客戶端處理資料的邏輯。如果要在執行中對變化的配置資料進行處理,就一定要註冊ManagerListener
(3)獲取配置資料
String configInfo = manager.getAvailableConfigInfomation(timeout);
diamond-server端儲存的配置全都為文字型別,返回給客戶端的配置資料為java.lang.String型別,timeout為從網路獲取配置資料的超時時間。客戶端呼叫每次呼叫該方法,都能夠保證獲取一份最新的可用的配置資料。