Apollo 配置中心詳細教程
一、簡介
Apollo(阿波羅)是攜程框架部門研發的分散式配置中心,能夠集中化管理應用不同環境、不同叢集的配置,配置修改後能夠實時推送到應用端,並且具備規範的許可權、流程治理等特性,適用於微服務配置管理場景。
服務端基於Spring Boot和Spring Cloud開發,打包後可以直接執行,不需要額外安裝Tomcat等應用容器。
Java客戶端 不依賴任何框架,能夠運行於所有Java執行時環境,同時對Spring/Spring Boot環境也有較好的支援。
.Net客戶端 不依賴任何框架,能夠運行於所有.Net執行時環境。
官方 GitHub: https://github.com/ctripcorp/apollo
官方 Gitee: https://gitee.com/nobodyiam/apollo
二、安裝部署
2.1 環境準備
java: JDK 1.8.+
maven: 3.3.9
mysql: 版本要求(5.6.5+)
檢視資料庫版本:SHOW VARIABLES WHERE Variable_name = 'version';
Apollo服務端: 1.9+
Apollo客戶端: 1.7+
2.2 安裝包下載
-
原始碼下載 從(Apollo-github) 下載最新的原始碼,也可以通過 git 命令下載到本地
git clone https://github.com/ctripcorp/apollo
注意: 本文中使用的方式為 1.原始碼下載,進行演示。
2.3 建立資料庫
Apollo 服務端總共需要兩個資料庫:ApolloPortalDB
和 ApolloConfigDB
我們可以在下載的原始碼包裡面找到,檔案目錄為:apollo\scripts\sql
,路徑如下圖所示:
或者通過下載地址來獲取SQL
ApolloPortalDB
SQL下載地址:https://github.com/ctripcorp/apollo/tree/master/scripts/sql
匯入成功後,驗證SQL:select * from `ApolloPortalDB`.`ServerConfig`;
ApolloConfigDB
SQL下載地址:https://github.com/ctripcorp/apollo/tree/master/scripts/sql
匯入成功後,驗證SQL:select * from `ApolloConfigDB`.`ServerConfig`;
2.4 服務端配置調整(可選項)
1. ApolloPortalDB庫配置
操作表:ServerConfig
key | 說明 | 預設值 | values |
---|---|---|---|
apollo.portal.envs | 可支援的環境列表 | dev | 管理多個環境,以逗號分隔即可,不區分大小寫,例如(DEV,TEST,UAT,PRO) |
organizations | 部門列表 | [{"orgId":"TEST1","orgName":"樣例部門1"},{"orgId":"TEST2","orgName":"樣例部門2"}] | 新建的應用中,部門是必選項,可以根據實際情況操作 |
superAdmin | Portal超級管理員 | apollo | 超級管理員擁有所有許可權 |
api.readTimeout | http介面超時時間 | 10000 | |
consumer.token.salt | 設定token salt | someSalt | 使用開放平臺API,可以設定一個token salt 如果不使用 可以忽略 |
admin.createPrivateNamespace.switch | 是否允許專案管理員建立私有namespace | true | 設定為false 則專案管理員在頁面上看不到建立private namespace的選項 |
2. ApolloConfigDB庫配置
操作表:ServerConfig
key | 說明 | 預設值 | values |
---|---|---|---|
eureka.service.url | Eureka服務Url | http://localhost:8080/eureka/ | 多個service以英文逗號分隔 |
namespace.lock.switch | 功能開關,一次釋出只能有一個人修改開關 | false | 配置為true,一次配置釋出只能是一個人修改 |
config-service.cache.enabled | ConfigService是否開啟快取,開啟後能提高效能,但是會增大記憶體消耗 | false | 配置為true,config service會快取載入過的配置資訊,從而加快後續配置獲取效能 |
2.5 開啟工程
將下載下來的 Apollo 原始碼匯入 idea 中,需要關注的專案主要是下面這三個:
專案名 | 說明 |
---|---|
apollo-configservice | 配置服務(meta server、eureka) |
apollo-adminservice | 配置管理服務 |
apollo-protal | apollo管理UI |
我們找到 /apollo/scripts/build.bat
的檔案(Linux 是 bulid.sh)
修改資料庫配置資訊,注意這是兩個庫(ApolloPortalDB
和 ApolloConfigDB
):
rem apollo config db info(這個是ApolloConfigDB庫)
set apollo_config_db_url="jdbc:mysql://localhost:3306/ApolloConfigDB?serverTimezone=UTC&characterEncoding=utf-8"
set apollo_config_db_username="root"
set apollo_config_db_password="123456"
rem apollo portal db info(這個是ApolloPortalDB庫)
set apollo_portal_db_url="jdbc:mysql://localhost:3306/ApolloPortalDB?serverTimezone=UTC&characterEncoding=utf-8"
set apollo_portal_db_username="root"
set apollo_portal_db_password="123456"
rem meta server url, different environments should have different meta server addresses
rem 配置各環境meta service地址(configservice部署的地址)
rem 後面版本也是可以再執行時指定: -Dapollo.meta=http://192.168.*.*:8080
set dev_meta="http://localhost:8080"
set fat_meta="http://someIp:8080"
set uat_meta="http://anotherIp:8080"
set pro_meta="http://yetAnotherIp:8080"
注意: 資料庫連線,需要新增serverTimezone=UTC
否則可能會報錯
修改完上面的配置以後,我們就可以執行build.bat
批處理命令進行編譯打包。
在windows 執行build.bat
檔案,如果是LInux 執行 build.sh
第一次會執行比較慢,需要下載Maven jar
打包成功後,我們找到 apollo-configservice、apollo-adminservice、apollo-portal
下target 目錄,找到已經打好的三個jar包,copy 出來放到一個單獨的目錄,方便我們啟動
如下圖所示:
啟動順序為:apollo-configservice > apollo-adminservice > apollo-portal
三個服務
啟動指令碼,放到記事本,修改後綴名為 .bat
就可以一鍵啟動三個服務了
@echo off
start cmd /c "java -jar apollo-configservice-1.10.0-SNAPSHOT.jar"
start cmd /c "java -jar apollo-adminservice-1.10.0-SNAPSHOT.jar"
start cmd /c "java -jar apollo-portal-1.10.0-SNAPSHOT.jar"
spause // 防止執行完畢後直接關閉介面
全部啟動成功之後,開啟瀏覽器輸入:http://localhost:8070/,看到 Apollo 登入頁面說明啟動成功
使用者名稱密碼: apollo/admin
輸入 http://localhost:8080 ,如果出現eureka 的管理介面,說明服務啟動正常。
三、客戶端使用
3.1 匯入jar包
<dependency>
<groupId>com.ctrip.framework.apollo</groupId>
<artifactId>apollo-client</artifactId>
<version>1.7.0</version>
</dependency>
<!-- 資料庫jar-->
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<scope>runtime</scope>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-jpa</artifactId>
<version>1.5.9.RELEASE</version>
</dependency>
3.2 釋出配置
建立應用
- AppId:001
- AppId:mxn-front-gateway
AppId是應用的身份資訊,是從服務端獲取配置的一個重要資訊。
AppId:001的配置內容
AppId:mxn-front-gateway的配置內容
上面的兩張圖,就是我們Apollo配置中心的詳細配置頁面
- 在頁面左上方的環境列表模組展示了所有的環境和叢集,使用者可以自由切換。
- 頁面中央展示了兩個namespace 的配置資訊,預設按照表格模式展示、編輯。使用者也可以切換到文字模式,以檔案形式檢視、編輯。
- 頁面上可以方便地進行釋出、回滾、灰度、授權、檢視更改歷史和釋出歷史等操作
3.3 操作配置項
輸入配置內容
3.4 釋出配置
添加發布資訊
四、Spring Boot 整合 Apollo
在Spring Boot中使用 apollo 配置比較方便,我們只需要在對應的配置(yml或者properties)中設定 apollo的(appid和meta)以及名稱空間就行
application.yml 配置
app:
id: 001
apollo:
meta: http://localhost:8080
bootstrap:
enabled: true
namespaces: dev.yml,test.properties
Spring Boot 啟動類,新增 @EnableApolloConfig
@SpringBootApplication
@EnableApolloConfig
public class ApolloMxnApplication {
public static void main(String[] args) {
SpringApplication.run(ApolloMxnApplication.class, args);
}
}
測試類,實時獲取配置資訊
import org.springframework.beans.factory.annotation.Value;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
/**
* @program: apollo-mxn
* @ClassName TestController
* @description:
* @author: lyy
* @create: 2021-09-15 17:45
* @Version 1.0
**/
@RestController
public class TestController {
@Value(value = "${mxn.name}")
private String name;
@RequestMapping("test")
public String test(){
return "hello world "+name;
}
}
這樣我們就可以 從 meta 中 拉取兩個名稱空間(apollo-adminservice和apollo-configservice)的配置了
Apollo
四、實現配置熱載入
建立配置熱載入實現類
import com.ctrip.framework.apollo.core.ConfigConsts;
import com.ctrip.framework.apollo.model.ConfigChangeEvent;
import com.ctrip.framework.apollo.spring.annotation.ApolloConfigChangeListener;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.autoconfigure.jdbc.DataSourceProperties;
import org.springframework.boot.context.properties.EnableConfigurationProperties;
import org.springframework.cloud.context.config.annotation.RefreshScope;
import org.springframework.context.ApplicationContext;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import javax.sql.DataSource;
/**
* @program: apollo-mxn
* @ClassName DataSourceConfig
* @description: 實現配置資訊熱載入
* @author: lyy
* @create: 2021-09-15 16:41
* @Version 1.0
**/
@Configuration
@EnableConfigurationProperties(DataSourceProperties.class)
@Slf4j
public class ConfigHotLoad {
@RefreshScope
@Bean("dataSource_Bean")
public DataSource dataSource(DataSourceProperties dataSourceProperties){
return dataSourceProperties.initializeDataSourceBuilder().build();
}
@Autowired
private ApplicationContext applicationContext;
@Autowired
private org.springframework.cloud.context.scope.refresh.RefreshScope refreshScope;
/** @Author lyy
* @Description //TODO 監聽apollo 的配置變更
* @Date 16:50 2021/9/15
* @Param
* @return
**/
@ApolloConfigChangeListener(value = {ConfigConsts.NAMESPACE_APPLICATION,"dev"},interestedKeyPrefixes = {"spring.datasource"})
public void onChange(ConfigChangeEvent configChangeEvent){
// 重新編譯DataSource 初始化bean
refreshScope.refresh("dataSource_Bean");
log.info("Apollo config changed {}",applicationContext.getBean(DataSourceProperties.class).toString());
}
}
我們 輸入地址 http://localhost:你的埠/test 就可以看到,對應的配置名字,然後修改apollo裡面的資訊,釋出後,再不啟動專案的情況下,就可以更新我們的配置資訊了
Apollo 本地快取
Linux:/opt/data/{appId}/config-cache
Windows:C:\opt\data{appId}\config-cache
五、什麼是 Apollo
官方案例: 使用案例Demo可以參考Apollo使用場景和示例程式碼。
5.1 誕生背景
隨著程式功能的日益複雜,程式的配置日益增多:各種功能的開關、引數的配置、伺服器的地址……
對程式配置的期望值也越來越高:配置修改後實時生效,灰度釋出,分環境、分叢集管理配置,完善的許可權、稽核機制……
在這樣的大環境下,傳統的通過配置檔案、資料庫等方式已經越來越無法滿足開發人員對配置管理的需求。
Apollo配置中心應運而生!
5.2 Apollo 說明
Apollo(阿波羅)是攜程框架部門研發的開源配置管理中心,能夠集中化管理應用不同環境、不同叢集的配置,配置修改後能夠實時推送到應用端,並且具備規範的許可權、流程治理等特性。
Apollo支援4個維度管理Key-Value格式的配置:
- application (應用)
- environment (環境)
- cluster (叢集)
- namespace (名稱空間)
同時,Apollo基於開源模式開發,開源地址:https://github.com/ctripcorp/apollo
5.3 基礎模型
Apollo的基礎模型:
- 使用者在配置中心對配置進行修改併發布
- 配置中心通知Apollo客戶端有配置更新
- Apollo客戶端從配置中心拉取最新的配置、更新本地配置並通知到應用
六、Apollo特性
由於配置的特殊性,所以Apollo 從開始設計到完善就立志作為一個有治理能力的配置中心平臺,Apollo的特性主要體現在以下幾個方面
- 統一配置的配置管理
- Apollo提供了一個統一介面集中式管理不同環境(environment)、不同叢集(cluster)、不同名稱空間(namespace)的配置。
- 同一份程式碼部署在不同的叢集,可以有不同的配置,比如zookeeper的地址等
- 通過名稱空間(namespace)可以很方便地支援多個不同應用共享同一份配置,同時還允許應用對共享的配置進行覆蓋
- 配置修改實時生效(熱釋出)
- 使用者在Apollo修改完配置併發布後,客戶端能實時(1秒)接收到最新的配置,並通知到應用程式
- 版本釋出管理
- 所有的配置釋出都有版本概念,從而可以方便地支援配置的回滾
- 灰度釋出
- 支援配置的灰度釋出,比如點了釋出後,只對部分應用例項生效,等觀察一段時間沒問題後再推給所有應用例項
- 許可權管理、釋出稽核、操作審計
- 應用和配置的管理都有完善的許可權管理機制,對配置的管理還分為了編輯和釋出兩個環節,從而減少人為的錯誤。
- 所有的操作都有審計日誌,可以方便地追蹤問題
- 客戶端配置資訊監控
- 可以在介面上方便地看到配置在被哪些例項使用
- 提供Java和.Net原生客戶端
- 提供了Java和.Net的原生客戶端,方便應用整合
- 支援Spring Placeholder, Annotation和Spring Boot的ConfigurationProperties,方便應用使用(需要Spring 3.1.1+)
- 同時提供了Http介面,非Java和.Net應用也可以方便地使用
- 提供開放平臺API
- Apollo自身提供了比較完善的統一配置管理介面,支援多環境、多資料中心配置管理、許可權、流程治理等特性。不過Apollo出於通用性考慮,不會對配置的修改做過多限制,只要符合基本的格式就能儲存,不會針對不同的配置值進行鍼對性的校驗,如資料庫使用者名稱、密碼,Redis服務地址等
- 對於這類應用配置,Apollo支援應用方通過開放平臺API在Apollo進行配置的修改 和釋出,並且具備完善的授權和許可權控制
- 部署簡單
- 配置中心作為基礎服務,可用性要求非常高,這就要求Apollo對外部依賴儘可能地少
- 目前唯一的外部依賴是MySQL,所以部署非常簡單,只要安裝好Java和MySQL就可以讓Apollo跑起來
- Apollo還提供了打包指令碼,一鍵就可以生成所有需要的安裝包,並且支援自定義執行時引數
七、Apollo原理
上圖簡要描述了Apollo客戶端的實現原理:
- 客戶端和服務端保持了一個長連線,從而能第一時間獲得配置更新的推送。
- 客戶端還會定時從Apollo配置中心服務端拉取應用的最新配置。
- 這是一個fallback機制,為了防止推送機制失效導致配置不更新
- 客戶端定時拉取會上報本地版本,所以一般情況下,對於定時拉取的操作,服務端都會返回304 - Not Modified
- 定時頻率預設為每5分鐘拉取一次,客戶端也可以通過在執行時指定System >Property:
apollo.refreshInterval
來覆蓋,單位為分鐘。
- 客戶端從Apollo配置中心服務端獲取到應用的最新配置後,會儲存在記憶體中
- 客戶端會把從服務端獲取到的配置在本地檔案系統快取一份
- 在遇到服務不可用,或網路不通的時候,依然能從本地恢復配置
- 應用程式從Apollo客戶端獲取最新的配置、訂閱配置更新通知
八、自定義Cluster
8.1 新建Cluster
點選後就進入到叢集新增頁面,一般情況下可以按照資料中心來劃分叢集
不過也支援自定義叢集,比如可以為A機房的某一臺機器和B機房的某一臺機建立一個叢集,使用一套配置。
Apollo會預設使用應用例項所在的資料中心作為cluster,所以如果兩者一致的話,不需要額外配置。
如果cluster和資料中心不一致的話,那麼就需要通過System Property方式來指定執行時cluster:
- -Dapollo.cluster=SomeCluster
- 這裡注意
apollo.cluster
為全小寫
九、配置獲取規則
在有了cluster概念後,配置的規則就顯得重要了。比如應用部署在A機房,但是並沒有在Apollo新建cluster,這個時候Apollo的行為是怎樣的?或者在執行時指定了cluster=SomeCluster,但是並沒有在Apollo新建cluster,這個時候Apollo的行為是怎樣的?
9.1 應用自身配置的獲取規則
當應用使用下面的語句獲取配置時,我們稱之為獲取應用自身的配置,也就是應用自身的application namespace的配置。
Config config = ConfigService.getAppConfig();
對這種情況的配置獲取規則,簡而言之如下:
- 首先查詢執行時cluster的配置(通過apollo.cluster指定)
- 如果沒有找到,則查詢資料中心cluster的配置
- 如果還是沒有找到,則返回預設cluster的配置
圖示如下:
所以如果應用部署在A資料中心,但是使用者沒有在Apollo建立cluster,那麼獲取的配置就是預設cluster(default)的。
如果應用部署在A資料中心,同時在執行時指定了SomeCluster,但是沒有在Apollo建立cluster,那麼獲取的配置就是A資料中心cluster的配置,如果A資料中心cluster沒有配置的話,那麼獲取的配置就是預設cluster(default)的。
十、總體設計
上圖來自網路
上圖簡要描述了Apollo的總體設計,我們可以從下往上看:
- Config Service提供配置的讀取、推送等功能,服務物件是Apollo客戶端
- Admin Service提供配置的修改、釋出等功能,服務物件是Apollo Portal(管理介面)
- Config Service和Admin Service都是多例項、無狀態部署,所以需要將自己註冊到Eureka中並保持心跳
- 在Eureka之上我們架了一層Meta Server用於封裝Eureka的服務發現介面
- Client通過域名訪問Meta Server獲取Config Service服務列表(IP+Port),而後直接通過IP+Port訪問服務,同時在Client側會做load balance、錯誤重試
- Portal通過域名訪問Meta Server獲取Admin Service服務列表(IP+Port),而後直接通過IP+Port訪問服務,同時在Portal側會做load balance、錯誤重試
- 為了簡化部署,我們實際上會把Config Service、Eureka和Meta Server三個邏輯角色部署在同一個JVM程序中
十一、總結
到這裡Apollo,就講解完了,其實Apollo 可以理解成一個好用的配置管理中心,這裡小農也是瞭解了一點皮毛,大家有不懂的地方,歡迎留言。
我是牧小農,怕什麼真理無窮,進一步有進一步的歡喜,大家加油~