Mysql(一)
Viper是適用於Go應用程式的完整配置解決方案。它被設計用於在應用程式中工作,並且可以處理所有型別的配置需求和格式。
Viper
Viper是適用於Go應用程式的完整配置解決方案。它被設計用於在應用程式中工作,並且可以處理所有型別的配置需求和格式。
鑑於viper庫本身的README已經寫得十分詳細,這裡就將其翻譯成中文,並在最後附上兩個專案中使用viper的示例程式碼以供參考。
安裝
go get github.com/spf13/viper
什麼是Viper?
Viper是適用於Go應用程式(包括Twelve-Factor App)的完整配置解決方案。它被設計用於在應用程式中工作,並且可以處理所有型別的配置需求和格式。它支援以下特性:
設定預設值
從JSON、TOML、YAML、HCL、envfile和Java properties格式的配置檔案讀取配置資訊
實時監控和重新讀取配置檔案(可選)
從環境變數中讀取
從遠端配置系統(etcd或Consul)讀取並監控配置變化
從命令列引數讀取配置
從buffer讀取配置
顯式配置值
為什麼選擇Viper?
在構建現代應用程式時,你無需擔心配置檔案格式;你想要專注於構建出色的軟體。Viper的出現就是為了在這方面幫助你的。
Viper能夠為你執行下列操作:
查詢、載入和反序列化JSON、TOML、YAML、HCL、INI、envfile和Java properties格式的配置檔案。
提供一種機制為你的不同配置選項設定預設值。
提供一種機制來通過命令列引數覆蓋指定選項的值。
提供別名系統,以便在不破壞現有程式碼的情況下輕鬆重新命名引數。
當用戶提供了與預設值相同的命令列或配置檔案時,可以很容易地分辨出它們之間的區別。
Viper會按照下面的優先順序。每個專案的優先順序都高於它下面的專案:
顯示呼叫Set設定值
命令列引數(flag)
環境變數
配置檔案
key/value儲存
預設值
重要: 目前Viper配置的鍵(Key)是大小寫不敏感的。目前正在討論是否將這一選項設為可選。
把值存入Viper
建立預設值
一個好的配置系統應該支援預設值。鍵不需要預設值,但如果沒有通過配置檔案、環境變數、遠端配置或命令列標誌(flag)設定鍵,則預設值非常有用。
例如:
viper.SetDefault("ContentDir", "content") viper.SetDefault("LayoutDir", "layouts") viper.SetDefault("Taxonomies", map[string]string{"tag": "tags", "category": "categories"})\
讀取配置檔案
Viper需要最少知道在哪裡查詢配置檔案的配置。Viper支援JSON、TOML、YAML、HCL、envfile和Java properties格式的配置檔案。Viper可以搜尋多個路徑,但目前單個Viper例項只支援單個配置檔案。Viper不預設任何配置搜尋路徑,將預設決策留給應用程式。
下面是一個如何使用Viper搜尋和讀取配置檔案的示例。不需要任何特定的路徑,但是至少應該提供一個配置檔案預期出現的路徑。
viper.SetConfigFile("./config.yaml") // 指定配置檔案路徑
viper.SetConfigName("config") // 配置檔名稱(無副檔名)
viper.SetConfigType("yaml") // 如果配置檔案的名稱中沒有副檔名,則需要配置此項
viper.AddConfigPath("/etc/appname/") // 查詢配置檔案所在的路徑
viper.AddConfigPath("$HOME/.appname") // 多次呼叫以新增多個搜尋路徑
viper.AddConfigPath(".") // 還可以在工作目錄中查詢配置
err := viper.ReadInConfig() // 查詢並讀取配置檔案
if err != nil { // 處理讀取配置檔案的錯誤
panic(fmt.Errorf("Fatal error config file: %s \n", err))
}
在載入配置檔案出錯時,你可以像下面這樣處理找不到配置檔案的特定情況:
if err := viper.ReadInConfig(); err != nil {
if _, ok := err.(viper.ConfigFileNotFoundError); ok {
// 配置檔案未找到錯誤;如果需要可以忽略
} else {
// 配置檔案被找到,但產生了另外的錯誤
}
}
// 配置檔案找到併成功解析
注意[自1.6起]: 你也可以有不帶副檔名的檔案,並以程式設計方式指定其格式。對於位於使用者$HOME目錄中的配置檔案沒有任何副檔名,如.bashrc。
這裡補充兩個問題供讀者解答並自行驗證
當你使用如下方式讀取配置時,viper會從./conf目錄下查詢任何以config為檔名的配置檔案,如果同時存在./conf/config.json和./conf/config.yaml兩個配置檔案的話,viper會從哪個配置檔案載入配置呢?
viper.SetConfigName("config")
viper.AddConfigPath("./conf")
在上面兩個語句下搭配使用viper.SetConfigType("yaml")指定配置檔案型別可以實現預期的效果嗎?
寫入配置檔案
從配置檔案中讀取配置檔案是有用的,但是有時你想要儲存在執行時所做的所有修改。為此,可以使用下面一組命令,每個命令都有自己的用途:
WriteConfig - 將當前的viper配置寫入預定義的路徑並覆蓋(如果存在的話)。如果沒有預定義的路徑,則報錯。
SafeWriteConfig - 將當前的viper配置寫入預定義的路徑。如果沒有預定義的路徑,則報錯。如果存在,將不會覆蓋當前的配置檔案。
WriteConfigAs - 將當前的viper配置寫入給定的檔案路徑。將覆蓋給定的檔案(如果它存在的話)。
SafeWriteConfigAs - 將當前的viper配置寫入給定的檔案路徑。不會覆蓋給定的檔案(如果它存在的話)。
根據經驗,標記為safe的所有方法都不會覆蓋任何檔案,而是直接建立(如果不存在),而預設行為是建立或截斷。
一個小示例:
viper.WriteConfig() // 將當前配置寫入“viper.AddConfigPath()”和“viper.SetConfigName”設定的預定義路徑
viper.SafeWriteConfig()
viper.WriteConfigAs("/path/to/my/.config")
viper.SafeWriteConfigAs("/path/to/my/.config") // 因為該配置檔案寫入過,所以會報錯
viper.SafeWriteConfigAs("/path/to/my/.other_config")
監控並重新讀取配置檔案
Viper支援在執行時實時讀取配置檔案的功能。
需要重新啟動伺服器以使配置生效的日子已經一去不復返了,viper驅動的應用程式可以在執行時讀取配置檔案的更新,而不會錯過任何訊息。
只需告訴viper例項watchConfig。可選地,你可以為Viper提供一個回撥函式,以便在每次發生更改時執行。
確保在呼叫WatchConfig()之前添加了所有的配置路徑。
viper.WatchConfig()
viper.OnConfigChange(func(e fsnotify.Event) {
// 配置檔案發生變更之後會呼叫的回撥函式
fmt.Println("Config file changed:", e.Name)
})
從io.Reader讀取配置
Viper預先定義了許多配置源,如檔案、環境變數、標誌和遠端K/V儲存,但你不受其約束。你還可以實現自己所需的配置源並將其提供給viper。
viper.SetConfigType("yaml") // 或者 viper.SetConfigType("YAML")
// 任何需要將此配置新增到程式中的方法。
var yamlExample = []byte(`
Hacker: true
name: steve
hobbies:
- skateboarding
- snowboarding
- go
clothing:
jacket: leather
trousers: denim
age: 35
eyes : brown
beard: true
`)
viper.ReadConfig(bytes.NewBuffer(yamlExample))
viper.Get("name") // 這裡會得到 "steve"
覆蓋設定
這些可能來自命令列標誌,也可能來自你自己的應用程式邏輯。
viper.Set("Verbose", true)
viper.Set("LogFile", LogFile)
註冊和使用別名
別名允許多個鍵引用單個值
viper.RegisterAlias("loud", "Verbose") // 註冊別名(此處loud和Verbose建立了別名)
viper.Set("verbose", true) // 結果與下一行相同
viper.Set("loud", true) // 結果與前一行相同
viper.GetBool("loud") // true
viper.GetBool("verbose") // true
使用環境變數
Viper完全支援環境變數。這使Twelve-Factor App開箱即用。有五種方法可以幫助與ENV協作:
AutomaticEnv()
BindEnv(string...) : error
SetEnvPrefix(string)
SetEnvKeyReplacer(string...) *strings.Replacer
AllowEmptyEnv(bool)
使用ENV變數時,務必要意識到Viper將ENV變數視為區分大小寫。
Viper提供了一種機制來確保ENV變數是惟一的。通過使用SetEnvPrefix,你可以告訴Viper在讀取環境變數時使用字首。BindEnv和AutomaticEnv都將使用這個字首。
BindEnv使用一個或兩個引數。第一個引數是鍵名稱,第二個是環境變數的名稱。環境變數的名稱區分大小寫。如果沒有提供ENV變數名,那麼Viper將自動假設ENV變數與以下格式匹配:字首+ “_” +鍵名全部大寫。當你顯式提供ENV變數名(第二個引數)時,它 不會 自動新增字首。例如,如果第二個引數是“id”,Viper將查詢環境變數“ID”。
在使用ENV變數時,需要注意的一件重要事情是,每次訪問該值時都將讀取它。Viper在呼叫BindEnv時不固定該值。
AutomaticEnv是一個強大的助手,尤其是與SetEnvPrefix結合使用時。呼叫時,Viper會在發出viper.Get請求時隨時檢查環境變數。它將應用以下規則。它將檢查環境變數的名稱是否與鍵匹配(如果設定了EnvPrefix)。
SetEnvKeyReplacer允許你使用strings.Replacer物件在一定程度上重寫 Env 鍵。如果你希望在Get()呼叫中使用-或者其他什麼符號,但是環境變數裡使用_分隔符,那麼這個功能是非常有用的。可以在viper_test.go中找到它的使用示例。
或者,你可以使用帶有NewWithOptions工廠函式的EnvKeyReplacer。與SetEnvKeyReplacer不同,它接受StringReplacer介面,允許你編寫自定義字串替換邏輯。
預設情況下,空環境變數被認為是未設定的,並將返回到下一個配置源。若要將空環境變數視為已設定,請使用AllowEmptyEnv方法。
Env 示例:
SetEnvPrefix("spf") // 將自動轉為大寫
BindEnv("id")
os.Setenv("SPF_ID", "13") // 通常是在應用程式之外完成的
id := Get("id") // 13
使用Flags
Viper 具有繫結到標誌的能力。具體來說,Viper支援Cobra庫中使用的Pflag。
與BindEnv類似,該值不是在呼叫繫結方法時設定的,而是在訪問該方法時設定的。這意味著你可以根據需要儘早進行繫結,即使在init()函式中也是如此。
對於單個標誌,BindPFlag()方法提供此功能。
例如:
serverCmd.Flags().Int("port", 1138, "Port to run Application server on")
viper.BindPFlag("port", serverCmd.Flags().Lookup("port"))
你還可以繫結一組現有的pflags (pflag.FlagSet):
舉個例子:
pflag.Int("flagname", 1234, "help message for flagname")
pflag.Parse()
viper.BindPFlags(pflag.CommandLine)
i := viper.GetInt("flagname") // 從viper而不是從pflag檢索值
在 Viper 中使用 pflag 並不阻礙其他包中使用標準庫中的 flag 包。pflag 包可以通過匯入這些 flags 來處理flag包定義的flags。這是通過呼叫pflag包提供的便利函式AddGoFlagSet()來實現的。
例如:
package main
import (
"flag"
"github.com/spf13/pflag"
)
func main() {
// 使用標準庫 "flag" 包
flag.Int("flagname", 1234, "help message for flagname")
pflag.CommandLine.AddGoFlagSet(flag.CommandLine)
pflag.Parse()
viper.BindPFlags(pflag.CommandLine)
i := viper.GetInt("flagname") // 從 viper 檢索值
...
}
flag介面
如果你不使用Pflag,Viper 提供了兩個Go介面來繫結其他 flag 系統。
FlagValue表示單個flag。這是一個關於如何實現這個介面的非常簡單的例子:
type myFlag struct {}
func (f myFlag) HasChanged() bool { return false }
func (f myFlag) Name() string { return "my-flag-name" }
func (f myFlag) ValueString() string { return "my-flag-value" }
func (f myFlag) ValueType() string { return "string" }
一旦你的 flag 實現了這個介面,你可以很方便地告訴Viper繫結它:
viper.BindFlagValue("my-flag-name", myFlag{})
FlagValueSet代表一組 flags 。這是一個關於如何實現這個介面的非常簡單的例子:
type myFlagSet struct {
flags []myFlag
}
func (f myFlagSet) VisitAll(fn func(FlagValue)) {
for _, flag := range flags {
fn(flag)
}
}
一旦你的flag set實現了這個介面,你就可以很方便地告訴Viper繫結它:
fSet := myFlagSet{
flags: []myFlag{myFlag{}, myFlag{}},
}
viper.BindFlagValues("my-flags", fSet)
遠端Key/Value儲存支援
在Viper中啟用遠端支援,需要在程式碼中匿名匯入viper/remote這個包。
import _ "github.com/spf13/viper/remote"
Viper將讀取從Key/Value儲存(例如etcd或Consul)中的路徑檢索到的配置字串(如JSON、TOML、YAML、HCL、envfile和Java properties格式)。這些值的優先順序高於預設值,但是會被從磁碟、flag或環境變數檢索到的配置值覆蓋。(譯註:也就是說Viper載入配置值的優先順序為:磁碟上的配置檔案>命令列標誌位>環境變數>遠端Key/Value儲存>預設值。)
Viper使用crypt從K/V儲存中檢索配置,這意味著如果你有正確的gpg密匙,你可以將配置值加密儲存並自動解密。加密是可選的。
你可以將遠端配置與本地配置結合使用,也可以獨立使用。
crypt有一個命令列助手,你可以使用它將配置放入K/V儲存中。crypt預設使用在http://127.0.0.1:4001的etcd。
$ go get github.com/bketelsen/crypt/bin/crypt
$ crypt set -plaintext /config/hugo.json /Users/hugo/settings/config.json
確認值已經設定:
$ crypt get -plaintext /config/hugo.json
有關如何設定加密值或如何使用Consul的示例,請參見crypt文件。
遠端Key/Value儲存示例-未加密
etcd
viper.AddRemoteProvider("etcd", "http://127.0.0.1:4001","/config/hugo.json")
viper.SetConfigType("json") // 因為在位元組流中沒有副檔名,所以這裡需要設定下型別。支援的副檔名有 "json", "toml", "yaml", "yml", "properties", "props", "prop", "env", "dotenv"
err := viper.ReadRemoteConfig()
Consul
你需要 Consul Key/Value儲存中設定一個Key儲存包含所需配置的JSON值。例如,建立一個keyMY_CONSUL_KEY將下面的值存入Consul key/value 儲存:
{
"port": 8080,
"hostname": "liwenzhou.com"
}
viper.AddRemoteProvider("consul", "localhost:8500", "MY_CONSUL_KEY")
viper.SetConfigType("json") // 需要顯示設定成json
err := viper.ReadRemoteConfig()
fmt.Println(viper.Get("port")) // 8080
fmt.Println(viper.Get("hostname")) // liwenzhou.com
Firestore
viper.AddRemoteProvider("firestore", "google-cloud-project-id", "collection/document")
viper.SetConfigType("json") // 配置的格式: "json", "toml", "yaml", "yml"
err := viper.ReadRemoteConfig()
當然,你也可以使用SecureRemoteProvider。
遠端Key/Value儲存示例-加密
viper.AddSecureRemoteProvider("etcd","http://127.0.0.1:4001","/config/hugo.json","/etc/secrets/mykeyring.gpg")
viper.SetConfigType("json") // 因為在位元組流中沒有副檔名,所以這裡需要設定下型別。支援的副檔名有 "json", "toml", "yaml", "yml", "properties", "props", "prop", "env", "dotenv"
err := viper.ReadRemoteConfig()
監控etcd中的更改-未加密
// 或者你可以建立一個新的viper例項
var runtime_viper = viper.New()
runtime_viper.AddRemoteProvider("etcd", "http://127.0.0.1:4001", "/config/hugo.yml")
runtime_viper.SetConfigType("yaml") // 因為在位元組流中沒有副檔名,所以這裡需要設定下型別。支援的副檔名有 "json", "toml", "yaml", "yml", "properties", "props", "prop", "env", "dotenv"
// 第一次從遠端讀取配置
err := runtime_viper.ReadRemoteConfig()
// 反序列化
runtime_viper.Unmarshal(&runtime_conf)
// 開啟一個單獨的goroutine一直監控遠端的變更
go func(){
for {
time.Sleep(time.Second * 5) // 每次請求後延遲一下
// 目前只測試了etcd支援
err := runtime_viper.WatchRemoteConfig()
if err != nil {
log.Errorf("unable to read remote config: %v", err)
continue
}
// 將新配置反序列化到我們執行時的配置結構體中。你還可以藉助channel實現一個通知系統更改的訊號
runtime_viper.Unmarshal(&runtime_conf)
}
}()
從Viper獲取值
在Viper中,有幾種方法可以根據值的型別獲取值。存在以下功能和方法:
Get(key string) : interface{}
GetBool(key string) : bool
GetFloat64(key string) : float64
GetInt(key string) : int
GetIntSlice(key string) : []int
GetString(key string) : string
GetStringMap(key string) : map[string]interface{}
GetStringMapString(key string) : map[string]string
GetStringSlice(key string) : []string
GetTime(key string) : time.Time
GetDuration(key string) : time.Duration
IsSet(key string) : bool
AllSettings() : map[string]interface{}
需要認識到的一件重要事情是,每一個Get方法在找不到值的時候都會返回零值。為了檢查給定的鍵是否存在,提供了IsSet()方法。
例如:
viper.GetString("logfile") // 不區分大小寫的設定和獲取
if viper.GetBool("verbose") {
fmt.Println("verbose enabled")
}
訪問巢狀的鍵
訪問器方法也接受深度巢狀鍵的格式化路徑。例如,如果載入下面的JSON檔案:
{
"host": {
"address": "localhost",
"port": 5799
},
"datastore": {
"metric": {
"host": "127.0.0.1",
"port": 3099
},
"warehouse": {
"host": "198.0.0.1",
"port": 2112
}
}
}
Viper可以通過傳入.分隔的路徑來訪問巢狀欄位:
GetString("datastore.metric.host") // (返回 "127.0.0.1")
這遵守上面建立的優先規則;搜尋路徑將遍歷其餘配置登錄檔,直到找到為止。(譯註:因為Viper支援從多種配置來源,例如磁碟上的配置檔案>命令列標誌位>環境變數>遠端Key/Value儲存>預設值,我們在查詢一個配置的時候如果在當前配置源中沒找到,就會繼續從後續的配置源查詢,直到找到為止。)
例如,在給定此配置檔案的情況下,datastore.metric.host和datastore.metric.port均已定義(並且可以被覆蓋)。如果另外在預設值中定義了datastore.metric.protocol,Viper也會找到它。
然而,如果datastore.metric被直接賦值覆蓋(被flag,環境變數,set()方法等等…),那麼datastore.metric的所有子鍵都將變為未定義狀態,它們被高優先順序配置級別“遮蔽”(shadowed)了。
最後,如果存在與分隔的鍵路徑匹配的鍵,則返回其值。例如:
{
"datastore.metric.host": "0.0.0.0",
"host": {
"address": "localhost",
"port": 5799
},
"datastore": {
"metric": {
"host": "127.0.0.1",
"port": 3099
},
"warehouse": {
"host": "198.0.0.1",
"port": 2112
}
}
}
GetString("datastore.metric.host") // 返回 "0.0.0.0"
提取子樹
從Viper中提取子樹。
例如,viper例項現在代表了以下配置:
app:
cache1:
max-items: 100
item-size: 64
cache2:
max-items: 200
item-size: 80
執行後:
subv := viper.Sub("app.cache1")
subv現在就代表:
max-items: 100
item-size: 64
假設我們現在有這麼一個函式:
func NewCache(cfg *Viper) *Cache {...}
它基於subv格式的配置資訊建立快取。現在,可以輕鬆地分別建立這兩個快取,如下所示:
cfg1 := viper.Sub("app.cache1")
cache1 := NewCache(cfg1)
cfg2 := viper.Sub("app.cache2")
cache2 := NewCache(cfg2)
反序列化
你還可以選擇將所有或特定的值解析到結構體、map等。
有兩種方法可以做到這一點:
Unmarshal(rawVal interface{}) : error
UnmarshalKey(key string, rawVal interface{}) : error
舉個例子:
type config struct {
Port int
Name string
PathMap string mapstructure:"path_map"
}
var C config
err := viper.Unmarshal(&C)
if err != nil {
t.Fatalf("unable to decode into struct, %v", err)
}
如果你想要解析那些鍵本身就包含.(預設的鍵分隔符)的配置,你需要修改分隔符:
v := viper.NewWithOptions(viper.KeyDelimiter(":