9. Go语言配置管理神器Viper的基本使用

导言

viper是适用于go应用程序的完整配置解决方案。它被设计用于在应用程序中工作，并且可以处理所有类型的配置需求和格式。

安装

go get github.com/spf13/viper

什么是viper？

viper是适用于go应用程序（包括twelve-factor app）的完整配置解决方案。它被设计用于在应用程序中工作，并且可以处理所有类型的配置需求和格式。它支持以下特性：

• 设置默认值
• 从json、toml、yaml、hcl、envfile和java properties格式的配置文件读取配置信息
• 实时监控和重新读取配置文件（可选）
• 从环境变量中读取
• 从远程配置系统（etcd或consul）读取并监控配置变化
• 从命令行参数读取配置
• 从buffer读取配置
• 显式配置值

为什么选择viper?

在构建现代应用程序时，你无需担心配置文件格式。

viper能够为你执行下列操作：

• 查找、加载和反序列化json、toml、yaml、hcl、envfile和java properties格式的配置文件。
• 提供一种机制为你的不同配置选项设置默认值。
• 提供一种机制来通过命令行参数覆盖指定选项的值。
• 提供别名系统，以便在不破坏现有代码的情况下轻松重命名参数。
• 当用户提供了与默认值相同的命令行或配置文件时，可以很容易地分辨出它们之间的区别。

viper会按照下面的优先级。每个项目的优先级都高于它下面的项目:

• 显式调用set设置值
• 命令行参数（flag）
• 环境变量
• 配置文件
• key/value存储
• 默认值

重要： 目前viper配置的键（key）是大小写不敏感的。目前正在讨论是否将这一选项设为可选。

一、把值存入viper

1. 建立默认值

一个好的配置系统应该支持默认值。键不需要默认值，但如果没有通过配置文件、环境变量、远程配置或命令行标志（flag）设置键，则默认值非常有用。

例如：

viper.setdefault("contentdir", "content")
viper.setdefault("layoutdir", "layouts")
viper.setdefault("taxonomies", map[string]string{"tag": "tags", "category": "categories"})

2. 读取配置文件

viper需要最少知道在哪里查找配置文件的配置。viper支持json、toml、yaml、hcl、envfile和java properties格式的配置文件。viper可以搜索多个路径，但目前单个viper实例只支持单个配置文件。viper不默认任何配置搜索路径，将默认决策留给应用程序。

下面是一个如何使用viper搜索和读取配置文件的示例。不需要任何特定的路径，但是至少应该提供一个配置文件预期出现的路径。

viper.setconfigname("config") // 配置文件名称(无扩展名)
// viper.setconfigtype("yaml") // 如果配置文件的名称中没有扩展名，则需要配置此项,针对远程配置
viper.addconfigpath("/etc/appname/")   // 查找配置文件所在的路径
viper.addconfigpath("$home/.appname")  // 多次调用以添加多个搜索路径
viper.addconfigpath(".")               // 还可以在工作目录中查找配置
err := viper.readinconfig() // 查找并读取配置文件
if err != nil { // 处理读取配置文件的错误
	panic(fmt.errorf("fatal error config file: %s \n", err))
}

注意事项：

1. viper.setconfigname("config") 会在指定一个或多个路径下寻找config文件，如果找到多个，则报错。注：config.yaml和config.json名字都是config，所以也会认为是找到了两个文件，viper不知道使用哪一个而报错。
2. viper.setconfigtype("yaml")是针对远程配置的，远程配置通过字节传输，所以指定一下用何种方式解析配置。

你可以像下面这样处理找不到配置文件的特定情况：

if err := viper.readinconfig(); err != nil {
    if _, ok := err.(viper.configfilenotfounderror); ok {
        // 配置文件未找到错误；如果需要可以忽略
    } else {
        // 配置文件被找到，但产生了另外的错误
    }
}

// 配置文件找到并成功解析

注意[自1.6起]： 你也可以有不带扩展名的文件，并以编程方式指定其格式。对于位于用户$home目录中的配置文件没有任何扩展名，如.bashrc。

3. 写入配置文件

从配置文件中读取配置文件是有用的，但是有时你想要存储在运行时所做的所有修改。为此，可以使用下面一组命令，每个命令都有自己的用途:

• writeconfig - 将当前的viper配置写入预定义的路径并覆盖（如果存在的话）。如果没有预定义的路径，则报错。
• safewriteconfig - 将当前的viper配置写入预定义的路径。如果没有预定义的路径，则报错。如果存在，将不会覆盖当前的配置文件。
• writeconfigas - 将当前的viper配置写入给定的文件路径。将覆盖给定的文件(如果它存在的话)。
• safewriteconfigas - 将当前的viper配置写入给定的文件路径。不会覆盖给定的文件(如果它存在的话)。
  根据经验，标记为safe的所有方法都不会覆盖任何文件，而是直接创建（如果不存在），而默认行为是创建或截断。

一个小示例：

viper.writeconfig() // 将当前配置写入“viper.addconfigpath()”和“viper.setconfigname”设置的预定义路径
viper.safewriteconfig()
viper.writeconfigas("/path/to/my/.config")
viper.safewriteconfigas("/path/to/my/.config") // 因为该配置文件写入过，所以会报错
viper.safewriteconfigas("/path/to/my/.other_config")

4. 监控并重新读取配置文件

viper支持在运行时实时读取配置文件的功能。

需要重新启动服务器以使配置生效的日子已经一去不复返了，viper驱动的应用程序可以在运行时读取配置文件的更新，而不会错过任何消息。

只需告诉viper实例watchconfig。可选地，你可以为viper提供一个回调函数，以便在每次发生更改时运行。

确保在调用watchconfig()之前添加了所有的配置路径。

viper.watchconfig()
viper.onconfigchange(func(e fsnotify.event) {
  // 配置文件发生变更之后会调用的回调函数
	fmt.println("config file changed:", e.name)
})

5. 从io.reader读取配置

viper预先定义了许多配置源，如文件、环境变量、标志和远程k/v存储，但你不受其约束。你还可以实现自己所需的配置源并将其提供给viper。

viper.setconfigtype("yaml") // 或者 viper.setconfigtype("yaml")

// 任何需要将此配置添加到程序中的方法。
var yamlexample = []byte(`
hacker: true
name: steve
hobbies:
- skateboarding
- snowboarding
- go
clothing:
  jacket: leather
  trousers: denim
age: 35
eyes : brown
beard: true
`)

viper.readconfig(bytes.newbuffer(yamlexample))

viper.get("name") // 这里会得到 "steve"

6. 覆盖设置

这些可能来自命令行标志，也可能来自你自己的应用程序逻辑。

viper.set("verbose", true)
viper.set("logfile", logfile)

7. 注册和使用别名

别名允许多个键引用单个值

viper.registeralias("loud", "verbose")  // 注册别名（此处loud和verbose建立了别名）

viper.set("verbose", true) // 结果与下一行相同
viper.set("loud", true)   // 结果与前一行相同

viper.getbool("loud") // true
viper.getbool("verbose") // true

8. 使用环境变量

viper完全支持环境变量。这使twelve-factor app开箱即用。有五种方法可以帮助与env协作:

• automaticenv()
• bindenv(string…) : error
• setenvprefix(string)
• setenvkeyreplacer(string…) *strings.replacer
• allowemptyenv(bool)

使用env变量时，务必要意识到viper将env变量视为区分大小写。

viper提供了一种机制来确保env变量是惟一的。通过使用setenvprefix，你可以告诉viper在读取环境变量时使用前缀。bindenv和automaticenv都将使用这个前缀。

bindenv使用一个或两个参数。第一个参数是键名称，第二个是环境变量的名称。环境变量的名称区分大小写。如果没有提供env变量名，那么viper将自动假设env变量与以下格式匹配：前缀+ “_” +键名全部大写。当你显式提供env变量名（第二个参数）时，它 不会 自动添加前缀。例如，如果第二个参数是“id”，viper将查找环境变量“id”。

在使用env变量时，需要注意的一件重要事情是，每次访问该值时都将读取它。viper在调用bindenv时不固定该值。

automaticenv是一个强大的助手，尤其是与setenvprefix结合使用时。调用时，viper会在发出viper.get请求时随时检查环境变量。它将应用以下规则。它将检查环境变量的名称是否与键匹配（如果设置了envprefix）。

setenvkeyreplacer允许你使用strings.replacer对象在一定程度上重写 env 键。如果你希望在get()调用中使用-或者其他什么符号，但是环境变量里使用_分隔符，那么这个功能是非常有用的。可以在viper_test.go中找到它的使用示例。

或者，你可以使用带有newwithoptions工厂函数的envkeyreplacer。与setenvkeyreplacer不同，它接受stringreplacer接口，允许你编写自定义字符串替换逻辑。

默认情况下，空环境变量被认为是未设置的，并将返回到下一个配置源。若要将空环境变量视为已设置，请使用allowemptyenv方法。

env 示例：

setenvprefix("spf") // 将自动转为大写
bindenv("id")

os.setenv("spf_id", "13") // 通常是在应用程序之外完成的

id := get("id") // 13

9. 使用flags

viper 具有绑定到标志的能力。具体来说，viper支持cobra库中使用的pflag。

与bindenv类似，该值不是在调用绑定方法时设置的，而是在访问该方法时设置的。这意味着你可以根据需要尽早进行绑定，即使在init()函数中也是如此。

对于单个标志，bindpflag()方法提供此功能。

例如：

servercmd.flags().int("port", 1138, "port to run application server on")
viper.bindpflag("port", servercmd.flags().lookup("port"))

你还可以绑定一组现有的pflags （pflag.flagset）：

举个例子：

pflag.int("flagname", 1234, "help message for flagname")

pflag.parse()
viper.bindpflags(pflag.commandline)

i := viper.getint("flagname") // 从viper而不是从pflag检索值

在 viper 中使用 pflag 并不阻碍其他包中使用标准库中的 flag 包。pflag 包可以通过导入这些 flags 来处理flag包定义的flags。这是通过调用pflag包提供的便利函数addgoflagset()来实现的。

例如：

package main

import (
	"flag"
	"github.com/spf13/pflag"
)

func main() {

	// 使用标准库 "flag" 包
	flag.int("flagname", 1234, "help message for flagname")

	pflag.commandline.addgoflagset(flag.commandline)
	pflag.parse()
	viper.bindpflags(pflag.commandline)

	i := viper.getint("flagname") // 从 viper 检索值

	...
}

flag接口

如果你不使用pflag，viper 提供了两个go接口来绑定其他 flag 系统。

flagvalue表示单个flag。这是一个关于如何实现这个接口的非常简单的例子：

type myflag struct {}
func (f myflag) haschanged() bool { return false }
func (f myflag) name() string { return "my-flag-name" }
func (f myflag) valuestring() string { return "my-flag-value" }
func (f myflag) valuetype() string { return "string" }

一旦你的 flag 实现了这个接口，你可以很方便地告诉viper绑定它：

viper.bindflagvalue("my-flag-name", myflag{})

flagvalueset代表一组 flags 。这是一个关于如何实现这个接口的非常简单的例子:

type myflagset struct {
	flags []myflag
}

func (f myflagset) visitall(fn func(flagvalue)) {
	for _, flag := range flags {
		fn(flag)
	}
}

一旦你的flag set实现了这个接口，你就可以很方便地告诉viper绑定它：

fset := myflagset{
	flags: []myflag{myflag{}, myflag{}},
}
viper.bindflagvalues("my-flags", fset)

10. 远程key/value存储支持

在viper中启用远程支持，需要在代码中匿名导入viper/remote这个包。

import _ "github.com/spf13/viper/remote"

viper将读取从key/value存储（例如etcd或consul）中的路径检索到的配置字符串（如json、toml、yaml、hcl、envfile和java properties格式）。这些值的优先级高于默认值，但是会被从磁盘、flag或环境变量检索到的配置值覆盖。（译注：也就是说viper加载配置值的优先级为：磁盘上的配置文件>命令行标志位>环境变量>远程key/value存储>默认值。）

viper使用crypt从k/v存储中检索配置，这意味着如果你有正确的gpg密匙，你可以将配置值加密存储并自动解密。加密是可选的。

你可以将远程配置与本地配置结合使用，也可以独立使用。

crypt有一个命令行助手，你可以使用它将配置放入k/v存储中。crypt默认使用在http://127.0.0.1:4001的etcd。

$ go get github.com/bketelsen/crypt/bin/crypt
$ crypt set -plaintext /config/hugo.json /users/hugo/settings/config.json

确认值已经设置：

$ crypt get -plaintext /config/hugo.json

有关如何设置加密值或如何使用consul的示例，请参见crypt文档。

远程key/value存储示例-未加密

etcd

viper.addremoteprovider("etcd", "http://127.0.0.1:4001","/config/hugo.json")
// 因为在字节流中没有文件扩展名，所以这里需要设置下类型。
// 支持的扩展名有 "json", "toml", "yaml", "yml", "properties", "props", "prop", "env", "dotenv"
viper.setconfigtype("json") 
err := viper.readremoteconfig()

consul
你需要 consul key/value存储中设置一个key保存包含所需配置的json值。例如，创建一个key : my_consul_key将下面的值存入consul key/value 存储：

{
    "port": 8080,
    "hostname": "baidu.com"
}

viper.addremoteprovider("consul", "localhost:8500", "my_consul_key")
viper.setconfigtype("json") // 需要显示设置成json
err := viper.readremoteconfig()

fmt.println(viper.get("port")) // 8080
fmt.println(viper.get("hostname")) // baidu.com

firestore

viper.addremoteprovider("firestore", "google-cloud-project-id", "collection/document")
viper.setconfigtype("json") // 配置的格式: "json", "toml", "yaml", "yml"
err := viper.readremoteconfig()

当然，你也可以使用secureremoteprovider。

远程key/value存储示例-加密

viper.addsecureremoteprovider("etcd","http://127.0.0.1:4001","/config/hugo.json","/etc/secrets/mykeyring.gpg")
viper.setconfigtype("json") 
err := viper.readremoteconfig()

监控etcd中的更改-未加密

// 或者你可以创建一个新的viper实例
var runtime_viper = viper.new()

runtime_viper.addremoteprovider("etcd", "http://127.0.0.1:4001", "/config/hugo.yml")
runtime_viper.setconfigtype("yaml") 

// 第一次从远程读取配置
err := runtime_viper.readremoteconfig()

// 反序列化
runtime_viper.unmarshal(&runtime_conf)

// 开启一个单独的goroutine一直监控远端的变更
go func(){
	for {
	    time.sleep(time.second * 5) // 每次请求后延迟一下

	    // 目前只测试了etcd支持
	    err := runtime_viper.watchremoteconfig()
	    if err != nil {
	        log.errorf("unable to read remote config: %v", err)
	        continue
	    }

	    // 将新配置反序列化到我们运行时的配置结构体中。你还可以借助channel实现一个通知系统更改的信号
	    runtime_viper.unmarshal(&runtime_conf)
	}
}()

二、从viper获取值

在viper中，有几种方法可以根据值的类型获取值。存在以下功能和方法:

• get(key string) : interface{}
• getbool(key string) : bool
• getfloat64(key string) : float64
• getint(key string) : int
• getintslice(key string) : []int
• getstring(key string) : string
• getstringmap(key string) : map[string]interface{}
• getstringmapstring(key string) : map[string]string
• getstringslice(key string) : []string
• gettime(key string) : time.time
• getduration(key string) : time.duration
• isset(key string) : bool
• allsettings() : map[string]interface{}

需要认识到的一件重要事情是，每一个get方法在找不到值的时候都会返回零值。为了检查给定的键是否存在，提供了isset()方法。

例如：

viper.getstring("logfile") // 不区分大小写的设置和获取
if viper.getbool("verbose") {
    fmt.println("verbose enabled")
}

1. 访问嵌套的键

访问器方法也接受深度嵌套键的格式化路径。例如，如果加载下面的json文件：

{
    "host": {
        "address": "localhost",
        "port": 5799
    },
    "datastore": {
        "metric": {
            "host": "127.0.0.1",
            "port": 3099
        },
        "warehouse": {
            "host": "198.0.0.1",
            "port": 2112
        }
    }
}

viper可以通过传入.分隔的路径来访问嵌套字段：

getstring("datastore.metric.host") // (返回 "127.0.0.1")

这遵守上面建立的优先规则；搜索路径将遍历其余配置注册表，直到找到为止。(译注：因为viper支持从多种配置来源，例如磁盘上的配置文件>命令行标志位>环境变量>远程key/value存储>默认值，我们在查找一个配置的时候如果在当前配置源中没找到，就会继续从后续的配置源查找，直到找到为止。)

例如，在给定此配置文件的情况下，datastore.metric.host和datastore.metric.port均已定义（并且可以被覆盖）。如果另外在默认值中定义了datastore.metric.protocol，viper也会找到它。

然而，如果datastore.metric被直接赋值覆盖（被flag，环境变量，set()方法等等…），那么datastore.metric的所有子键都将变为未定义状态，它们被高优先级配置级别“遮蔽”（shadowed）了。

最后，如果存在与分隔的键路径匹配的键，则返回其值。例如：

{
    "datastore.metric.host": "0.0.0.0",
    "host": {
        "address": "localhost",
        "port": 5799
    },
    "datastore": {
        "metric": {
            "host": "127.0.0.1",
            "port": 3099
        },
        "warehouse": {
            "host": "198.0.0.1",
            "port": 2112
        }
    }
}

getstring("datastore.metric.host") // 返回 "0.0.0.0"

2. 提取子树

从viper中提取子树。

例如，viper实例现在代表了以下配置：

app:
  cache1:
    max-items: 100
    item-size: 64
  cache2:
    max-items: 200
    item-size: 80

执行后：

subv := viper.sub("app.cache1")

subv现在就代表：

max-items: 100
item-size: 64

假设我们现在有这么一个函数：

func newcache(cfg *viper) *cache {...}

它基于subv格式的配置信息创建缓存。现在，可以轻松地分别创建这两个缓存，如下所示：

cfg1 := viper.sub("app.cache1")
cache1 := newcache(cfg1)

cfg2 := viper.sub("app.cache2")
cache2 := newcache(cfg2)

3. 反序列化

你还可以选择将所有或特定的值解析到结构体、map等。

有两种方法可以做到这一点：

unmarshal(rawval interface{}) : error
unmarshalkey(key string, rawval interface{}) : error

举个例子：

type config struct {
	port int
	name string
	pathmap string `mapstructure:"path_map"`
}

var c config

err := viper.unmarshal(&c)
if err != nil {
	t.fatalf("unable to decode into struct, %v", err)
}

如果你想要解析那些键本身就包含.(默认的键分隔符）的配置，你需要修改分隔符：

v := viper.newwithoptions(viper.keydelimiter("::"))

v.setdefault("chart::values", map[string]interface{}{
    "ingress": map[string]interface{}{
        "annotations": map[string]interface{}{
            "traefik.frontend.rule.type":                 "pathprefix",
            "traefik.ingress.kubernetes.io/ssl-redirect": "true",
        },
    },
})

type config struct {
	chart struct{
        values map[string]interface{}
    }
}

var c config

v.unmarshal(&c)

viper还支持解析到嵌入的结构体：

/*
example config:

module:
    enabled: true
    token: 89h3f98hbwf987h3f98wenf89ehf
*/
type config struct {
	module struct {
		enabled bool

		moduleconfig `mapstructure:",squash"`
	}
}

// moduleconfig could be in a module specific package
type moduleconfig struct {
	token string
}

var c config

err := viper.unmarshal(&c)
if err != nil {
	t.fatalf("unable to decode into struct, %v", err)
}

viper在后台使用github.com/mitchellh/mapstructure来解析值，其默认情况下使用mapstructure tag。

4. 序列化成字符串

你可能需要将viper中保存的所有设置序列化到一个字符串中，而不是将它们写入到一个文件中。你可以将自己喜欢的格式的序列化器与allsettings()返回的配置一起使用。

import (
    yaml "gopkg.in/yaml.v2"
    // ...
)

func yamlstringsettings() string {
    c := viper.allsettings()
    bs, err := yaml.marshal(c)
    if err != nil {
        log.fatalf("unable to marshal config to yaml: %v", err)
    }
    return string(bs)
}

5. 使用单个还是多个viper实例?

viper是开箱即用的。你不需要配置或初始化即可开始使用viper。由于大多数应用程序都希望使用单个中央存储库管理它们的配置信息，所以viper包提供了这个功能。它类似于单例模式。

在上面的所有示例中，它们都以其单例风格的方法演示了如何使用viper。

使用多个viper实例
你还可以在应用程序中创建许多不同的viper实例。每个都有自己独特的一组配置和值。每个人都可以从不同的配置文件，key value存储区等读取数据。每个都可以从不同的配置文件、键值存储等中读取。viper包支持的所有功能都被镜像为viper实例的方法。

例如：

x := viper.new()
y := viper.new()

x.setdefault("contentdir", "content")
y.setdefault("contentdir", "foobar")

//...

当使用多个viper实例时，由用户来管理不同的viper实例。

三、使用viper示例

这里用一个demo演示如何在gin框架搭建的web项目中使用viper。

package main

import (
	"fmt"
	"github.com/gin-gonic/gin"
	"github.com/spf13/viper"
)

func main() {
	viper.setconfigname("config")  // 指定配置文件名称（不需要带后缀）
	// viper.setconfigtype("yaml")    // 指定配置文件类型
	viper.addconfigpath("./conf/") // 指定查找配置文件的路径（这里使用相对路径）
	err := viper.readinconfig()    // 读取配置信息
	if err != nil {                // 读取配置信息失败
		panic(fmt.errorf("fatal error config file: %s \n", err))
	}
	r := gin.default()
	if err := r.run(fmt.sprintf(":%d", viper.get("port"))); err != nil {
		panic(err)
	}
}

./conf/config.yaml文件内容如下：

port: 8123

以上内容翻译自viper官方readme文档，为方便理解部分内容稍作修改。

参考链接：https://github.com/spf13/viper/blob/master/readme.md