XXL-CONF 分布式配置管理平台

发布于 2021-08-29 01:11:56 字数 17968 浏览 1649 评论 0

XXL-CONF 是一个轻量级分布式配置管理平台，拥有"轻量级、秒级动态推送、多环境、跨语言、跨机房、配置监听、权限控制、版本回滚等特性。现已开放源代码，开箱即用。

Features

1、简单易用: 接入灵活方便，一分钟上手；
2、轻量级: 部署简单，不依赖第三方服务，一分钟上手；
3、配置中心HA：配置中心支持集群部署，提升配置中心系统容灾和可用性。
4、在线管理: 提供配置中心, 通过Web界面在线操作配置数据，直观高效；
5、多环境支持：单个配置中心集群，支持自定义多套环境，管理多个环境的的配置数据；环境之间相互隔离；
6、多数据类型配置：支持多种数据类型配置，如：String、Boolean、Short、Integer、Long、Float、Double 等；
7、跨语言：底层通过http服务（long-polling）拉取配置数据并实时感知配置变更，从而实现多语言支持。
8、跨机房：得益于配置中心集群关系对等特性，集群各节点提供幂等的配置服务；因此，异地跨机房部署时，只需要请求本机房配置中心即可，实现异地多活；
9、高性能：得益于配置中心的 "磁盘配置" 与客户端的 "LocalCache"，因此配置服务性能非常高；单机可承担大量配置请求；
10、实时性: 秒级动态推送；配置更新后, 实时推送配置信息, 项目中配置数据会实时更新并生效, 不需要重启线上机器;
11、配置变更监听功能：可开发Listener逻辑，监听配置变更事件，可据此动态刷新JDBC连接池等高级功能；
12、最终一致性：底层借助内置广播机制，保障配置数据的最终一致性，从而保证配置数据的同步；
13、配置备份: 配置数据同时在磁盘与MySQL中存储和备份，并定期同步，提高配置数据的安全性;
14、多种获取配置方式：支持 "API、注解、XML占位符" 等多种方式获取配置，可灵活选择使用；
15、兼容Spring原生配置：兼容Spring原生配置方式 "@Value"、"${}" 加载本地配置功能；与分布式配置获取方式隔离，互不干扰；
16、分布式: 支持多业务线接入并统一管理配置信息，支撑分布式业务场景;
17、项目隔离: 以项目为维度管理配置, 方便隔离不同业务线配置;
18、高性能: 通过LocalCache对配置数据做缓存, 提高性能;
19、客户端断线重连强化：设置守护线程，周期性检测客户端连接、配置同步，提高异常情况下配置稳定性和时效性；
20、空配置处理：主动缓存null或不存在类型配置，避免配置请求穿透到远程配置Server引发雪崩问题；
21、用户管理：支持在线添加和维护用户，包括普通用户和管理员两种类型用户；
22、配置权限控制；以项目为维度进行配置权限控制，管理员拥有全部项目权限，普通用户只有分配才拥有项目下配置的查看和管理权限；
23、历史版本回滚：记录配置变更历史，方便历史配置版本回溯，默认记录10个历史版本；
24、配置快照：客户端从配置中心获取到的配置数据后，会周期性缓存到本地快照文件中，当从配置中心获取配置失败时，将会使用使用本地快照文件中的配置数据；提高系统可用性；
25、访问令牌（accessToken）：为提升系统安全性，配置中心和客户端进行安全性校验，双方AccessToken匹配才允许通讯；

1.5 背景

why not properties

常规项目开发过程中, 通常会将配置信息位于在项目resource目录下的properties文件文件中, 配置信息通常包括有: jdbc地址配置、redis地址配置、活动开关、阈值配置、黑白名单……等等。使用properties维护配置信息将会导致以下几个问题:

1、需要手动修改properties文件;
2、需要重新编译打包;
3、需要重启线上服务器 (项目集群时,更加令人崩溃) ;
4、配置生效不及时: 因为流程复杂, 新的配置生效需要经历比较长的时间才可以生效;
5、不同环境上线包不一致: 例如JDBC连接, 不同环境需要差异化配置;

why XXL-CONF

1、不需要 (手动修改properties文件) : 在配置中心提供的Web界面中, 定位到指定配置项, 输入新的配置的值, 点击更新按钮即可;
2、不需要 (重新编译打包) : 配置更新后, 实时推送新配置信息至项目中, 不需要编译打包;
3、不需要 (重启线上服务器) : 配置更新后, 实时推送新配置信息至项目中, 实时生效, 不需要重启线上机器; (在项目集群部署时, 将会节省大量的时间, 避免了集群机器一个一个的重启, 费时费力)
4、配置生效 “非常及时” : 点击更新按钮, 新的配置信息将会即可推送到项目中, 瞬间生效, 非常及时。比如一些开关类型的配置, 配置变更后, 将会立刻推送至项目中并生效, 相对常规配置修改繁琐的流程, 及时性可谓天壤之别;
5、不同环境 “同一个上线包” : 因为差异化的配置托管在配置中心, 因此一个上线包可以复用在生产、测试等各个运行环境, 提供能效；

源码仓库地址

源码仓库地址	Release Download
https://github.com/xuxueli/xxl-conf	Download
http://gitee.com/xuxueli0323/xxl-conf	Download

1.7 环境

Maven3+
Jdk1.7+
Mysql5.6+

二、快速入门

2.1 环境准备

初始化“数据库”

请下载项目源码并解压，获取 “数据库初始化SQL脚本（Mysql）” 并执行即可。脚本位置如下：

xxl-conf/doc/db/xxl-conf.sql

2.2 编译源码

解压源码,按照maven格式将源码导入IDE, 使用maven进行编译即可，源码结构如下图所示：

- xxl-conf-admin：配置中心
- xxl-conf-core：公共依赖
- xxl-conf-samples: 接入XXl-CONF的示例项目，供用户参考学习
    - xxl-conf-sample-frameless：    无框架版本，main方法直接启动运行
    - xxl-conf-sample-spring：       spring版本
    - xxl-conf-sample-springboot：   springboot版本
    - xxl-conf-sample-jfinal：       jfinal版本
    - xxl-conf-sample-nutz：         nutz版本

2.3 “配置中心” 搭建（支持集群）

项目：xxl-conf-admin
作用：提供一个完善强大的配置管理平台，包含：环境管理、用户管理、项目管理、配置管理等功能，全部操作通过Web界面在线完成；

方式1：源码编译方式搭建：

配置文件位置：

/xxl-conf/xxl-conf-admin/src/main/resources/application.properties

配置项说明：

# 配置中心数据库配置，存储配置元数据
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl-conf?Unicode=true&characterEncoding=UTF-8

# 配置中心配置数据磁盘路径地址，务必对该路径存在读写权限
xxl.conf.confdata.filepath=/data/applogs/xxl-conf/confdata

# 配置中心接入验证TOKEN，选填，非空时启用，进行安全严重
xxl.conf.access.token=

配置中心启动：

项目编译打包后，可直接通过命令行启动；

// 方式1：使用默认配置，mysql默认为本地地址；
java -jar xxl-conf-admin.jar

// 方式2：支持自定义 mysql 地址；
java -jar xxl-conf-admin.jar --spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl-conf?Unicode=true&characterEncoding=UTF-8

方式2：Docker 镜像方式搭建：

下载镜像

// Docker地址：https://hub.docker.com/r/xuxueli/xxl-conf-admin/
docker pull xuxueli/xxl-conf-admin

创建容器并运行

docker run -p 8080:8080 -v /tmp:/data/applogs --name xxl-conf-admin  -d xuxueli/xxl-conf-admin

/**
* 如需自定义 mysql 等配置，可通过 "PARAMS" 指定，参数格式 RAMS="--key=value  --key2=value2" ；
* 配置项参考文件：/xxl-conf/xxl-conf-admin/src/main/resources/application.properties
*/
docker run -e PARAMS="--spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl-conf?Unicode=true&characterEncoding=UTF-8 " -p 8080:8080 -v /tmp:/data/applogs --name xxl-conf-admin  -d xuxueli/xxl-conf-admin

“配置中心” 集群：

配置中心支持集群部署，提高配置中心负载能力和可用性。
配置中心集群部署时，项目配置文件保持一致即可。

2.4 “接入XXL-CONF的示例项目” 项目配置

项目：xxl-conf-sample-springboot
作用：接入XXl-CONF的示例项目，供用户参考学习。这里以 springboot 版本进行介绍，其他版本可参考各自sample项目。

A、引入maven依赖

<!-- xxl-conf-client -->
<dependency>
    <groupId>com.xuxueli</groupId>
    <artifactId>xxl-conf-core</artifactId>
    <version>{最新稳定版}</version>
</dependency>

B、添加“XXL-CONF 配置信息”

可参考配置文件：

/xxl-conf/xxl-conf-samples/xxl-conf-sample-springboot/src/main/resources/application.properties

配置项说明

# 配置中心跟地址，必填；
xxl.conf.admin.address=http://localhost:8080/xxl-conf-admin

# 环境配置，必填；如"test、ppe、product"等，指定配置加载环境；
xxl.conf.env=test

# 配置中心接入验证TOKEN，选填，非空时启用，进行安全严重
xxl.conf.access.token=

# 配置快照文件地址，必填；会周期性缓存到本地快照文件中，当从配置中心获取配置失败时，将会使用使用本地快照文件中的配置数据；提高系统可用性；
xxl.conf.mirrorfile=/data/applogs/xxl-conf/xxl-conf-mirror-sample.properties

C、设置“XXL-CONF 配置工厂”

可参考配置文件：

/xxl-conf/xxl-conf-samples/xxl-conf-sample-springboot/src/main/java/com/xxl/conf/sample/config/XxlConfConfig.java

配置项说明

@Bean
public XxlConfFactory xxlConfFactory() {

    XxlConfFactory xxlConf = new XxlConfFactory();
    xxlConf.setAdminAddress(adminAddress);
    xxlConf.setEnv(env);
    xxlConf.setAccessToken(accessToken);
    xxlConf.setMirrorfile(mirrorfile);

    logger.info(">>>>>>>>>>> xxl-conf config init.");
    return xxlConf;
}

至此，配置完成。

2.5 功能测试

a、添加和更新配置

参考章节 “4.2 配置管理” 添加或更新配置信息；

b、获取配置并接受动态推送更新

参考章节 “三、客户端配置获取” 获取配置并接受动态推送更新；

三、客户端配置获取

XXL-CONF 提供多种配置方式，包括 “API、 @XxlConf、XML” 等多种配置方式，介绍如下。

可参考项目 “xxl-conf-sample-spring”（接入XXl-CONF的示例项目，供用户参考学习），代码位置：com.xxl.conf.sample.controller.IndexController.index()

3.1 方式1: API方式

参考 “IndexController” 代码如下：

String paramByApi = XxlConfClient.get("default.key01", null);

用法：代码中直接调用API即可，示例代码 “”XxlConfClient.get(“key”, null)””;
优点：
- 配置从配置中心自动加载；
- 存在LocalCache，不用担心性能问题；
- 支持动态推送更新；
- 支持多数据类型；

3.2 方式2: @XxlConf 注解方式

参考 “DemoConf.paramByAnno” 属性配置；示例代码

@XxlConf("default.key02")
public String paramByAnno;

用法：对象Field上加注解 “”@XxlConf(“key”)”，支持设置默认值，支持设置是否开启动态刷新；
优点：
- 配置从配置中心自动加载；
- 存在LocalCache，不用担心性能问题；
- 支持动态推送更新；
- 支持设置配置默认值；
- 可配置是否开启 “动态推送更新”;

“@XxlConf”注解属性	说明
value	配置Key
defaultValue	配置为空时的默认值
callback	配置更新时，是否需要同步刷新配置

3.3 方式3: XML占位符方式

参考 “applicationcontext-xxl-conf.xml” 中 “DemoConf.paramByXml” 属性配置；示例代码如下：

<bean id="demoConf" class="com.xxl.conf.sample.demo.DemoConf">
    <property name="paramByXml" value="$XxlConf{default.key03}" />
</bean>

用法：占位符方式 “$XxlConf{key}”；
优点：
- 配置从配置中心自动加载；
- 存在LocalCache，不用担心性能问题；
- 支持动态推送更新；

3.4 方式4: “XML + API” 混合方式

参考如下代码：

<bean id="demoConf" class="com.xxl.conf.sample.demo.DemoConf2">
    <constructor-arg index="0" value="#{T(com.xxl.conf.core.XxlConfClient).get('key')}" />
    <property name="paramByXml" value="#{T(com.xxl.conf.core.XxlConfClient).get('default.key03')}" />
</bean>

用法：占位符方式 “#{T(com.xxl.conf.core.XxlConfClient).get(‘key’)}”；
优点：
- 配置从配置中心自动加载；
- 存在LocalCache，不用担心性能问题；
- 兼容性好：在一些特殊的XML配置加载场景，如 “XML构造器传参”、”自定义spring的schema/xsd” ，上述几种方式不适用，此时可以考虑这种方式，兼容各种场景格式；
缺点：
- 不支持动态推送更新；

3.5 其他方式: 配置变更监听

可开发Listener逻辑，监听配置变更事件；可据此实现动态刷新JDBC连接池等高级功能；

参考 “IndexController” 代码如下：

XxlConfClient.addListener("default.key01", new XxlConfListener(){
    @Override
    public void onChange(String key, String value) throws Exception {
        logger.info("配置变更事件通知：{}={}", key, value);
    }
});

四、管理中心操作指南

4.1、环境管理

进入 “环境管理” 界面，可自定义和管理环境信息。
单个配置中心集群，支持自定义多套环境，管理多个环境的的配置数据；环境之间相互隔离；

新增环境：点击 “新增环境” 按钮可添加新的环境配置，环境属性说明如下：

- Env：每个环境拥有一个维护的Env，作为环境标识；
- 环境名称：该环境的名称；

环境切换：配置中心顶部菜单展示当前操作的配置中心环境，可通过该菜单切换不同配置中心环境，从而管理不同环境中的配置数据；

4.2、用户（权限）管理

进入 “用户管理” 界面，可查看配置中心中所有用户信息。

新增用户：点击 “新增用户” 按钮，可添加新用户，用户属性说明如下：

- 权限：
    - 管理员：拥有配置中心所有权限，包括：用户管理、环境管理、项目管理、配置管理等；
    - 普通用户：仅允许操作自己拥有权限的项目下的配置；
- 用户名：配置中心登陆账号
- 密码：配置中心登陆密码

系统默认提供了一个管理员用户和一个普通用户。

分配项目权限：选中普通用户，点击右侧 “分配项目权限” 按钮，可为用户分配项目权限，权限细粒度到 “环境 + 项目”。
拥有环境项目权限后，该用户可以查看和操作该环境项目下全部配置数据。

修改用户密码：配置中心右上角下拉框，点击 “修改密码” 按钮，可修改当前登录用户的登录密码
（除此之外，管理员用户，可通过编辑用户信息功能来修改其他用户的登录密码）；

4.3、项目管理

系统以 “项目” 为维度进行权限控制，以及配置隔离。可进入 “配置管理界面” 操作和维护项目，项目属性说明如下：

- AppName：每个项目拥有唯一的AppName，作为项目标识，同时作为该项目下配置的统一前缀；
- 项目名称：该项目的名称；

系统默认提供了一个示例项目。

4.4 配置管理

进入”配置管理” 界面, 选择项目，然后可查看和操作该项目下配置数据。

新增配置：点击 “新增配置” 按钮可添加配置数据，配置属性说明如下：

- KEY：配置的KEY，创建时将会自动添加所属项目的APPName所谓前缀，生成最终的Key。可通过客户端使用最终的Key获取配置；
- 描述：该配置的描述信息；
- VALUE：配置的值；

至此, 一条配置信息已经添加完成；
通过客户端可以获取该配置, 并且支持动态推送更新。

历史版本回滚：配置存在历史变更操作时，点击右侧的 “变更历史” 按钮，可查看该配置的历史变更记录。
包括操作时间、操作人，设置的配置值等历史数据，因此可以根据历史数据，重新编辑配置并回滚到历史版本；

五、总体设计

5.1 架构图

5.2 “配置中心” 设计

配置中心由以下几个核心部分组成：

1、管理平台：提供一个完善强大的配置管理平台，包含：环境管理、用户管理、项目管理、配置管理等功能，全部操作通过Web界面在线完成；
2、管理平台DB：存储配置信息备份、配置的版本变更信息等，进一步保证数据的安全性；同时也存储”管理平台”中多个模块的底层数据；
3、磁盘配置数据：配置中心在每个配置中心集群节点磁盘中维护一份镜像数据，当配置新增、更新等操作时，将会广播通知并实时刷新每个集群节点磁盘中的配置数据, 最终实时通知接入方客户端；
4、客户端：可参考章节 “5.3 客户端设计” ；

5.3 “客户端” 设计

客户端基于多层设计，核心四层设计如下:

1、API层：提供业务方可直接使用的上层API, 简单易用, 一行代码获取配置信息；同时保证配置的实时性、高性能;
2、LocalCache层：客户端的Local Cache，极大提升API层的性能，降低对配置中心集群的压力；首次加载配置、监听配置变更、底层异步周期性同步配置时，将会写入或更新缓存；
4、Mirror-File层：配置数据的本地快照文件，会周期性同步 “LocalCache层” 中的配置数据写入到 “Mirror-File” 中；当无法从配置中心获取配置，如配置中心宕机时，将会使用 “Mirror-File” 中的配置数据，提高系统的可用性；
3、Remote层：配置中心远程客户端的封装，用于加载远程配置、实时监听配置变更，提高配置时效性；

得益于客户端的多层设计，以及 LocalCache 和 Mirror-File 等特性，因此业务方可以在高QPS、高并发场景下使用XXL-CONF的客户端, 不必担心并发压力或配置中心宕机导致系统问题。

5.4 配置中心 http 服务（多语言支持）

Java语言应用，可以直接通过依赖提供的Client包的方式，方便快速的接入和使用配置中心；可参考章节 “二、快速入门”：

非Java语言，可借助 XXL-CONF 提供的 “配置中心http服务”，获取配置、实时感知配置更新，从而实现多语言支持。

配置中心提供的 “配置中心http服务” 只会读磁盘配置数据，因此性能极高，而且配置中心支持通过集群无线横向扩展；

“配置中心http服务” 接口文档如下：

a、配置批量获取接口：

说明：查询配置数据；

------

地址格式：{配置中心跟地址}/find

请求参数说明：
 1、accessToken：请求令牌；
 2、env：环境标识
 3、keys：配置Key列表

请求数据格式如下，放置在 RequestBody 中，JSON格式：
    {
        "accessToken" : "xx",
        "env" : "xx",
        "keys" : [
            "key01",
            "key02"
        ]
    }

// 响应数据格式：
{
  "code": 200,      // 200 表示正常、其他失败
  "msg": null,      // 错误提示消息
  "data": {         // 配置信息，KV格式
    "key01": "22",
    "key02": "111"
  }
}

b、配置实时监控接口：

说明：long-polling 接口，主动阻塞一段时间（默认30s）；直至阻塞超时或配置信息变动时响应；

------

地址格式：{配置中心跟地址}/monitor

请求参数说明：
 1、accessToken：请求令牌；
 2、env：环境标识
 3、keys：配置Key列表

请求数据格式如下，放置在 RequestBody 中，JSON格式：
    {
        "accessToken" : "xx",
        "env" : "xx",
        "keys" : [
            "key01",
            "key02"
        ]
    }

响应数据格式：
{
  "code": 200,                      // 200 表示正常，一直阻塞到配置变更或超时；非200 表示请求异常
  "msg": "Monitor key update."      // 错误提示消息
}

接入方可以借助上面两个接口，获取配置、实时感知配置更新；

5.5 配置快照功能

客户端从配置中心获取到的配置数据后，会周期性缓存到本地快照文件中，当从配置中心获取配置失败时，将会使用使用本地快照文件中的配置数据；提高系统可用性；

5.6 多环境支持

单个配置中心集群，支持自定义多套环境，管理多个环境的的配置数据；环境之间相互隔离；

此处给出一些多环境配置的建议：

机器资源紧缺、系统规模较小时：建议部署单个配置中心集群，比如部署 “配置中心集群”，通过定义多套环境，如 “dev、test、ppe、product” 隔离不同环境配置数据；优点是，可以同享配置中心资源；
机器资源充足、系统规模较大时：建议部署多个配置中心集群，比如部署 “配置中心集群A”，定义环境 “ppe、product”；部署 “配置中心集群B”，定义环境 “dev、test”等；优点是，可以避免多个集群相互影响；