Question

本文以典型的两地三中心为例，介绍跨数据中心部署的拓扑以及关键参数。

拓扑信息

实例	个数	物理机配置	BJ IP	SH IP	配置
TiDB	3	16 VCore 32GB * 1	10.0.1.1 10.0.1.2 10.0.1.3 10.0.1.4	10.0.1.5	默认端口 全局目录配置
PD	3	4 VCore 8GB * 1	10.0.1.6 10.0.1.7 10.0.1.8 10.0.1.9	10.0.1.10	默认端口 全局目录配置
TiKV	3	16 VCore 32GB 2TB (nvme ssd) * 1	10.0.1.11 10.0.1.12 10.0.1.13 10.0.1.14	10.0.1.15	默认端口 全局目录配置
Monitoring & Grafana	1	4 VCore 8GB * 1 500GB (ssd)	10.0.1.16		默认端口 全局目录配置

拓扑模版

跨机房配置模板

关键参数配置

本节介绍跨数据中心部署 TiDB 集群的关键参数配置。

TiKV 参数

• 设置 gRPC 的压缩格式，默认为 none。为提高跨机房部署场景的目标节点间 gRPC 包的传输速度，建议设置为 gzip 格式。

  server.grpc-compression-type: gzip

• label 配置

  由于采用跨机房部署 TiKV，为了避免物理机宕机导致 Region Group 默认的 5 副本中丢失 3 副本，使集群不可用的问题，可以通过 label 来实现 PD 智能调度，保证同中心、同机柜、同机器 TiKV 实例不会出现 Region Group 有 3 副本的情况。

• TiKV 配置

  相同物理机配置相同的 host 级别 label 信息：

  config:
    server.labels:
      zone: bj
      dc: bja
      rack: rack1
      host: host2

• 防止异地 TiKV 节点发起不必要的 Raft 选举，需要将异地 TiKV 节点发起选举时经过最少的 tick 个数和最多经过的 tick 个数都调大，这两个参数默认设置均为 0。

  raftstore.raft-min-election-timeout-ticks: 1000
  raftstore.raft-max-election-timeout-ticks: 1020

PD 参数

• PD 元数据信息记录 TiKV 集群的拓扑信息，根据四个维度调度 Raft Group 副本。

  replication.location-labels: ["zone","dc","rack","host"]

• 调整 Raft Group 的副本数据量为 5 ，保证集群的高可用性。

  replication.max-replicas: 5

• 拒绝异地机房 TiKV 的 Raft 副本选举为 Leader。

  label-property:
        reject-leader:
          - key: "dc"
            value: "sha"

注意：

• 无需手动创建配置文件中的 tidb 用户，TiUP cluster 组件会在目标主机上自动创建该用户。可以自定义用户，也可以和中控机的用户保持一致。
• 如果部署目录配置为相对路径，会部署在用户家目录下。