常见分布式全局唯一 ID 生成策略及算法的对比

Question

全局唯一的 ID 几乎是所有系统都会遇到的刚需。这个 id 在搜索, 存储数据, 加快检索速度 等等很多方面都有着重要的意义。工业上有多种策略来获取这个全局唯一的 id，针对常见的几种场景，我在这里进行简单的总结和对比。

---

简单分析一下需求 [1]

所谓全局唯一的 id 其实往往对应是 生成唯一记录标识的业务需求 。

这个 id 常常是数据库的 主键 ，数据库上会建立聚集索引（cluster index），即在物理存储上以这个字段排序。这个记录标识上的查询，往往又有分页或者排序的业务需求。所以往往要有一个 time 字段，并且在 time 字段上建立普通索引（non-cluster index）。普通索引存储的是实际记录的指针，其访问效率会比聚集索引慢，如果记录标识在生成时能够基本按照时间有序，则可以省去这个 time 字段的索引查询。

这就引出了记录标识生成的两大核心需求：

• 全局唯一
• 趋势有序

常见生成策略的优缺点对比 [2]

方法一: 用数据库的 auto_increment 来生成

优点：

1. 此方法使用数据库原有的功能，所以相对简单
2. 能够保证唯一性
3. 能够保证递增性
4. id 之间的步长是固定且可自定义的

缺点：

1. 可用性难以保证：数据库常见架构是 一主多从 + 读写分离，生成自增 ID 是写请求 主库挂了就玩不转了
2. 扩展性差，性能有上限：因为写入是单点，数据库主库的写性能决定 ID 的生成性能上限，并且 难以扩展

改进方案：

• 冗余主库，避免写入单点
• 数据水平切分，保证各主库生成的 ID 不重复
  
  如上图所述，由 1 个写库变成 3 个写库， 每个写库设置不同的 auto_increment 初始值，以及相同的增长步长 ，以保证每个数据库生成的 ID 是不同的（上图中 DB 01 生成 0,3,6,9…，DB 02 生成 1,4,7,10，DB 03 生成 2,5,8,11…）

改进后的架构保证了可用性，但缺点是

• 丧失了 ID 生成的 绝对递增性 ：先访问 DB 01 生成 0,3，再访问 DB 02 生成 1，可能导致在非常短的时间内，ID 生成不是绝对递增的（这个问题不大，目标是趋势递增，不是绝对递增
• 数据库的写压力依然很大，每次生成 ID 都要访问数据库

为了解决这些问题，引出了以下方法：

方法二：单点批量 ID 生成服务

分布式系统之所以难，很重要的原因之一是 没有一个全局时钟，难以保证绝对的时序 ，要想保证绝对的时序，还是只能使用单点服务，用本地时钟保证 绝对时序 。
数据库写压力大，是因为每次生成 ID 都访问了数据库，可以 使用批量的方式降低数据库写压力 。

如上图所述，数据库使用双 master 保证可用性，数据库中只存储当前 ID 的最大值，例如 4。

ID 生成服务假设每次批量拉取 5 个 ID，服务访问数据库，将当前 ID 的最大值修改为 4，这样应用访问 ID 生成服务索要 ID，ID 生成服务不需要每次访问数据库，就能依次派发 0,1,2,3,4 这些 ID 了。

当 ID 发完后，再将 ID 的最大值修改为 11，就能再次派发 6,7,8,9,10,11 这些 ID 了，于是数据库的压力就降低到原来的 1/6。

优点：

• 保证了 ID 生成的绝对递增有序
• 大大的降低了数据库的压力，ID 生成可以做到每秒生成几万几十万个

缺点：

• 服务仍然是单点
• 如果服务挂了，服务重启起来之后，继续生成 ID 可能会不连续，中间出现空洞（服务内存是保存着 0,1,2,3,4，数据库中 max-id 是 4，分配到 3 时，服务重启了，下次会从 5 开始分配，3 和 4 就成了空洞，不过这个问题也不大）
• 虽然每秒可以生成几万几十万个 ID，但毕竟还是有性能上限，无法进行水平扩展

改进方案

单点服务的常用高可用优化方案是 备用服务 ，也叫 影子服务 ，所以我们能用以下方法优化上述缺点：

如上图，对外提供的服务是主服务，有一个影子服务时刻处于备用状态，当主服务挂了的时候影子服务顶上。这个切换的过程对调用方是透明的，可以自动完成，常用的技术是 vip+keepalived 。另外，id generate service 也可以进行水平扩展，以解决上述缺点，但会引发一致性问题。

方法三：uuid / guid

不管是通过数据库，还是通过服务来生成 ID，业务方 Application 都需要进行一次远程调用，比较耗时。uuid 是一种常见的本地生成 ID 的方法。

UUID uuid = UUID.randomUUID();  

优点：

• 本地生成 ID，不需要进行远程调用，时延低
• 扩展性好，基本可以认为没有性能上限

缺点：

• 无法保证趋势递增
• uuid 过长，往往用字符串表示， 作为主键建立索引查询效率低 ，常见优化方案为 转化为两个 uint64 整数存储 或者 折半存储 （折半后不能保证唯一性）

方法四：取当前毫秒数

uuid 是一个本地算法，生成性能高，但无法保证趋势递增，且作为字符串 ID 检索效率低，有没有一种能保证递增的本地算法呢？ - 取当前毫秒数是一种常见方案。

优点：

• 本地生成 ID，不需要进行远程调用，时延低
• 生成的 ID 趋势递增
• 生成的 ID 是整数，建立索引后查询效率高

缺点：

• 如果并发量超过 1000，会生成重复的 ID

这个缺点要了命了，不能保证 ID 的唯一性。当然，使用微秒可以降低冲突概率，但每秒最多只能生成 1000000 个 ID，再多的话就一定会冲突了，所以使用微秒并不从根本上解决问题。

方法五：使用 Redis 来生成 id

当使用数据库来生成 ID 性能不够要求的时候，我们可以尝试使用 Redis 来生成 ID。这主要依赖于 Redis 是单线程的 ，所以也可以用生成全局唯一的 ID。可以用 Redis 的原子操作 INCR 和 INCRBY 来实现。

优点：

• 依赖于数据库，灵活方便，且性能优于数据库。
• 数字 ID 天然排序，对分页或者需要排序的结果很有帮助。

缺点：

• 如果系统中没有 Redis，还需要引入新的组件，增加系统复杂度。
• 需要编码和配置的工作量比较大。

方法六：Twitter 开源的 Snowflake 算法

snowflake 是 twitter 开源的分布式 ID 生成算法，其核心思想为，一个 long 型的 ID：

• 41 bit 作为毫秒数 - 41 位的长度可以使用 69 年
• 10 bit 作为机器编号 （5 个 bit 是数据中心，5 个 bit 的机器 ID） - 10 位的长度最多支持部署 1024 个节点
• 12 bit 作为毫秒内序列号 - 12 位的计数顺序号支持每个节点每毫秒产生 4096 个 ID 序号

算法单机每秒内理论上最多可以生成 1000*(2^12)，也就是 400W 的 ID，完全能满足业务的需求。

该算法 java 版本的实现代码如下：

public class SnowflakeIdGenerator {
  //================================================Algorithm's Parameter=============================================

  // 系统开始时间截 (UTC 2017-06-28 00:00:00)
  private final long startTime = 1498608000000L;

  // 机器 id 所占的位数
  private final long workerIdBits = 5L;

  // 数据标识 id 所占的位数
  private final long dataCenterIdBits = 5L;

  // 支持的最大机器 id(十进制)，结果是 31 (这个移位算法可以很快的计算出几位二进制数所能表示的最大十进制数)
  // -1L 左移 5 位 (worker id 所占位数) 即 5 位二进制所能获得的最大十进制数 - 31
  private final long maxWorkerId = -1L ^ (-1L << workerIdBits);

  // 支持的最大数据标识 id - 31
  private final long maxDataCenterId = -1L ^ (-1L << dataCenterIdBits);

  // 序列在 id 中占的位数
  private final long sequenceBits = 12L;

  // 机器 ID 左移位数 - 12 (即末 sequence 所占用的位数)
  private final long workerIdMoveBits = sequenceBits;

  // 数据标识 id 左移位数 - 17(12+5)
  private final long dataCenterIdMoveBits = sequenceBits + workerIdBits;

  // 时间截向 左移位数 - 22(5+5+12)
  private final long timestampMoveBits = sequenceBits + workerIdBits + dataCenterIdBits;

  // 生成序列的掩码(12 位所对应的最大整数值)，这里为 4095 (0b111111111111=0xfff=4095)
  private final long sequenceMask = -1L ^ (-1L << sequenceBits);

  //=================================================Works's Parameter================================================

  /**
   * 工作机器 ID(0~31)
   */
  private long workerId;

  /**
   * 数据中心 ID(0~31)
   */
  private long dataCenterId;

  /**
   * 毫秒内序列(0~4095)
   */
  private long sequence = 0L;

  /**
   * 上次生成 ID 的时间截
   */
  private long lastTimestamp = -1L;

  //===============================================Constructors=======================================================

  /**
   * 构造函数
   *
   * @param workerId   工作 ID (0~31)
   * @param dataCenterId 数据中心 ID (0~31)
   */
  public SnowflakeIdGenerator(long workerId, long dataCenterId) {
    if (workerId > maxWorkerId || workerId < 0) {
      throw new IllegalArgumentException(String.format("Worker Id can't be greater than %d or less than 0", maxWorkerId));
    }
    if (dataCenterId > maxDataCenterId || dataCenterId < 0) {
      throw new IllegalArgumentException(String.format("DataCenter Id can't be greater than %d or less than 0", maxDataCenterId));
    }
    this.workerId = workerId;
    this.dataCenterId = dataCenterId;
  }

  // ==================================================Methods========================================================

  // 线程安全的获得下一个 ID 的方法
  public synchronized long nextId() {
    long timestamp = currentTime();

    //如果当前时间小于上一次 ID 生成的时间戳: 说明系统时钟回退过 - 这个时候应当抛出异常
    if (timestamp < lastTimestamp) {
      throw new RuntimeException(
          String.format("Clock moved backwards.  Refusing to generate id for %d milliseconds", lastTimestamp - timestamp));
    }

    //如果是同一时间生成的，则进行毫秒内序列
    if (lastTimestamp == timestamp) {
      sequence = (sequence + 1) & sequenceMask;
      //毫秒内序列溢出 即 序列 > 4095
      if (sequence == 0) {
        //阻塞到下一个毫秒,获得新的时间戳
        timestamp = blockTillNextMillis(lastTimestamp);
      }
    }
    //时间戳改变，毫秒内序列重置
    else {
      sequence = 0L;
    }

    //上次生成 ID 的时间截
    lastTimestamp = timestamp;

    //移位并通过或运算拼到一起组成 64 位的 ID
    return ((timestamp - startTime) << timestampMoveBits) //
        | (dataCenterId << dataCenterIdMoveBits) //
        | (workerId << workerIdMoveBits) //
        | sequence;
  }

  // 阻塞到下一个毫秒 即 直到获得新的时间戳
  protected long blockTillNextMillis(long lastTimestamp) {
    long timestamp = currentTime();
    while (timestamp <= lastTimestamp) {
      timestamp = currentTime();
    }
    return timestamp;
  }

  // 获得以毫秒为单位的当前时间
  protected long currentTime() {
    return System.currentTimeMillis();
  }

  //====================================================Test Case=====================================================

  public static void main(String[] args) {
    SnowflakeIdGenerator idWorker = new SnowflakeIdGenerator(0, 0);
    for (int i = 0; i < 1000; i++) {
      long id = idWorker.nextId();
      System.out.println(Long.toBinaryString(id));
      System.out.println(id);
    }
  }
}