TiDB Binlog 简介

    TiDB Binlog 支持以下功能场景：

    • 数据同步：同步 TiDB 集群数据到其他数据库
    • 实时备份和恢复：备份 TiDB 集群数据，同时可以用于 TiDB 集群故障时恢复

    要快速了解 Binlog 的基本原理和使用方法，建议先观看下面的培训视频（时长 32 分钟）。注意本视频只为学习参考，具体操作步骤和最新功能，请以文档内容为准。

    TiDB Binlog 集群主要分为 Pump 和 Drainer 两个组件，以及 binlogctl 工具：

    Pump 用于实时记录 TiDB 产生的 Binlog，并将 Binlog 按照事务的提交时间进行排序，再提供给 Drainer 进行消费。

    Drainer 从各个 Pump 中收集 Binlog 进行归并，再将 Binlog 转化成 SQL 或者指定格式的数据，最终同步到下游。

    是一个 TiDB Binlog 配套的运维工具，具有如下功能：

    • 获取 TiDB 集群当前的 TSO
    • 修改 Pump/Drainer 状态
    • 暂停/下线 Pump/Drainer
    • 多个 Pump 形成一个集群，可以水平扩容。
    • TiDB 通过内置的 Pump Client 将 Binlog 分发到各个 Pump。
    • Pump 负责存储 Binlog，并将 Binlog 按顺序提供给 Drainer。
    • Drainer 负责读取各个 Pump 的 Binlog，归并排序后发送到下游。
    • Drainer 支持 relay log 功能，通过 relay log 保证下游集群的一致性状态。
      • 如果从 v5.0 版本手动控制组件升级顺序进行升级，请确保先将 TiDB Binlog 升级至 v5.1 版本后再将 TiDB Server 升级至 v5.1 版本。

    • TiDB Binlog 与 TiDB v5.0 版本开始引入的以下特性不兼容，无法一起使用：

      • TiDB 聚簇索引特性：开启 TiDB Binlog 后 TiDB 不允许创建非单个整数列作为主键的聚簇索引；已创建的聚簇索引表的数据插入、删除和更新动作不会通过 TiDB Binlog 同步到下游。如需同步聚簇索引表，请升级至 v5.1 版本或使用 ；
      • TiDB 系统变量 tidb_enable_async_commit：启用 TiDB Binlog 后，开启该选项无法获得性能提升。要获得性能提升，建议使用 替代 TiDB Binlog。
      • TiDB 系统变量 tidb_enable_1pc：启用 TiDB Binlog 后，开启该选项无法获得性能提升。要获得性能提升，建议使用 替代 TiDB Binlog。

    • TiDB Binlog 与 TiDB v4.0.7 版本开始引入的以下特性不兼容，无法一起使用：

      • TiDB 系统变量 tidb_enable_amend_pessimistic_txn：两个功能存在兼容性问题，一起使用会造成 TiDB Binlog 复制数据不一致的正确性问题。

    • Drainer 支持将 Binlog 同步到 MySQL、TiDB、Kafka 或者本地文件。如果需要将 Binlog 同步到其他 Drainer 不支持的类型的系统中，可以设置 Drainer 将 Binlog 同步到 Kafka，然后根据 binlog consumer protocol 进行定制处理，参考 。

    • 如果 TiDB Binlog 用于增量恢复，可以设置配置项 ，Drainer 会将 binlog 转化为指定的 proto buffer 格式的数据，再写入到本地文件中。这样就可以使用 恢复增量数据。

      • 如果 TiDB 版本 < 2.1.9，则 。

    • 如果下游为 MySQL/TiDB，数据同步后可以使用 sync-diff-inspector 进行数据校验。