TiDB Data Migration 用户文档

TiDB Data Migration 用户文档

DM 主要包括三个组件：DM-master，DM-worker 和 dmctl。

  • 保存 DM 集群的拓扑信息
  • 监控 DM-worker 进程的运行状态
  • 监控数据同步任务的运行状态
  • 提供数据同步任务管理的统一入口
  • 协调分库分表场景下各个实例分表的 DDL 同步

DM-worker

DM-worker 负责执行具体的数据同步任务。

  • 将 binlog 数据持久化保存在本地
  • 保存数据同步子任务的配置信息
  • 编排数据同步子任务的运行

DM-worker 启动后，会自动同步上游 binlog 至本地配置目录（如果使用 DM-Ansible 部署 DM 集群，默认的同步目录为 ）。关于 relay log，详见 。

dmctl 是用来控制 DM 集群的命令行工具。

  • 创建、更新或删除数据同步任务
  • 查看数据同步任务状态
  • 处理数据同步任务错误
  • 校验数据同步任务配置的正确性

下面简单介绍 DM 数据同步功能的核心特性。

Table routing

Black & white table lists 是指上游数据库实例表的黑白名单过滤规则。其过滤规则类似于 MySQL replication-rules-db/，可以用来过滤或只同步某些数据库或某些表的所有操作。

Binlog event filter

Binlog event filter 是比库表同步黑白名单更加细粒度的过滤规则，可以指定只同步或者过滤掉某些 schema/ 的指定类型的 binlog events，比如 INSERT，。

DM 支持对原分库分表进行合库合表操作，但需要满足一些使用限制。

在使用 DM 工具之前，需了解以下限制：

  • 数据库版本
  • DDL 语法
  • 分库分表
  • 操作限制
  • DM-worker 切换 MySQL