Data Migration 架构

    DM-master 负责管理和调度数据迁移任务的各项操作。

    • 监控 DM-worker 进程的运行状态
    • 监控数据迁移任务的运行状态
    • 提供数据迁移任务管理的统一入口
    • 协调分库分表场景下各个实例分表的 DDL 迁移

    DM-worker 负责执行具体的数据迁移任务。

    • 将 binlog 数据持久化保存在本地
    • 保存数据迁移子任务的配置信息
    • 监控数据迁移子任务的运行状态

    dmctl 是用来控制 DM 集群的命令行工具。

    • 创建、更新或删除数据迁移任务
    • 查看数据迁移任务状态
    • 处理数据迁移任务错误
    • 校验数据迁移任务配置的正确性

    有关于 dmctl 的使用介绍，详见 dmctl 使用。

    架构特性

    当部署多个 DM-master 节点时，所有 DM-master 节点将使用内部嵌入的 etcd 组成集群。该 DM-master 集群用于存储集群节点信息、任务配置等元数据，同时通过 etcd 选举出 leader 节点。该 leader 节点用于提供集群管理、数据迁移任务管理相关的各类服务。因此，若可用的 DM-master 节点数超过部署节点的半数，即可正常提供服务。