CloudCanal 数据导入

    CloudCanal 最新版下载地址

    • 推荐使用2.2.5.0及以上的CloudCanal版本写入Doris

    • 当前社区版本最大的内存配置为2g，如果同步任务运行产生OOM异常或者GC停顿严重可以调小以下参数减少批次大小从而减少内存占用。全量参数为和，增量参数为和

    • 支持的源端以及功能项：

    CloudCanal 提供了完整的产品化能力，用户在可视化界面完成数据源添加和任务创建即可自动完成结构迁移、全量迁移、增量实时同步。下文演示如何将 MySQL 数据库中的数据迁移同步到对端 Doris 中。其他源端同步到 Doris 也可以按照类似的方式进行。

    • 登录 CloudCanal 平台
    • 数据源管理-> 新增数据源
    • 选择自建数据库中 Doris

    添加好数据源之后可以按照如下步骤进行数据迁移、同步任务的创建。

    • 任务管理-> 任务创建
    • 选择 源 和 目标 数据库

    image.png

    • 选择 增量同步，并且启用 全量数据初始化
    • 不勾选 DDL 同步(暂不支持)
    • 点击下一步
    • 选择订阅的表，结构迁移自动创建的表为主键模型的表，因此暂不支持无主键表
    • 点击下一步

    • 配置列映射
    • 点击下一步

    image.png

    • 创建任务

    • 查看任务状态。任务创建后，会自动完成结构迁移、全量、增量阶段。

    image.png

    更多关于 CloudCanal 同步 Doris 的资料，可以查看