DataX doriswriter

    这个插件是利用Doris的Stream Load 功能进行数据导入的。需要配合 DataX 服务一起使用。

    DataX 是阿里云 DataWorks数据集成 的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。

    更多信息请参阅:

    使用手册

    DataX doriswriter 插件代码 。

    这个目录包含插件代码以及 DataX 项目的开发环境。

    doriswriter 插件依赖的 DataX 代码中的一些模块。而这些模块并没有在 Maven 官方仓库中。所以我们在开发 doriswriter 插件时，需要下载完整的 DataX 代码库，才能进行插件的编译和开发。

    1. doriswriter/

      这个目录是 doriswriter 插件的代码目录。这个目录中的所有代码，都托管在 Apache Doris 的代码库中。

      doriswriter 插件帮助文档在这里：doriswriter/doc

    1. 运行

    2. 按需修改 DataX/doriswriter 中的代码。