导入本地数据

    不同于其他命令的提交方式，Stream Load 是通过 HTTP 协议与 Doris 进行连接交互的。

    该方式中涉及 HOST:PORT 应为 HTTP 协议端口。

    • BE 的 HTTP 协议端口，默认为 8040。
    • FE 的 HTTP 协议端口，默认为 8030。但须保证客户端所在机器网络能够联通 BE 所在机器。

    本文文档我们以 curl 命令为例演示如何进行数据导入。

    文档最后，我们给出一个使用 Java 导入数据的代码示例

    1. 创建一张表

      通过 命令在demo创建一张表用于存储待导入的数据。具体的导入方式请查阅 CREATE TABLE 命令手册。示例如下：

      1. CREATE TABLE IF NOT EXISTS load_local_file_test
      2. (
      3.     id INT,
      4.     age TINYINT,
      5.     name VARCHAR(50)
      6. )
      7. unique key(id)
      8. DISTRIBUTED BY HASH(id) BUCKETS 3;

    2. 等待导入结果

      Stream Load 命令是同步命令，返回成功即表示导入成功。如果导入数据较大，可能需要较长的等待时间。示例如下:

      1. {
      3.     "Label": "load_local_file_test",
      4.     "Status": "Success",
      5.     "Message": "OK",
      6.     "NumberTotalRows": 1000000,
      7.     "NumberLoadedRows": 1000000,
      8.     "NumberFilteredRows": 1,
      9.     "NumberUnselectedRows": 0,
      10.     "LoadBytes": 40888898,
      11.     "BeginTxnTimeMs": 1,
      13.     "ReadDataTimeMs": 325,
      14.     "WriteDataTimeMs": 1933,
      15.     "CommitAndPublishTimeMs": 106,
      16.     "ErrorURL": "http://192.168.1.1:8042/api/_load_error_log?file=__shard_0/error_log_insert_stmt_db18266d4d9b4ee5-abb00ddd64bdf005_db18266d4d9b4ee5_abb00ddd64bdf005"
      17. }
      • Status 字段状态为 Success 即表示导入成功。
      • 其他字段的详细介绍，请参阅 命令文档。
    • Stream Load 只能导入本地文件。
    • 建议一个导入请求的数据量控制在 1 - 2 GB 以内。如果有大量本地文件，可以分批并发提交。

    这里通过一个简单的 JAVA 示例来执行 Stream Load：