订阅Kafka日志

    Doris 自身能够保证不丢不重的订阅 Kafka 中的消息，即 消费语义。

    订阅 Kafka 消息使用了 Doris 中的例行导入（Routine Load）功能。

    用户首先需要创建一个例行导入作业。作业会通过例行调度，不断地发送一系列的任务，每个任务会消费一定数量 Kafka 中的消息。

    请注意以下使用限制：

    1. 支持无认证的 Kafka 访问，以及通过 SSL 方式认证的 Kafka 集群。
    2. 支持的消息格式如下：
      • Json 格式，详见 。
    3. 仅支持 Kafka 0.10.0.0(含) 以上版本。

    例行导入功能支持无认证的 Kafka 集群，以及通过 SSL 认证的 Kafka 集群。

    • 上传文件

    上传完成后，可以通过 命令查看已上传的文件。

    创建例行导入任务的具体命令，请参阅 命令手册。这里给出示例：

    1. 访问无认证的 Kafka 集群

    2. 访问 SSL 认证的 Kafka 集群

    查看某个作业的任务运行状态的具体命令和示例请参阅 命令文档。

    只能查看当前正在运行中的任务，已结束和未开始的任务无法查看。

    用户可以修改已经创建的作业的部分属性。具体说明请参阅 命令手册。

    用户可以通过 STOP/PAUSE/RESUME 三个命令来控制作业的停止，暂停和重启。

    具体命令请参阅 ，PAUSE ROUTINE LOAD， 命令文档。

    更多帮助