Doris output plugin

    了解Doris Stream Load (opens new window)

    2.编译

    在extension/logstash/ 目录下执行

    你将在同目录下得到 logstash-output-doris-{version}.gem 文件

    copy logstash-output-doris-{version}.gem 到 logstash 安装目录下

    执行命令

    ./bin/logstash-plugin install logstash-output-doris-{version}.gem

    安装 logstash-output-doris 插件

    示例：

    在config目录下新建一个配置配置文件，命名为 logstash-doris.conf

    具体配置如下：

    配置说明：

    导入相关配置：(参考文档 (opens new window))

    其他配置

    执行命令启动doris output plugin：

    {logstash-home}/bin/logstash -f {logstash-home}/config/logstash-doris.conf --config.reload.automatic

    1> 下载ruby压缩包，自行到下载，这里使用的2.7.1版本

    2> 编译安装，配置ruby的环境变量

    3> 到doris源码 extension/logstash/ 目录下，执行

    gem build logstash-output-doris.gemspec

    得到文件 logstash-output-doris-0.1.0.gem，至此编译完成

    2.安装配置filebeat(此处使用filebeat作为input)

    1> 下载 filebeat tar压缩包并解压

    2> 进入filebeat目录下，修改配置文件 filebeat.yml 如下：

    /tmp/doris.data 为doris数据路径

    ./filebeat -e -c filebeat.yml -d "publish"

    1> es官网Logstash Doris Output Plugin - 图6 (opens new window)下载 logstash tar压缩包并解压

    2> 将步骤1中得到的 logstash-output-doris-0.1.0.gem copy到logstash安装目录下

    3> 执行

    ./bin/logstash-plugin install logstash-output-doris-0.1.0.gem

    安装插件

    4> 在config 目录下新建配置文件 logstash-doris.conf 内容如下：

    这里的配置需按照配置说明自行配置

    5> 启动logstash：

    ./bin/logstash -f ./config/logstash-doris.conf —config.reload.automatic

    4.测试功能

    向/tmp/doris.data追加写入数据

    echo a,b,c,d,e >> /tmp/doris.data