监控

    Fluent Bit 带有内置的 HTTP 服务,可用于查询内部信息并监控每个正在运行的插件的指标。

    监控接口可以轻松地与 Prometheus 集成,因为我们支持 Prometheus 原生格式。

    首先,第一步是修改配置文件以启用 HTTP Server:

    上面的配置代码片段将指示 Fluent Bit 在 TCP/2020 端口上启动 HTTP Server 并在所有网络接口上进行监听:

    1. Fluent Bit v1.4.0
    2. * Copyright (C) 2019-2020 The Fluent Bit Authors
    3. * Copyright (C) 2015-2018 Treasure Data
    4. * Fluent Bit is a CNCF sub-project under the umbrella of Fluentd
    5. * https://fluentbit.io
    6. [2020/03/10 19:08:24] [ info] [engine] started
    7. [2020/03/10 19:08:24] [ info] [http_server] listen iface=0.0.0.0 tcp_port=2020
    1. $ curl -s http://127.0.0.1:2020 | jq
    2. {
    3. "fluent-bit": {
    4. "version": "0.13.0",
    5. "edition": "Community",
    6. "flags": [
    7. "FLB_HAVE_TLS",
    8. "FLB_HAVE_SQLDB",
    9. "FLB_HAVE_TRACE",
    10. "FLB_HAVE_HTTP_SERVER",
    11. "FLB_HAVE_FLUSH_LIBCO",
    12. "FLB_HAVE_VALGRIND",
    13. "FLB_HAVE_FORK",
    14. "FLB_HAVE_PROXY_GO",
    15. "FLB_HAVE_REGEX",
    16. "FLB_HAVE_C_TLS",
    17. "FLB_HAVE_SETJMP",
    18. "FLB_HAVE_ACCEPT4",
    19. "FLB_HAVE_INOTIFY"
    20. ]
    21. }
    22. }

    请注意,我们正在将 curl 命令输出发送到 jq 程序,这有助于从终端读取 JSON 数据。Fluent Bit 并非旨在进行 JSON 优雅打印。

    Fluent Bit 公开了许多有用的监控接口,从 Fluent Bit v0.14 开始,以下端点可用:

    使用以下命令查询服务正常运行时间:

    它应该打印类似如下的输出:

    1. {
    2. "uptime_sec": 8950000,
    3. "uptime_hr": "Fluent Bit has been running: 103 days, 14 hours, 6 minutes and 40 seconds"
    4. }
    1. $ curl -s http://127.0.0.1:2020/api/v1/metrics | jq

    it should print a similar output like this:

    Metrics in Prometheus format

    查询 Prometheus Text 0.0.4 格式的内部指标:

    1. $ curl -s http://127.0.0.1:2020/api/v1/metrics/prometheus

    这次,相同的指标将以 Prometheus 格式输出,而不是 JSON

    1. fluentbit_input_bytes_total{name="cpu.0"} 18069 1509150350542
    2. fluentbit_output_proc_records_total{name="stdout.0"} 54 1509150350542
    3. fluentbit_output_errors_total{name="stdout.0"} 0 1509150350542
    4. fluentbit_output_retries_total{name="stdout.0"} 0 1509150350542
    5. fluentbit_output_retries_failed_total{name="stdout.0"} 0 1509150350542

    默认情况下,在运行时配置的插件会以 plugin_name.ID 的格式获取内部名称。出于监控目的,如果配置了多个相同类型的插件,可能会造成混淆。为了区别,每个配置的输入或输出部分都可以使用别名,它将用作指标的父名称。

    当查询指标时,我们获取到了设置的别名而不是插件的名称:

    1. {
    2. "input": {
    3. "server1_cpu": {
    4. "records": 8,
    5. "bytes": 2536
    6. }
    7. },
    8. "output": {
    9. "raw_output": {
    10. "proc_records": 5,
    11. "proc_bytes": 1585,
    12. "errors": 0,
    13. "retries": 0,
    14. "retries_failed": 0
    15. }
    16. }