kafka-logger

    它可以将接口请求日志以 JSON 的形式推送给外部 Kafka 集群。如果在短时间内没有收到日志数据，请放心，它会在我们的批处理处理器中的计时器功能到期后自动发送日志。

    有关 Apache APISIX 中 Batch-Processor 的更多信息，请参考。

    属性

    本插件支持使用批处理器来聚合并批量处理条目（日志/数据）。这样可以避免插件频繁地提交数据，默认设置情况下批处理器会每 5 秒钟或队列中的数据达到 1000 条时提交数据，如需了解或自定义批处理器相关参数设置，请参考 配置部分。

    • origin:

      1. GET /hello?ab=cd HTTP/1.1
      2. host: localhost
      3. content-length: 6
      4. connection: close
      6. abcdef

    消息将首先写入缓冲区。 当缓冲区超过 batch_max_size 时，它将发送到 kafka 服务器， 或每个 刷新缓冲区。

    如果成功，则返回 true。 如果出现错误，则返回 nil，并带有描述错误的字符串（buffer overflow）。

    如何启用

    1. 为特定路由启用 kafka-logger 插件。
    1. {
    2.     "plugins": {
    3.        "kafka-logger": {
    4.            "broker_list" :
    5.              {
    6.                "127.0.0.1":9092
    7.              },
    8.            "kafka_topic" : "test2",
    9.            "key" : "key1"
    10.        }
    11.     },
    12.     "upstream": {
    13.        "nodes": {
    14.            "127.0.0.1:1980": 1
    15.        },
    16.        "type": "roundrobin"
    17.     },
    19. }'

    成功

    插件元数据设置

    名称类型必选项默认值有效值描述
    log_formatobject可选{“host”: “$host”, “@timestamp”: “$time_iso8601”, “client_ip”: “$remote_addr”}以 JSON 格式的键值对来声明日志格式。对于值部分，仅支持字符串。如果是以 $ 开头，则表明是要获取 APISIX 变量 或 。请注意，该设置是全局生效的，因此在指定 log_format 后，将对所有绑定 kafka-logger 的 Route 或 Service 生效。
    1. {
    2.     "log_format": {
    3.         "host": "$host",
    4.         "@timestamp": "$time_iso8601",
    5.         "client_ip": "$remote_addr"
    6.     }
    7. }'

    在日志收集处，将得到类似下面的日志：

    当您要禁用 kafka-logger 插件时，这很简单，您可以在插件配置中删除相应的 json 配置，无需重新启动服务，它将立即生效：

    1. $ curl http://127.0.0.1:9080/apisix/admin/routes/1  -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
    2. {
    3.     "methods": ["GET"],
    4.     "uri": "/hello",
    5.     "plugins": {},
    6.     "upstream": {
    7.         "type": "roundrobin",
    8.         "nodes": {
    9.             "127.0.0.1:1980": 1
    10.         }
    12. }'