缓冲与存储

    默认情况下，Fluent Bit 处理数据时，它使用内容作为存储记录日志的主要和临时位置，但是在某些情况下，理想的情况是在文件系统中具有持久性缓冲机制以提供聚合和数据安全能力。

    从 Fluent Bit v1.0 开始，我们引入了一个新的存储层，它可以在内存或文件系统中工作。输入插件可配置为在启动时根据需要使用其中一个。

    • Service 配置段
    • Input 配置段

    Service 配置段为存储层配置一个全局环境，然后在 Input 配置段中定义要使用的机制。

    Service 配置段指在主配置文件:

    该配置配置了一个可选的缓冲机制，其中数据的根目录为 /var/log/flb-storage/，它将使用 normal 同步模式，没有校验和，并在处理积压数据时最多可使用 5MB 的内存。

    Input 配置段配置

    可选的，任何输入插件都可以配置其存储选项，下表描述了可用的选项:

    配置项 描述 默认值
    storage.type 指定要使用的缓冲机制。可选值为 memory 或 filesystem memory 
    1. [SERVICE]
    2.     log_Level                 info
    4.     storage.sync              normal
    5.     storage.checksum          off
    6.     storage.backlog.mem_limit 5M
    9.     storage.type  filesystem
    11. [INPUT]
    12.     name          mem
    13.     storage.type  memory