Fluent Bit 中文文档
  • Fluent Bit 中文文档
  • 关于
    • Fluent Bit 是什么?
    • Fluent Bit 简要历史
    • Fluentd & Fluent Bit
    • 协议
  • 概念
    • 核心概念
    • 缓冲
    • 数据管道
      • 输入
      • 解析器
      • 过滤器
      • 缓冲
      • 路由
      • 输出
  • 安装
    • 升级说明
    • 平台支持
    • 依赖
    • 源码安装
      • 下载源码
      • 构建和安装
      • 以静态配置构建
    • Linux 软件包
      • Amazon Linux
      • Redhat / CentOS
      • Debian
      • Ubuntu
      • 树莓派
    • Docker
    • Kubernetes
    • Windows
  • 管理
    • 配置 Fluent Bit
      • 格式与模式
      • 配置文件
      • 变量
      • 命令
      • 上游服务负载均衡
      • 单位
    • 安全性
    • 缓冲与存储
    • 积压
    • 调度与重试
    • 内存管理
    • 监控
    • 内部状态导出/信号
  • 数据管道
    • 输入插件
      • Dummy
      • Memory Metics
      • Standard Input
      • Systemd
      • tail
    • 解析器
      • JSON
      • Regular Expression
      • LTSV
      • Logfmt
    • 过滤器
      • Grep
      • Kubernetes
      • Rewrite Tag
      • Modify
      • Nest
    • 输出插件
      • Counter
      • Elasticsearch
      • File
      • FlowCounter
      • HTTP
      • Kafka
      • NULL
      • PostgreSQL
      • Standard Output
      • TCP & TLS
  • 流处理
    • 简介
    • 总览
    • 快速开始
      • Fluent Bit + SQL
      • Check Keys and NULL values
      • Hands On! 101
  • FLUENT BIT FOR DEVELOPERS
    • C Library API
    • 手动提取记录
    • Golang 输出插件
Powered by GitBook
On this page

Was this helpful?

  1. 概念

缓冲

性能和数据安全

Previous核心概念Next数据管道

Last updated 4 years ago

Was this helpful?

当 处理数据时,它使用系统内存(堆)作为主要和临时的位置来存储被交付前的日志记录,在此私有内存域中处理日志记录。

缓冲是指将记录存储在某处的能力,并且在处理和交付记录时,仍然能够存储更多记录。内存中的缓冲是最快的机制,但是在某些情况下,该机制需要特殊的策略来处理在受约束环境中的数据,数据安全或减少服务内存消耗等问题。

第三方服务的网络故障或延迟非常普遍,在某些情况下,当我们无法像接收待处理数据一样快地交付数据时,我们可能会面临积压问题。

我们的缓冲策略旨在解决积压和常规交付故障相关的问题。

Fluent Bit 基于缓冲策略,在内存中提供了主要的缓冲机制,并使用文件系统提供了可选的辅助机制。使用此混合解决方案,您可以安全地应用于任何场景,并在处理数据时保持高性能。

两种机制都不是互斥的,并且当准备好要处理或交付数据时,它们始终位于内存中,而队列中的其他数据可能位于文件系统中,直到准备好被处理并移至内存中为止。

要了解有关 Fluent Bit 中缓冲配置的更多信息,请跳转至部分。

Fluent Bit
积压
缓冲与存储