缓冲
性能和数据安全
当 Fluent Bit 处理数据时,它使用系统内存(堆)作为主要和临时的位置来存储被交付前的日志记录,在此私有内存域中处理日志记录。
缓冲是指将记录存储在某处的能力,并且在处理和交付记录时,仍然能够存储更多记录。内存中的缓冲是最快的机制,但是在某些情况下,该机制需要特殊的策略来处理在受约束环境中的数据积压,数据安全或减少服务内存消耗等问题。
第三方服务的网络故障或延迟非常普遍,在某些情况下,当我们无法像接收待处理数据一样快地交付数据时,我们可能会面临积压问题。
我们的缓冲策略旨在解决积压和常规交付故障相关的问题。
Fluent Bit 基于缓冲策略,在内存中提供了主要的缓冲机制,并使用文件系统提供了可选的辅助机制。使用此混合解决方案,您可以安全地应用于任何场景,并在处理数据时保持高性能。
两种机制都不是互斥的,并且当准备好要处理或交付数据时,它们始终位于内存中,而队列中的其他数据可能位于文件系统中,直到准备好被处理并移至内存中为止。
要了解有关 Fluent Bit 中缓冲配置的更多信息,请跳转至缓冲与存储部分。
Last updated