Fluent Bit 中文文档
  • Fluent Bit 中文文档
  • 关于
    • Fluent Bit 是什么?
    • Fluent Bit 简要历史
    • Fluentd & Fluent Bit
    • 协议
  • 概念
    • 核心概念
    • 缓冲
    • 数据管道
      • 输入
      • 解析器
      • 过滤器
      • 缓冲
      • 路由
      • 输出
  • 安装
    • 升级说明
    • 平台支持
    • 依赖
    • 源码安装
      • 下载源码
      • 构建和安装
      • 以静态配置构建
    • Linux 软件包
      • Amazon Linux
      • Redhat / CentOS
      • Debian
      • Ubuntu
      • 树莓派
    • Docker
    • Kubernetes
    • Windows
  • 管理
    • 配置 Fluent Bit
      • 格式与模式
      • 配置文件
      • 变量
      • 命令
      • 上游服务负载均衡
      • 单位
    • 安全性
    • 缓冲与存储
    • 积压
    • 调度与重试
    • 内存管理
    • 监控
    • 内部状态导出/信号
  • 数据管道
    • 输入插件
      • Dummy
      • Memory Metics
      • Standard Input
      • Systemd
      • tail
    • 解析器
      • JSON
      • Regular Expression
      • LTSV
      • Logfmt
    • 过滤器
      • Grep
      • Kubernetes
      • Rewrite Tag
      • Modify
      • Nest
    • 输出插件
      • Counter
      • Elasticsearch
      • File
      • FlowCounter
      • HTTP
      • Kafka
      • NULL
      • PostgreSQL
      • Standard Output
      • TCP & TLS
  • 流处理
    • 简介
    • 总览
    • 快速开始
      • Fluent Bit + SQL
      • Check Keys and NULL values
      • Hands On! 101
  • FLUENT BIT FOR DEVELOPERS
    • C Library API
    • 手动提取记录
    • Golang 输出插件
Powered by GitBook
On this page
  • Configuration Parameters
  • Getting Started
  • Command Line
  • Configuration File

Was this helpful?

  1. 数据管道
  2. 输出插件

Kafka

PreviousHTTPNextNULL

Last updated 5 years ago

Was this helpful?

kafka 输出插件可以将您的记录输出到 服务中。该插件使用了官方的 (内置依赖库)。

Configuration Parameters

Key

Description

default

Format

指定数据格式,可用选项为 json, msgpack.

json

Message_Key

可选的存储消息的键

Message_Key_Field

如果设置,记录中的 Message_Key_Field 值将指定消息的键。如果没有设置或没有找到指定的键,则将使用 Message_Key(如果设置了) 作为消息的键

Timestamp_Key

设置存储记录时间戳的键

@timestamp

Timestamp_Format

'iso8601' 或 'double'

double

Brokers

Kafka Brokers 的多个列表中的一个,例如: 192.168.1.3:9092, 192.168.1.4:9092.

Topics

Fluent Bit 将消息发送到 Kafka 的单个 Topic 或以逗号分割的 Topic 列表,如果仅设置一个T opic,则该 Topic 将用于所有记录。如果存在多个主题,则使用记录中 Topic_Key 指定字段值

fluent-bit

Topic_Key

如果存在多个主题,则记录中 Topic_Key 指定字段值将指定要使用的主题。例如: 如果 Topic_Key 设置为 router且记录为 {"key1": 123, "router": "route\_2"}, Fluent Bit 将使用 route_2 作为 kafka 的 topic.请注意,如果Topics 列表中没有 Topic_Key 的值,则默认情况下,将使用 Topics 列表中的第一个值

rdkafka.{property}

将 rdkafka.log.connection.close 设置为 false 且将 rdkafka.request.required.acks 设置为 1 是 librdfkafka properties 推荐设置的示例。

Getting Started

要将记录输出到 Apache Kafka,您可以从命令行或通过配置文件运行插件:

Command Line

kafka 插件可以通过 -p 参数从命令行读取参数:

$ fluent-bit -i cpu -o kafka -p brokers=192.168.1.3:9092 -p topics=test

Configuration File

在您的主配置文件中,添加如下 Input 和 Output 配置段:

[INPUT]
    Name  cpu

[OUTPUT]
    Name        kafka
    Match       *
    Brokers     192.168.1.3:9092
    Topics      test

{property} 可以是 任何属性

Apache Kafka
librdkafka C 库
librdkafka properties