📙
iLogtail用户手册
1.8.4
1.8.4
  • 关于
    • 什么是iLogtail
    • 发展历史
    • 产品优势
    • 开源协议
    • 社区版和企业版的对比说明
  • 安装
    • 快速开始
    • Docker使用
    • Kubernetes使用
    • 守护进程
    • 发布记录
    • 支持的操作系统
    • 源代码
      • 下载
      • 编译
      • Docker镜像
      • 编译依赖
    • 镜像站
  • 概念
    • 关键概念
    • 数据流水线
  • 配置
    • 采集配置
    • 系统参数
    • 日志
  • 数据流水线
    • 概览
    • 插件版本管理
    • 输入
      • 文本日志
      • 脚本执行数据
      • 容器标准输出
      • 文本日志(debug)
      • MetricInput示例插件
      • 主机Meta数据
      • Mock数据-Metric
      • eBPF网络调用数据
      • 主机监控数据
      • MySQL Binlog
      • GO Profile
      • GPU数据
      • HTTP数据
      • ServiceInput示例插件
      • Journal数据
      • Kafka
      • Mock数据-Service
      • SqlServer 查询数据
      • OTLP数据
      • PostgreSQL 查询数据
      • Syslog数据
    • 处理
      • 添加字段
      • 添加云资产信息
      • 原始数据
      • 数据脱敏
      • 丢弃字段
      • 字段加密
      • 条件字段处理
      • 日志过滤
      • Go时间格式解析
      • Grok
      • Json
      • 日志转SLS Metric
      • 正则
      • 重命名字段
      • 分隔符
      • 键值对
      • 多行切分
      • 字符串替换
    • 聚合
      • 基础
      • 上下文
      • 按Key分组
      • 按GroupMetadata分组
    • 输出
      • Kafka(Deprecated)
      • kafkaV2
      • ClickHouse
      • ElasticSearch
      • SLS
      • 标准输出/文件
      • OTLP日志
      • Pulsar
      • HTTP
      • Loki
    • 加速
      • 分隔符加速
      • Json加速
      • 正则加速
  • 工作原理
    • 文件发现
    • 插件系统
  • 可观测性
    • 日志
  • 开发者指南
    • 开发环境
    • 日志协议
      • 协议转换
      • 增加新的日志协议
      • 协议
        • sls协议
        • 单条协议
    • 代码风格
    • 数据模型
    • 插件开发
      • 开源插件开发引导
      • Checkpoint接口
      • Logger接口
      • 如何开发Input插件
      • 如何开发Processor插件
      • 如何开发Aggregator插件
      • 如何开发Flusher插件
      • 如何生成插件文档
      • 插件文档规范
      • 纯插件模式启动
    • 测试
      • 单元测试
      • E2E测试
    • 代码检查
      • 检查代码规范
      • 检查文件许可证
      • 检查依赖包许可证
  • 贡献指南
    • 贡献指南
    • 开发者
    • 成就
  • 性能测试
    • 容器场景iLogtail与Filebeat性能对比测试
  • 管控工具
    • 使用介绍
    • 通信协议
    • 开发指南
  • Awesome iLogtail
    • 走近iLogtail社区版
    • iLogtail社区版使用入门
    • iLogtail社区版开发者指南
    • iLogtail社区版使用案例
Powered by GitBook
On this page
  • 输入
  • 处理
  • 聚合
  • 输出
  • 加速
  • 扩展
  • ClientAuthenticator
  • FlushInterceptor
  • RequestInterceptor
  • Decoder
  1. 数据流水线

概览

输入

名称
提供方
简介

文本采集。

采集脚本执行数据。

SLS官方

从容器标准输出/标准错误流中采集日志。

SLS官方

用于调试的读取文件内容的插件。

SLS官方

MetricInput示例插件。

SLS官方

主机Meta数据。

SLS官方

生成metric模拟数据的插件。

SLS官方

支持从网络系统调用中收集四层网络调用,并借助网络解析模块,可以观测七层网络调用细节。

SLS官方

主机监控数据。

SLS官方

将MySQL Binlog输入到iLogtail。

SLS官方

采集Golang pprof 性能数据。

SLS官方

支持收集英伟达GPU指标。

SLS官方

接收来自unix socket、http/https、tcp的请求,并支持sls协议、otlp等多种协议。

SLS官方

ServiceInput示例插件。

SLS官方

从原始的二进制文件中采集Linux系统的Journal(systemd)日志。

SLS官方

将Kafka数据输入到iLogtail。

SLS官方

生成service模拟数据的插件。

SLS官方

将Sql Server数据输入到iLogtail。

通过http/grpc协议,接收OTLP数据。

SLS官方

将PostgresSQL数据输入到iLogtail。

SLS官方

采集syslog数据。

处理

名称
提供方
简介

SLS官方

添加字段。

SLS官方

为日志增加云平台元数据信息。

SLS官方

不对数据任何操作,只是简单的数据透传。

对敏感数据进行脱敏处理。

SLS官方

丢弃字段。

SLS官方

加密字段

根据日志部分字段的取值,动态进行字段扩展或删除。

SLS官方

通过正则匹配过滤日志。

SLS官方

以 Go 语言时间格式解析原始日志中的时间字段。

通过 Grok 语法对数据进行处理

SLS官方

实现对Json格式日志的解析。

SLS官方

将日志转sls metric

SLS官方

通过正则匹配的模式实现文本日志的字段提取。

SLS官方

重命名字段。

SLS官方

通过单字符的分隔符提取字段。

SLS官方

通过多字符的分隔符提取字段。

SLS官方

通过切分键值对的方式提取字段。

SLS官方

实现多行日志(例如Java程序日志)的采集。

通过全文匹配、正则匹配、去转义字符等方式对文本日志进行内容替换。

聚合

名称
提供方
简介

按照指定的Key对采集到的数据进行分组聚合

按照指定的Metadata Keys对采集到的数据进行重新分组聚合

输出

名称
提供方
简介

社区

将采集到的数据输出到Kafka。推荐使用下面的flusher_kafka_v2

将采集到的数据输出到Kafka。

SLS官方

将采集到的数据输出到SLS。

SLS官方

将采集到的数据输出到标准输出或文件。

将采集到的数据支持Opentelemetry log protocol的后端。

将采集到的数据以http方式输出到指定的后端。

将采集到的数据输出到Pulsar。

将采集到的数据输出到ClickHouse。

将采集到的数据输出到ElasticSearch。

将采集到的数据输出到Loki。

加速

名称
提供方
简介

SLS官方

以加速模式实现分隔符日志的字段提取。

SLS官方

以加速模式实现Json格式日志的字段提取。

SLS官方

通过正则匹配以加速模式实现文本日志的字段提取。

扩展

ClientAuthenticator

名称
提供方
简介

为 http_flusher 插件提供 basic 认证能力

FlushInterceptor

名称
提供方
简介

为 http_flusher 插件提供根据GroupInfo筛选最终提交数据的能力

RequestInterceptor

名称
提供方
简介

为 http_flusher 插件提供请求熔断能力

Decoder

名称
提供方
简介

将内置支持的Format以Decoder扩展的形式封装

Previous日志Next插件版本管理

Last updated 1 year ago

文本日志

SLS官方

脚本执行数据

社区

容器标准输出

文本日志(debug)

MetricInput示例插件

主机Meta数据

Mock数据-Metric

eBPF网络调用数据

主机监控数据

MySQL Binlog

GO Profile

GPU数据

HTTP数据

ServiceInput示例插件

Journal数据

Kafka

Mock数据-Service

SqlServer查询数据

OTLP数据

社区

PostgreSQL查询数据

Syslog数据

添加字段

添加云资产信息

原始数据

数据脱敏

SLS官方

丢弃字段

字段加密

条件字段处理

社区

日志过滤

Gotime

Grok

SLS官方

Json

日志转sls metric

正则

重命名字段

分隔符

分隔符

键值对

多行切分

字符串替换

SLS官方

社区

社区

Kafka

Kafka

社区

SLS

标准输出/文件

OTLP日志

社区

HTTP

社区

Kafka

社区

ClickHouse

社区

ElasticSearch

社区

Loki

社区

分隔符加速

Json加速

正则加速

Basic认证

社区

GroupInfo过滤

社区

请求熔断器

社区

默认的decoder扩展

社区

file_log
messixukejia
input_command
didachuxing
input_docker_stdout
metric_debug_file
metric_input_example
metric_meta_host
metric_mock
observer_ilogtail_network
metric_system_v2
service_canal
service_go_profile
service_gpu_metric
service_http_server
service_input_example
service_journal
service_kafka
service_mock
service_mssql
service_otlp
Zhu Shunjia
service_pgsql
service_syslog
processor_add_fields
processor_cloud_meta
processor_default
processor_desensitize
Takuka0311
processor_drop
processor_encrypt
processor_fields_with_conditions
pj1987111
processor_filter_regex
processor_gotime
processor_grok
Takuka0311
processor_json
processor_log_to_sls_metric
processor_regex
processor_rename
processor_split_char
processor_split_string
processor_split_key_value
processor_split_log_regex
processor_string_replace
pj1987111
aggregator_content_value_group
snakorse
aggregator_metadata_group
urnotsally
flusher_kafka
flusher_kafka_v2
shalousun
flusher_sls
flusher_stdout
flusher_otlp_log
liuhaoyang
flusher_http
snakorse
flusher_pulsar
shalousun
flusher_clickhouse
kl7sn
flusher_elasticsearch
joeCarf
flusher_loki
abingcbc
processor_delimiter_accelerate
processor_json_accelerate
processor_regex_accelerate
ext_basicauth
snakorse
ext_groupinfo_filter
snakorse
ext_request_breaker
snakorse
ext_default_decoder
snakorse