> For the complete documentation index, see [llms.txt](https://ilogtail.gitbook.io/ilogtail-docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://ilogtail.gitbook.io/ilogtail-docs/1.5.0/data-pipeline/overview.md).

# 概览

## 输入

| 名称                                                                                                                                                                   | 提供方                                                                                     | 简介                                         |
| -------------------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------------- | ------------------------------------------ |
| <p><a href="/pages/vb8gwYZHqlM59ChSTu2m"><code>file\_log</code></a><br>文本日志</p>                                                                                      | <p>SLS官方<br><a href="https://github.com/messixukejia"><code>messixukejia</code></a></p> | 文本采集。                                      |
| <p><a href="/pages/7GMR5XSK7O0lFGhKZrDa"><code>input\_docker\_stdout</code></a><br>容器标准输出</p>                                                                        | SLS官方                                                                                   | 从容器标准输出/标准错误流中采集日志。                        |
| <p><a href="/pages/p2J1RqTyFKDI4xXNR3wx"><code>metric\_debug\_file</code></a><br>文本日志（debug）</p>                                                                     | SLS官方                                                                                   | 用于调试的读取文件内容的插件。                            |
| <p><a href="/pages/7unYF4IKG3vGwL7dvuGW"><code>metric\_input\_example</code></a><br>MetricInput示例插件</p>                                                              | SLS官方                                                                                   | MetricInput示例插件。                           |
| <p><a href="/pages/WrGadwIqQDQC19lICUA3"><code>metric\_meta\_host</code></a><br>主机Meta数据</p>                                                                         | SLS官方                                                                                   | 主机Meta数据。                                  |
| <p><a href="/pages/1NuEb7EeYX9qbHs6w3Ar"><code>metric\_system\_v2</code></a><br>主机监控数据</p>                                                                           | SLS官方                                                                                   | 主机监控数据。                                    |
| <p><a href="/pages/Vy6YQXLPHAErWHRx3sEK"><code>metric\_mock</code></a><br>Mock数据-Metric</p>                                                                          | SLS官方                                                                                   | 生成metric模拟数据的插件。                           |
| <p><a href="/pages/Po6C10kmrIqwNpAM8BwW"><code>service\_canal</code></a><br>MySQL Binlog</p>                                                                         | SLS官方                                                                                   | 将MySQL Binlog输入到iLogtail。                  |
| <p><a href="/pages/YAUPoObIHvakQ6JGHJ7G"><code>service\_input\_example</code></a><br>ServiceInput示例插件</p>                                                            | SLS官方                                                                                   | ServiceInput示例插件。                          |
| <p><a href="/pages/Zfug9HznFimwGIfB3xpA"><code>service\_journal</code></a><br>Journal数据</p>                                                                          | SLS官方                                                                                   | 从原始的二进制文件中采集Linux系统的Journal（systemd）日志。    |
| <p><a href="/pages/GiN0SEPoLmAEGQ6d5nx3"><code>service\_kafka</code></a><br>Kafka</p>                                                                                | SLS官方                                                                                   | 将Kafka数据输入到iLogtail。                       |
| <p><a href="/pages/XQ7YhgnmjRgAY6uzoCVT"><code>service\_mock</code></a><br>Mock数据-Service</p>                                                                        | SLS官方                                                                                   | 生成service模拟数据的插件。                          |
| <p><a href="/pages/k5O7l7w1xnNSeMBNCBH0"><code>service\_mssql</code></a><br>SqlServer查询数据</p>                                                                        | SLS官方                                                                                   | 将Sql Server数据输入到iLogtail。                  |
| <p><a href="/pages/FqPqQiCd7F1Yh2a9LPnw"><code>service\_pgsql</code></a><br>PostgreSQL查询数据</p>                                                                       | SLS官方                                                                                   | 将PostgresSQL数据输入到iLogtail。                 |
| <p><a href="/pages/cOR2KBGENLsDsojG88pV"><code>service\_syslog</code></a><br>Syslog数据</p>                                                                            | SLS官方                                                                                   | 采集syslog数据。                                |
| <p><a href="/pages/mza2V973kzPdz1OB7F6B"><code>service\_gpu\_metric</code></a><br>GPU数据</p>                                                                          | SLS官方                                                                                   | 支持收集英伟达GPU指标。                              |
| <p><a href="/pages/w5RdFnCqS2RdkOR9Ht1H"><code>observer\_ilogtail\_network</code></a><br>无侵入网络调用数据</p>                                                               | SLS官方                                                                                   | 支持从网络系统调用中收集四层网络调用，并借助网络解析模块，可以观测七层网络调用细节。 |
| <p><a href="https://github.com/alibaba/ilogtail/blob/1.5/docs/cn/data-pipeline/input/service-otlp.md"><code>service\_http\_server otlp</code></a><br>HTTP OTLP数据</p> | SLS官方                                                                                   | 通过http协议，接收OTLP数据。                         |

## 处理

| 名称                                                                                                          | 提供方                                                                                 | 简介                               |
| ----------------------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------- | -------------------------------- |
| <p><a href="/pages/toJ4mGiRYEbbL49sdZOI"><code>processor\_add\_fields</code></a><br>添加字段</p>                | SLS官方                                                                               | 添加字段。                            |
| <p><a href="/pages/0EXQDOnQyIVrV57Evgfr"><code>processor\_default</code></a><br>原始数据</p>                    | SLS官方                                                                               | 不对数据任何操作，只是简单的数据透传。              |
| <p><a href="/pages/29i0T2NLQ3oz0TXw1cAG"><code>processor\_desensitize</code></a><br>数据脱敏</p>                | <p>SLS官方<br><a href="https://github.com/Takuka0311"><code>Takuka0311</code></a></p> | 对敏感数据进行脱敏处理。                     |
| <p><a href="/pages/3RnGJusp3LJGFUAHBopo"><code>processor\_drop</code></a><br>丢弃字段</p>                       | SLS官方                                                                               | 丢弃字段。                            |
| <p><a href="/pages/LNkP8wG8QgYOw01zF9wB"><code>processor\_encrypt</code></a><br>字段加密</p>                    | SLS官方                                                                               | 加密字段                             |
| <p><a href="/pages/j96gdSiSZFOtvK1nuj5R"><code>processor\_fields\_with\_conditions</code></a><br>条件字段处理</p> | <p>社区<br><a href="https://github.com/pj1987111"><code>pj1987111</code></a></p>      | 根据日志部分字段的取值，动态进行字段扩展或删除。         |
| <p><a href="/pages/p0tDfF4JlejmBdkJ3Csz"><code>processor\_filter\_regex</code></a><br>日志过滤</p>              | SLS官方                                                                               | 通过正则匹配过滤日志。                      |
| <p><a href="/pages/DJ4WrDJrPKdXi0Y3Kgl9"><code>processor\_grok</code></a><br>Grok</p>                       | <p>SLS官方<br><a href="https://github.com/Takuka0311"><code>Takuka0311</code></a></p> | 通过 Grok 语法对数据进行处理                |
| <p><a href="/pages/UCKF9KWgkXj6vj00Sq2i"><code>processor\_json</code></a><br>Json</p>                       | SLS官方                                                                               | 实现对Json格式日志的解析。                  |
| <p><a href="/pages/PVr7XsMagVNsJjg9qrtD"><code>processor\_regex</code></a><br>正则</p>                        | SLS官方                                                                               | 通过正则匹配的模式实现文本日志的字段提取。            |
| <p><a href="/pages/apvcbWx82mhgAXpIx0mh"><code>processor\_string\_replace</code></a><br>正则替换</p>            | <p>SLS官方<br><a href="https://github.com/pj1987111"><code>pj1987111</code></a></p>   | 通过全文匹配、正则匹配、去转义字符等方式对文本日志进行内容替换。 |
| <p><a href="/pages/nzA8qhFRnPbHRapwrTrW"><code>processor\_rename</code></a><br>重命名字段</p>                    | SLS官方                                                                               | 重命名字段。                           |
| <p><a href="/pages/w5RdFnCqS2RdkOR9Ht1H"><code>processor\_split\_char</code></a><br>分隔符</p>                 | SLS官方                                                                               | 通过单字符的分隔符提取字段。                   |
| <p><a href="/pages/nKmBgq8dnhPrNVNAAoQw"><code>processor\_split\_key\_value</code></a><br>键值对</p>           | SLS官方                                                                               | 通过切分键值对的方式提取字段。                  |
| <p><a href="/pages/dwbefljHiOUeUN1nXEqJ"><code>processor\_split\_log\_regex</code></a><br>多行切分</p>          | SLS官方                                                                               | 实现多行日志（例如Java程序日志）的采集。           |
| <p><a href="/pages/w5RdFnCqS2RdkOR9Ht1H"><code>processor\_split\_string</code></a><br>分隔符</p>               | SLS官方                                                                               | 通过多字符的分隔符提取字段。                   |

## 聚合

| 名称                                                                                                                  | 提供方                                                                              | 简介                                |
| ------------------------------------------------------------------------------------------------------------------- | -------------------------------------------------------------------------------- | --------------------------------- |
| [`aggregator_content_value_group`](/ilogtail-docs/1.5.0/data-pipeline/aggregator/aggregator-content-value-group.md) | <p>社区<br><a href="https://github.com/snakorse"><code>snakorse</code></a></p>     | 按照指定的Key对采集到的数据进行分组聚合             |
| [`aggregator_metadata_group`](/ilogtail-docs/1.5.0/data-pipeline/aggregator/aggregator-metadata-group.md)           | <p>社区<br><a href="https://github.com/urnotsally"><code>urnotsally</code></a></p> | 按照指定的Metadata Keys对采集到的数据进行重新分组聚合 |

## 输出

| 名称                                                                                                    | 提供方                                                                              | 简介                                        |
| ----------------------------------------------------------------------------------------------------- | -------------------------------------------------------------------------------- | ----------------------------------------- |
| <p><a href="/pages/tf7AknByIH93kdNBg8Rf"><code>flusher\_kafka</code></a><br>Kafka</p>                 | 社区                                                                               | 将采集到的数据输出到Kafka。推荐使用下面的flusher\_kafka\_v2 |
| <p><a href="/pages/Yg6lEAEfVrIGiSoG0Kbk"><code>flusher\_kafka\_v2</code></a><br>Kafka</p>             | <p>社区<br><a href="https://github.com/shalousun"><code>shalousun</code></a></p>   | 将采集到的数据输出到Kafka。                          |
| <p><a href="/pages/LF3BIqIKzhoeCJe4gVfs"><code>flusher\_sls</code></a><br>SLS</p>                     | SLS官方                                                                            | 将采集到的数据输出到SLS。                            |
| <p><a href="/pages/mLm3ciq9YUPhsSm62RJX"><code>flusher\_stdout</code></a><br>标准输出/文件</p>              | SLS官方                                                                            | 将采集到的数据输出到标准输出或文件。                        |
| <p><a href="/pages/9CUkCVyWNY4NlQV2a1Rq"><code>flusher\_otlp\_log</code></a><br>OTLP日志</p>            | <p>社区<br><a href="https://github.com/liuhaoyang"><code>liuhaoyang</code></a></p> | 将采集到的数据支持`Opentelemetry log protocol`的后端。 |
| <p><a href="/pages/ktAlkKWvM6bLz5KQ5glQ"><code>flusher\_http</code></a><br>HTTP</p>                   | <p>社区<br><a href="https://github.com/snakorse"><code>snakorse</code></a></p>     | 将采集到的数据以http方式输出到指定的后端。                   |
| <p><a href="/pages/LWzsvjR5NBIv7q9HN9VO"><code>flusher\_pulsar</code></a><br>Kafka</p>                | <p>社区<br><a href="https://github.com/shalousun"><code>shalousun</code></a></p>   | 将采集到的数据输出到Pulsar。                         |
| <p><a href="/pages/oL41RqAV71cFCFyLJqUU"><code>flusher\_clickhouse</code></a><br>ClickHouse</p>       | <p>社区<br><a href="https://github.com/kl7sn"><code>kl7sn</code></a></p>           | 将采集到的数据输出到ClickHouse。                     |
| <p><a href="/pages/x5IMAuecDXKpseCY5n9X"><code>flusher\_elasticsearch</code></a><br>ElasticSearch</p> | <p>社区<br><a href="https://github.com/joeCarf"><code>joeCarf</code></a></p>       | 将采集到的数据输出到ElasticSearch。                  |
| <p><a href="/pages/hW7eSgfzhlLS4Bz0y2iO"><code>flusher\_loki</code></a><br>Loki</p>                   | <p>社区<br><a href="https://github.com/abingcbc"><code>abingcbc</code></a></p>     | 将采集到的数据输出到Loki。                           |

## 加速

| 名称                                                                                                      | 提供方   | 简介                      |
| ------------------------------------------------------------------------------------------------------- | ----- | ----------------------- |
| <p><a href="/pages/gQE7IiF4xHueRlbtI5U4"><code>processor\_delimiter\_accelerate</code></a><br>分隔符加速</p> | SLS官方 | 以加速模式实现分隔符日志的字段提取。      |
| <p><a href="/pages/VWOACbKf36wNgxg0UvRy"><code>processor\_json\_accelerate</code></a><br>Json加速</p>     | SLS官方 | 以加速模式实现`Json`格式日志的字段提取。 |
| <p><a href="/pages/vIRZdNYl0kMJaKV0vsfv"><code>processor\_regex\_accelerate</code></a><br>正则加速</p>      | SLS官方 | 通过正则匹配以加速模式实现文本日志的字段提取。 |

## 扩展

### ClientAuthenticator

| 名称                                                                                                                                                        | 提供方                                                                          | 简介                              |
| --------------------------------------------------------------------------------------------------------------------------------------------------------- | ---------------------------------------------------------------------------- | ------------------------------- |
| <p><a href="https://github.com/alibaba/ilogtail/blob/1.5/docs/cn/data-pipeline/extension/ext-basicauth.md"><code>ext\_basicauth</code></a><br>Basic认证</p> | <p>社区<br><a href="https://github.com/snakorse"><code>snakorse</code></a></p> | 为 http\_flusher 插件提供 basic 认证能力 |

### FlushInterceptor

| 名称                                                                                                                                                                           | 提供方                                                                          | 简介                                         |
| ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ---------------------------------------------------------------------------- | ------------------------------------------ |
| <p><a href="https://github.com/alibaba/ilogtail/blob/1.5/docs/cn/data-pipeline/extension/ext-groupinfo-filter.md"><code>ext\_groupinfo\_filter</code></a><br>GroupInfo过滤</p> | <p>社区<br><a href="https://github.com/snakorse"><code>snakorse</code></a></p> | 为 http\_flusher 插件提供根据GroupInfo筛选最终提交数据的能力 |

### RequestInterceptor

| 名称                                                                                                                                                                   | 提供方                                                                          | 简介                         |
| -------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ---------------------------------------------------------------------------- | -------------------------- |
| <p><a href="https://github.com/alibaba/ilogtail/blob/1.5/docs/cn/data-pipeline/extension/ext-request-breaker.md"><code>ext\_request\_breaker</code></a><br>请求熔断器</p> | <p>社区<br><a href="https://github.com/snakorse"><code>snakorse</code></a></p> | 为 http\_flusher 插件提供请求熔断能力 |

### Decoder

| 名称                                                                                                                                                                          | 提供方                                                                          | 简介                          |
| --------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ---------------------------------------------------------------------------- | --------------------------- |
| <p><a href="https://github.com/alibaba/ilogtail/blob/1.5/docs/cn/data-pipeline/extension/ext-default-decoder.md"><code>ext\_default\_decoder</code></a><br>默认的decoder扩展</p> | <p>社区<br><a href="https://github.com/snakorse"><code>snakorse</code></a></p> | 将内置支持的Format以Decoder扩展的形式封装 |
