采集配置

iLogtail工作目录里,可以将采集配置存入user_yaml_config.d目录下进行数据采集。每个采集配置文件以数据流水线(data-pipeline)的形式组织,每个采集配置文件对应一个数据流水线,配置文件为yaml格式,文件名以.yaml结尾。

一个典型的采集流水线以下部分组成:

  • 输入(Input):从数据源采集数据,数据源可以是文本、HTTP数据、Syslog等。

  • 处理(Processor):对采集的数据进行解析、过滤、加工等。

  • 聚合(Aggregator):Pipeline会自带默认聚合插件,一般不需要关注。

  • 输出(Flusher):将符合条件的数据发送到指定的存储系统。

enable: true
inputs:
  - Type: file_log
    LogPath: /home/test-log
    FilePattern: reg.log
processors:
  - Type: processor_regex
    SourceKey: content
    Regex: (\d*-\d*-\d*)\s(.*)
    Keys:
      - time
      - msg
flushers:
  - Type: flusher_sls
    Endpoint: cn-xxx.log.aliyuncs.com
    ProjectName: test_project
    LogstoreName: test_logstore
  - Type: flusher_stdout
    OnlyStdout: true

目前,iLogtail支持本地配置文件热加载,即在修改user_yaml_config.d中已有的配置或增加新的配置文件后,无需重启iLogtail即可生效。生效最长等待时间默认约为10秒,可通过config_update_interval参数进行调整。

注意:config_update_interval参数仅对社区版有效。

Last updated