采集配置

iLogtail工作目录里,可以将采集配置存入user_yaml_config.d目录下进行数据采集。每个采集配置文件以数据流水线(data-pipeline)的形式组织,每个采集配置文件对应一个数据流水线,配置文件为yaml格式,文件名以.yaml结尾。
一个典型的采集流水线以下部分组成:
  • 输入(Input):从数据源采集数据,数据源可以是文本、HTTP数据、Syslog等。
  • 处理(Processor):对采集的数据进行解析、过滤、加工等。
  • 聚合(Aggregator):Pipeline会自带默认聚合插件,一般不需要关注。
  • 输出(Flusher):将符合条件的数据发送到指定的存储系统。
enable: true
inputs:
- Type: file_log
LogPath: /home/test-log
FilePattern: reg.log
processors:
- Type: processor_regex
SourceKey: content
Regex: (\d*-\d*-\d*)\s(.*)
Keys:
- time
- msg
flushers:
- Type: flusher_sls
Endpoint: cn-xxx.log.aliyuncs.com
ProjectName: test_project
LogstoreName: test_logstore
- Type: flusher_stdout
OnlyStdout: true
目前,iLogtail支持本地配置文件热加载,即在修改user_yaml_config.d中已有的配置或增加新的配置文件后,无需重启iLogtail即可生效。生效最长等待时间默认约为10秒,可通过config_update_interval参数进行调整。
注意:config_update_interval参数仅对社区版有效。