文本日志

简介

iuput_file插件可以实现从文本文件中采集日志。采集的日志内容将会保存在事件的content字段中。

版本

Stable

配置参数

参数

类型

是否必填

默认值

说明

Type

string

是

插件类型。固定为input_file。

FilePaths

[string]

是

待采集的日志文件路径列表（目前仅限1个路径）。路径中支持使用*和**通配符，其中**通配符仅能出现一次且仅限用于文件名前。

MaxDirSearchDepth

int

否

文件路径中**通配符匹配的最大目录深度。仅当日志路径中存在**通配符时有效，取值范围为0～1000。

ExcludeFilePaths

[string]

否

空

文件路径黑名单。路径必须为绝对路径，支持使用*通配符。

ExcludeFiles

[string]

否

空

文件名黑名单。支持使用*通配符。

ExcludeDirs

[string]

否

空

目录黑名单。路径必须为绝对路径，支持使用*通配符

FileEncoding

string

否

utf8

文件编码格式。可选值包括utf8和gbk。

TailSizeKB

uint

否

1024

配置首次生效时，匹配文件的起始采集位置距离文件结尾的大小。如果文件大小小于该值，则从头开始采集，取值范围为0～10485760KB。

Multiline

object

否

空

多行聚合选项。详见表1。

EnableContainerDiscovery

bool

否

false

是否启用容器发现功能。仅当Logtail以Daemonset模式运行，且采集文件路径为容器内路径时有效。

ContainerFilters

object

否

空

容器过滤选项。多个选项之间为“且”的关系，仅当EnableContainerDiscovery取值为true时有效，详见表2。

ExternalK8sLabelTag

map

否

空

对于部署于K8s环境的容器，需要在日志中额外添加的与Pod标签相关的tag。map中的key为Pod标签名，value为对应的tag名。例如：在map中添加app: k8s\_label\_app，则若pod中包含app=serviceA的标签时，会将该信息以tag的形式添加到日志中，即添加字段__tag__:k8s_label_app: serviceA；若不包含app标签，则会添加空字段__tag__:k8s_label_app:

ExternalEnvTag

map

否

空

对于部署于K8s环境的容器，需要在日志中额外添加的与容器环境变量相关的tag。map中的key为环境变量名，value为对应的tag名。例如：在map中添加VERSION: env\_version，则当容器中包含环境变量VERSION=v1.0.0时，会将该信息以tag的形式添加到日志中，即添加字段__tag__:env_version: v1.0.0；若不包含VERSION环境变量，则会添加空字段__tag__:env_version:

AppendingLogPositionMeta

bool

否

false

是否在日志中添加该条日志所属文件的元信息，包括__tag__:__inode__字段和__file_offset__字段。

FlushTimeoutSecs

uint

否

当文件超过指定时间未出现新的完整日志时，将当前读取缓存中的内容作为一条日志输出。

AllowingIncludedByMultiConfigs

bool

否

false

是否允许当前配置采集其它配置已匹配的文件。

表1：多行聚合选项

参数

类型

是否必填

默认值

说明

Mode

string

否

custom

多行聚合模式。可选值包括custom和JSON。

StartPattern

string

当Multiline.Mode取值为custom时，至少1个必填

空

行首正则表达式。

ContinuePattern

string

空

行继续正则表达式。

EndPattern

string

空

行尾正则表达式。

UnmatchedContentTreatment

string

否

single_line

对于无法匹配的日志段的处理方式，可选值如下：

discard：丢弃
single_line：将不匹配日志段的每一行各自存放在一个单独的事件中

表2：容器过滤选项

参数

类型

是否必填

默认值

说明

K8sNamespaceRegex

string

否

空

对于部署于K8s环境的容器，指定待采集容器所在Pod所属的命名空间条件。如果未添加该参数，则表示采集所有容器。支持正则匹配。

K8sPodRegex

string

否

空

对于部署于K8s环境的容器，指定待采集容器所在Pod的名称条件。如果未添加该参数，则表示采集所有容器。支持正则匹配。

IncludeK8sLabel

map

否

空

对于部署于K8s环境的容器，指定待采集容器所在pod的标签条件。多个条件之间为“或”的关系，如果未添加该参数，则表示采集所有容器。支持正则匹配。 map中的key为Pod标签名，value为Pod标签的值，说明如下：

如果map中的value为空，则pod标签中包含以key为键的pod都会被匹配；
如果map中的value不为空，则：
- 若value以^开头并且以$结尾，则当pod标签中存在以key为标签名且对应标签值能正则匹配value的情况时，相应的pod会被匹配；
- 其他情况下，当pod标签中存在以key为标签名且以value为标签值的情况时，相应的pod会被匹配。

ExcludeK8sLabel

map

否

空

对于部署于K8s环境的容器，指定需要排除采集容器所在pod的标签条件。多个条件之间为“或”的关系，如果未添加该参数，则表示采集所有容器。支持正则匹配。 map中的key为pod标签名，value为pod标签的值，说明如下：

如果map中的value为空，则pod标签中包含以key为键的pod都会被匹配；
如果map中的value不为空，则：
- 若value以^开头并且以$结尾，则当pod标签中存在以key为标签名且对应标签值能正则匹配value的情况时，相应的pod会被匹配；
- 其他情况下，当pod标签中存在以key为标签名且以value为标签值的情况时，相应的pod会被匹配。

K8sContainerRegex

string

否

空

对于部署于K8s环境的容器，指定待采集容器的名称条件。如果未添加该参数，则表示采集所有容器。支持正则匹配。

IncludeEnv

map

否

空

指定待采集容器的环境变量条件。多个条件之间为“或”的关系，如果未添加该参数，则表示采集所有容器。支持正则匹配。 map中的key为环境变量名，value为环境变量的值，说明如下：

如果map中的value为空，则容器环境变量中包含以key为键的容器都会被匹配；
如果map中的value不为空，则：
- 若value以^开头并且以$结尾，则当容器环境变量中存在以key为环境变量名且对应环境变量值能正则匹配value的情况时，相应的容器会被匹配；
- 其他情况下，当容器环境变量中存在以key为环境变量名且以value为环境变量值的情况时，相应的容器会被匹配。

ExcludeEnv

map

否

空

指定需要排除采集容器的环境变量条件。多个条件之间为“或”的关系，如果未添加该参数，则表示采集所有容器。支持正则匹配。 map中的key为环境变量名，value为环境变量的值，说明如下：

如果map中的value为空，则容器环境变量中包含以key为键的容器都会被匹配；
如果map中的value不为空，则：
- 若value以^开头并且以$结尾，则当容器环境变量中存在以key为环境变量名且对应环境变量值能正则匹配value的情况时，相应的容器会被匹配；
- 其他情况下，当容器环境变量中存在以key为环境变量名且以value为环境变量值的情况时，相应的容器会被匹配。

IncludeContainerLabel

map

否

空

指定待采集容器的标签条件。多个条件之间为“或”的关系，如果未添加该参数，则默认为空，表示采集所有容器。支持正则匹配。 map中的key为容器标签名，value为容器标签的值，说明如下：

如果map中的value为空，则容器标签中包含以key为键的容器都会被匹配；
如果map中的value不为空，则：
- 若value以^开头并且以$结尾，则当容器标签中存在以key为标签名且对应标签值能正则匹配value的情况时，相应的容器会被匹配；
- 其他情况下，当容器标签中存在以key为标签名且以value为标签值的情况时，相应的容器会被匹配。

ExcludeContainerLabel

map

否

空

指定需要排除采集容器的标签条件。多个条件之间为“或”的关系，如果未添加该参数，则默认为空，表示采集所有容器。支持正则匹配。 map中的key为容器标签名，value为容器标签的值，说明如下：

如果map中的value为空，则容器标签中包含以key为键的容器都会被匹配；
如果map中的value不为空，则：
- 若value以^开头并且以$结尾，则当容器标签中存在以key为标签名且对应标签值能正则匹配value的情况时，相应的容器会被匹配；
- 其他情况下，当容器标签中存在以key为标签名且以value为标签值的情况时，相应的容器会被匹配。

样例

采集指定目录下的文件

采集/home/test-log路径下的所有文件名匹配*.log规则的文件，并将结果输出至stdout。

输入

{"key1": 123456, "key2": "abcd"}

采集配置

enable: true
inputs:
  - Type: input_file
    FilePaths: 
      - /home/test-log/*.log
flushers:
  - Type: flusher_stdout
    OnlyStdout: true

输出

{
    "__tag__:__path__": "/home/test-log/json.log",
    "content": "{\"key1\": 123456, \"key2\": \"abcd\"}",
    "__time__": "1657354763"
}

采集指定目录下的所有文件

采集/home/test-log路径下的所有文件名匹配*.log规则的文件（含递归），并将结果输出至stdout。

采集配置

enable: true
inputs:
  - Type: input_file
    FilePaths: 
      - /home/test-log/**/*.log
    MaxDirSearchDepth: 10
flushers:
  - Type: flusher_stdout
    OnlyStdout: true

采集K8s容器文件（仅限iLogtail以Daemonset的方式部署）

采集K8s命名空间default中以deploy为Pod名前缀、Pod标签包含version: 1.0且容器环境变量不为ID=123的所有容器中，/home/test-log/路径下的所有文件名匹配*.log规则的文件，并将结果输出至stdout。

采集配置

enable: true
inputs:
  - Type: input_file
    FilePaths: 
      - /home/test-log/*.log
    EnableContainerDiscovery: true
    ContainerFilters:
      K8sNamespaceRegex: default
      K8sPodRegex: ^(deploy.*)$
      IncludeK8sLabel:
        version: v1.0
      ExcludeEnv:
        ID: 123
flushers:
  - Type: flusher_stdout
    OnlyStdout: true

采集简单多行日志

采集文件/home/test-log/regMulti.log，文件内容通过行首正则表达式切分日志，然后通过正则表达式解析日志内容并提取字段，并将结果输出到stdout。

输入

[2022-07-07T10:43:27.360266763] [INFO] java.lang.Exception: exception happened
    at com.aliyun.sls.devops.logGenerator.type.RegexMultiLog.f2(RegexMultiLog.java:108)
    at java.base/java.lang.Thread.run(Thread.java:833)

采集配置

enable: true
inputs:
  - Type: input_file
    FilePaths: 
      - /home/test-log/regMulti.log
    Multiline:
      StartPattern: \[\d+-\d+-\w+:\d+:\d+.\d+]\s\[\w+]\s.*
processors:
  - Type: processor_parse_regex_native
    SourceKey: content
    Keys:
      - time
      - level
      - msg
    Regex: \[(\S+)]\s\[(\S+)]\s(.*)
flushers:
  - Type: flusher_stdout
    OnlyStdout: true

输出

{
    "__tag__:__path__": "/home/test-log/regMulti.log",
    "time": "2022-07-07T10:43:27.360266763",
    "level": "INFO",
    "msg": "java.lang.Exception: exception happened
    at com.aliyun.sls.devops.logGenerator.type.RegexMultiLog.f2(RegexMultiLog.java:108)
    at java.base/java.lang.Thread.run(Thread.java:833)",
    "__time__": "1657161807"
}

采集复杂多行日志

采集文件/home/test-log/regMulti.log，文件内容通过行首和行尾正则表达式切分日志，然后通过正则表达式解析日志内容并提取字段，并将结果输出到stdout。

输入

[2022-07-07T10:43:27.360266763] [ERROR] java.lang.Exception: exception happened
[2022-07-07T10:43:27.360266763]    at com.aliyun.sls.devops.logGenerator.type.RegexMultiLog.f2(RegexMultiLog.java:108)
[2022-07-07T10:43:27.360266763]    at java.base/java.lang.Thread.run(Thread.java:833)
[2022-07-07T10:43:27.360266763]    ... 23 more
[2022-07-07T10:43:27.360266763] Some user custom log
[2022-07-07T10:43:27.360266763] Some user custom log
[2022-07-07T10:43:27.360266763] [ERROR] java.lang.Exception: exception happened

采集配置

enable: true
inputs:
  - Type: input_file
    FilePaths: 
      - /home/test-log/regMulti.log
    Multiline:
      StartPattern: \[\d+-\d+-\w+:\d+:\d+.\d+].*Exception.*
      EndPattern: .*\.\.\. \d+ more
processors:
  - Type: processor_parse_regex_native
    SourceKey: content
    Keys:
      - msg
      - time
    Regex: (\[(\S+)].*)
flushers:
  - Type: flusher_stdout
    OnlyStdout: true

输出

{
    "__tag__:__path__": "/home/test-log/regMulti.log",
    "time": "2022-07-07T10:43:27.360266763",
    "msg": "[2022-07-07T10:43:27.360266763] [ERROR] java.lang.Exception: exception happened\n[2022-07-07T10:43:27.360266763]    at com.aliyun.sls.devops.logGenerator.type.RegexMultiLog.f2(RegexMultiLog.java:108)\n[2022-07-07T10:43:27.360266763]    at java.base/java.lang.Thread.run(Thread.java:833)\n[2022-07-07T10:43:27.360266763]    ... 23 more"
}
{
    "__tag__:__path__": "/home/test-log/regMulti.log",
    "time": "2022-07-07T10:43:27.360266763",
    "msg": "[2022-07-07T10:43:27.360266763] Some user custom log"
}
{
    "__tag__:__path__": "/home/test-log/regMulti.log",
    "time": "2022-07-07T10:43:27.360266763",
    "msg": "[2022-07-07T10:43:27.360266763] Some user custom log"
}

Previous输入 Next脚本执行数据

Last updated 2 months ago