2.0.0

时间解析

简介

processor_parse_timestamp_native插件解析事件中记录时间的字段，并将结果置为事件的__time__字段。

版本

Stable

配置参数

参数

类型

是否必填

默认值

说明

Type

string

是

/

插件类型。固定为processor_parse_timestamp_native。

SourceKey

string

是

/

源字段名。

SourceFormat

string

是

/

日志时间格式。更多信息，请参见表1。

SourceTimezone

string

否

空

日志时间所属时区。格式为GMT+HH:MM（东区）或GMT-HH:MM（西区）。

  • 表1：时间格式

时间格式

说明

示例

%a

星期的缩写。

Fri

%A

星期的全称。

Friday

%b

月份的缩写。

Jan

%B

月份的全称。

January

%d

每月第几天，十进制，范围为01~31。

07, 31

%h

月份的缩写，等同于%b。

Jan

%H

小时，24小时制。

22

%I

小时，12小时制。

11

%m

月份，十进制，范围为01~12。

08

%M

分钟，十进制，范围为00~59。

59

%n

换行符。

换行符

%p

AM或PM。

AM、PM

%r

12小时制的时间组合，等同于%I:%M:%S %p。

11:59:59 AM

%R

小时和分钟组合，等同于%H:%M。

23:59

%S

秒数，十进制，范围为00~59。

59

%t

Tab符号，制表符。

无

%y

年份，十进制，不带世纪，范围为00~99。

04、98

%Y

年份，十进制。

2004、1998

%C

世纪，十进制，范围为00~99。

16

%e

每月第几天，十进制，范围为1~31。如果是个位数字，前面需要加空格。

7、31

%j

一年中的天数，十进制，范围为001~366。

365

%u

星期几，十进制，范围为1~7，1表示周一。

2

%U

每年的第几周，星期天是一周的开始，范围为00~53。

23

%V

每年的第几周，星期一是一周的开始，范围为01~53。如果一月份刚开始的一周>=4天，则认为是第1周，否则认为下一个星期是第1周。

24

%w

星期几，十进制，范围为0~6，0代表周日。

5

%W

每年的第几周，星期一是一周的开始，范围为00~53。

23

%c

标准的日期和时间。

Tue Nov 20 14:12:58 2020

%x

标准的日期，不带时间。

Tue Nov 20 2020

%X

标准的时间，不带日期。

11:59:59

%s

Unix时间戳。

1476187251

样例

采集文件/home/test-log/reg.log，通过正则表达式解析日志内容并提取字段，然后将解析日志中的时间作为事件的__time__，最后将结果输出到stdout。

  • 输入

127.0.0.1 - - [2023-12-28T08:07:12.187340] "POST /PutData?Category=YunOsAccountOpLog" 0.024 18204 200 37 "-" "aliyun-sdk-java"

  • 采集配置

enable: true
inputs:
  - Type: input_file
    FilePaths: 
      - /home/test-log/reg.log
processors:
  - Type: processor_parse_regex_native
    SourceKey: content
    Regex: ([\d\.]+) \S+ \S+ \[(\S+) \S+\] \"(\w+) ([^\\"]*)\" ([\d\.]+) (\d+) (\d+) (\d+|-) \"([^\\"]*)\" \"([^\\"]*)\"
    Keys:
      - ip
      - time
      - method
      - url
      - request_time
      - request_length
      - status
      - length
      - ref_url
      - browser
  - Type: processor_parse_timestamp_native
    SourceKey: time
    SourceFormat: '%Y-%m-%dT%H:%M:%S'
flushers:
  - Type: flusher_stdout
    OnlyStdout: true

  • 输出

{
    "__tag__:__path__": "/home/test-log/reg.log",
    "ip": "127.0.0.1",
    "time": "2023-12-28T08:07:12.187340",
    "method": "POST",
    "url": "/PutData?Category=YunOsAccountOpLog",
    "request_time": "0.024",
    "request_length": "18204",
    "status": "200",
    "length": "37",
    "ref_url": "-",
    "browser": "aliyun-sdk-java",
    "__time__": "1703722032"
}
PreviousJson解析Next过滤

Last updated