📙
iLogtail用户手册
1.8.4
1.8.4
  • 关于
    • 什么是iLogtail
    • 发展历史
    • 产品优势
    • 开源协议
    • 社区版和企业版的对比说明
  • 安装
    • 快速开始
    • Docker使用
    • Kubernetes使用
    • 守护进程
    • 发布记录
    • 支持的操作系统
    • 源代码
      • 下载
      • 编译
      • Docker镜像
      • 编译依赖
    • 镜像站
  • 概念
    • 关键概念
    • 数据流水线
  • 配置
    • 采集配置
    • 系统参数
    • 日志
  • 数据流水线
    • 概览
    • 插件版本管理
    • 输入
      • 文本日志
      • 脚本执行数据
      • 容器标准输出
      • 文本日志(debug)
      • MetricInput示例插件
      • 主机Meta数据
      • Mock数据-Metric
      • eBPF网络调用数据
      • 主机监控数据
      • MySQL Binlog
      • GO Profile
      • GPU数据
      • HTTP数据
      • ServiceInput示例插件
      • Journal数据
      • Kafka
      • Mock数据-Service
      • SqlServer 查询数据
      • OTLP数据
      • PostgreSQL 查询数据
      • Syslog数据
    • 处理
      • 添加字段
      • 添加云资产信息
      • 原始数据
      • 数据脱敏
      • 丢弃字段
      • 字段加密
      • 条件字段处理
      • 日志过滤
      • Go时间格式解析
      • Grok
      • Json
      • 日志转SLS Metric
      • 正则
      • 重命名字段
      • 分隔符
      • 键值对
      • 多行切分
      • 字符串替换
    • 聚合
      • 基础
      • 上下文
      • 按Key分组
      • 按GroupMetadata分组
    • 输出
      • Kafka(Deprecated)
      • kafkaV2
      • ClickHouse
      • ElasticSearch
      • SLS
      • 标准输出/文件
      • OTLP日志
      • Pulsar
      • HTTP
      • Loki
    • 加速
      • 分隔符加速
      • Json加速
      • 正则加速
  • 工作原理
    • 文件发现
    • 插件系统
  • 可观测性
    • 日志
  • 开发者指南
    • 开发环境
    • 日志协议
      • 协议转换
      • 增加新的日志协议
      • 协议
        • sls协议
        • 单条协议
    • 代码风格
    • 数据模型
    • 插件开发
      • 开源插件开发引导
      • Checkpoint接口
      • Logger接口
      • 如何开发Input插件
      • 如何开发Processor插件
      • 如何开发Aggregator插件
      • 如何开发Flusher插件
      • 如何生成插件文档
      • 插件文档规范
      • 纯插件模式启动
    • 测试
      • 单元测试
      • E2E测试
    • 代码检查
      • 检查代码规范
      • 检查文件许可证
      • 检查依赖包许可证
  • 贡献指南
    • 贡献指南
    • 开发者
    • 成就
  • 性能测试
    • 容器场景iLogtail与Filebeat性能对比测试
  • 管控工具
    • 使用介绍
    • 通信协议
    • 开发指南
  • Awesome iLogtail
    • 走近iLogtail社区版
    • iLogtail社区版使用入门
    • iLogtail社区版开发者指南
    • iLogtail社区版使用案例
Powered by GitBook
On this page
  • 简介
  • 支持的Event类型
  • 版本
  • 配置参数
  • 样例
  1. 数据流水线
  2. 处理

Json

PreviousGrokNext日志转SLS Metric

Last updated 1 year ago

简介

processor_json processor插件可以实现对Json格式日志的解析。

备注:当作为第一个日志解析插件时,建议使用插件替代。

支持的Event类型

LogGroup(v1)
EventTypeLogging
EventTypeMetric
EventTypeSpan

✅

✅

❌

❌

版本

配置参数

参数
类型
是否必选
说明

Type

String

是

插件类型

SourceKey

String

是

原始字段名

NoKeyError

Boolean

否

无匹配字段时是否报错。如果未添加该参数,则默认使用true,表示报错。

ExpandDepth

Int

否

JSON展开的深度。如果未添加该参数,则默认为0,表示不限制。1表示当前层级,以此类推。

ExpandConnector

String

否

JSON展开时的连接符,可以为空。如果未添加该参数,则默认使用下划线(_)。

Prefix

String

否

JSON展开时对字段附加的前缀。如果未添加该参数,则默认为空。

KeepSource

Boolean

否

是否保留原始字段。如果未添加该参数,则默认使用true,表示保留。

UseSourceKeyAsPrefix

Boolean

否

是否将原始字段名作为所有JSON展开字段名的前缀。如果未添加该参数,则默认使用false,表示否。

KeepSourceIfParseError

Boolean

否

解析失败时,是否保留原始日志。如果未添加该参数,则默认使用true,表示保留原始日志。

IgnoreFirstConnector

Boolean

否

是否忽略第一个连接符。如果未添加该参数,则默认使用false,表示忽略第一个连接符。

ExpandArray

Boolean

否

是否展开JSON数组。如果未添加该参数,则默认使用false,表示不展开数组。

样例

采集/home/test-log/路径下的json.log文件,并按照Json格式进行日志解析。

  • 输入

echo '{"key1": 123456, "key2": "abcd"}' >> /home/test-log/json.log
  • 采集配置

enable: true
inputs:
  - Type: file_log
    LogPath: /home/test-log/
    FilePattern: json.log
processors:
  - Type: processor_json
    SourceKey: content
    KeepSource: false
    ExpandDepth: 1
    ExpandConnector: ""
flushers:
  - Type: flusher_sls
    Endpoint: cn-xxx.log.aliyuncs.com
    ProjectName: test_project
    LogstoreName: test_logstore
  - Type: flusher_stdout
    OnlyStdout: true
  • 输出

{
    "__tag__:__path__": "/home/test-dir/test_log/json.log",
    "key1": "123456",
    "key2": "abcd",
    "__time__": "1657354602"
}
Json加速
Stable