ClickHouse
简介
flusher_clickhouse
flusher
插件可以实现将采集到的数据,经过处理后,发送到 ClickHouse,需要 ClickHouse 版本至少为 22.3
。
版本
配置参数
Addresses
String数组
是
ClickHouse 地址
Convert
Struct
否
ilogtail数据转换协议配置
Convert.Protocol
String
否
ilogtail数据转换协议,kafka flusher 可选值:custom_single
,otlp_log_v1
。默认值:custom_single
Convert.Encoding
String
否
ilogtail flusher数据转换编码,可选值:json
、none
、protobuf
,默认值:json
Convert.TagFieldsRename
Map
否
对日志中tags中的json字段重命名
Convert.ProtocolFieldsRename
Map
否
ilogtail日志协议字段重命名,可当前可重命名的字段:contents
,tags
和time
Authentication
Struct
是
Clickhouse 连接访问认证配置
Authentication.PlainText.Username
String
否
ClickHouse 用户名
Authentication.PlainText.Password
String
否
ClickHouse 密码
Authentication.PlainText.Database
String
是
插入数据目标数据库名称
Authentication.TLS.Enabled
Boolean
否
是否启用 TLS 安全连接,
Authentication.TLS.CAFile
String
否
TLS CA 根证书文件路径
Authentication.TLS.CertFile
String
否
TLS 连接证书文件路径
Authentication.TLS.KeyFile
String
否
TLS 连接私钥文件路径
Authentication.TLS.MinVersion
String
否
TLS 支持协议最小版本,可选配置:1.0, 1.1, 1.2, 1.3
,默认:1.2
Authentication.TLS.MaxVersion
String
否
TLS 支持协议最大版本,可选配置:1.0, 1.1, 1.2, 1.3
,默认采用:crypto/tls
支持的版本,当前1.3
Cluster
String
否
数据库对应集群名称
Table
String
是
插入数据目标 null engine 数据表名称
MaxExecutionTime
Int
否
单次请求最长执行时间,默认 60 秒
DialTimeout
String
否
Dial 超时时间,默认 10 秒
MaxOpenConns
Int
否
最大连接数,默认 5
MaxIdleConns
Int
否
连接池连接数,默认 5
ConnMaxLifetime
String
否
连接维持最大时长,默认 10 分钟
BufferNumLayers
Int
否
Buffer 缓冲区数量,默认 16
BufferMinTime
Int
否
缓冲区数据刷新限制条件 min_time,默认 10
BufferMaxTime
Int
否
缓冲区数据刷新限制条件 max_time,默认 100
BufferMinRows
Int
否
缓冲区数据刷新限制条件 min_rows,默认 10000
BufferMaxRows
Int
否
缓冲区数据刷新限制条件 max_rows,默认 1000000
BufferMinBytes
Int
否
缓冲区数据刷新限制条件 min_bytes,默认 10000000
BufferMaxBytes
Int
否
缓冲区数据刷新限制条件 max_bytes,默认 100000000
Compression
String
否
压缩方式,默认 lz4,可选 none/gzip/deflate/lz4/br/zstd
样例
采集/home/test-log/
路径下的所有文件名匹配*.log
规则的文件,并将采集结果发送到 ClickHouse。
Last updated