利用redis将log4js产生的日志送到logstash

log4js-logstash-redis

在用Node.js开发项目的时候,我们常用 log4js 模块来进行日志的记录,可以通过配置 log4js 的 Appenders 将日志输出到Console、File和GELF等不同的地方。

logstash

logstash 是 elastic 技术栈的其中一员,常被用来收集和解析日志。一种比较常见的做法就是在项目工程中把日志写入到日志文件中,然后用 logstash 读取和解析日志文件。比如在 Node.js 项目中,若要将日志记录到文件中,只需对 log4js 做如下配置即可:

1
2
3
4
5
6
7
8
9
10
const log4js = require('log4js');
log4js.configure({
appenders: [{
type: 'file',
filename: './example.log'
}]
});
const logger = log4js.getLogger();
logger.info('hello');

这样日志就会被记录到 example.log 文件中,然后再对 logstash 的 input 做如下配置:

1
2
3
4
5
file {
path => "YourLogPath/example.log"
start_position => "beginning"
}
}

这样 logstash 就可以读取这个日志文件。可是这样总感觉用一个文件作为中转略显麻烦,如果能将 log4js 产生的日志直接送到 logstash 就更好了。

logstashUDP

log4js 内置了 logstashUDP 来直接将日志输出到 logstash。配置如下:

1
2
3
4
5
6
7
log4js.configure({
appenders: [{
type: "logstashUDP",
host: "localhost",
port: 12345
}]
});

然后将 logstash 的配置改成下面这样:

1
2
3
4
5
6
input {
udp {
host => "127.0.0.1"
port => 12345
}
}

嗯,很简单嘛!现在 log4js 产生的日志就能直接送到 logstash 了,而不再需要用一个文件作为中转。但是,当我在使用的时候发现一个问题,就是如果 logstash 服务挂了,这时候 log4js 仍然在不断的产生日志数据,这时候首先想到的就是把 logstash 重新启动起来,但重启后却发现 logstash 没能获取到在 logstash 挂掉的时候 log4js 产生的数据,也就是说如果 logstash 挂掉了的话,那么 log4js 产生的数据就会丢失,不会被处理。

这时候就想着用一个代理来暂存 log4js 产生的数据,log4js 将数据输出到代理,logstash 从代理那里读取数据,logstash 读取一条数据,代理就丢弃掉那条数据。对,也就是队列。这样就不会有数据丢失的问题了。

log4js-logstash-redis

log4js-logstash-redis 就是为了解决上述问题而开发的一个 log4js 的 Appender。

他的原理是:log4js 将产生的日志输出到 redis,然后让 logstash 从 redis 读取数据。但是直接叫 log4js-redis 就好了嘛,为什么叫 log4js-logstash-redis 呢?这是因为将日志格式针对 logstash 做过一些更友好的定制。😊

安装

1
npm install log4js-logstash-redis --save

使用

1
2
3
4
5
6
7
8
9
log4js.configure({
appenders: [{
type: "log4js-logstash-redis",
key: "test",
redis: {
db: 1
}
}]
});

redis 配置可选,没有的话 redis 连接就采用默认值。logstash 的配置如下:

1
2
3
4
5
redis {
data_type => "list"
key => "test"
codec => json
}

其中 data_type 的值一定要是 list。

文章目录
  1. 1. logstash
  2. 2. logstashUDP
  3. 3. log4js-logstash-redis
    1. 3.1. 安装
    2. 3.2. 使用
|