关于 error_log 聚合

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

在线学习资源

NGINX 开发从入门到精通

NGINX Modules

ngx_echo

这是一个创建于 4612 天前的主题，其中的信息可能已经有所发展或是发生改变。

如果想把很多 nginx web server 上的 error_log 聚合到一个地方进行分析，现在有什么比较好的方案么？

6 条回复 1970-01-01 08:00:00 +08:00

glancesx

2013-05-03 20:34:40 +08:00

flume/flume_ng+hdfs，数据量大就hadoop跑MR

terry

2013-05-04 08:49:06 +08:00

最近正在看 logstash + HDFS / Hadoop 可以往这个方向看一下。

fire9

2013-05-04 08:51:41 +08:00

error_log会很多么？应该是access_log吧。

fay

2013-05-04 09:11:06 +08:00

看看这个文档，或许有启发：http://loggly.com/support/sending-data/logging-from/platform-logs/unix/

Loggly这个服务本身有点贵（对我而言）。关键词是rsyslog日志服务，可以搜下rsyslog + nginx。

linlinqi

2013-05-04 09:55:25 +08:00

简单点可以试试 xtail + scribe

git://github.com/facebook/scribe.git

或者给nginx打个支持pipe log的patch，再配合scribe

daxingplay

2013-05-05 10:47:28 +08:00

对这个问题我也挺困扰的。
logstash吧，感觉他的界面有些乱，不太容易分析
loggly这个online的服务，我试用了一下，感觉挺耗服务器资源的，而且分析的结果不是很准。
我还用过log.io，nodejs写的，不太适合分析很大的数据，而且不能保存已经看过的，只能看当前的。