有没有办法将Nginx网站访问日志直接写入MySQL或其它的数据库里? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
liuxurong
V2EX    NGINX

有没有办法将Nginx网站访问日志直接写入MySQL或其它的数据库里?

  •  
  •   liuxurong 2012-12-11 01:34:58 +08:00 11587 次点击
    这是一个创建于 4757 天前的主题,其中的信息可能已经有所发展或是发生改变。
    16 条回复    2017-06-20 19:02:40 +08:00
    wingoo
        1
    wingoo  
       2012-12-11 02:11:31 +08:00   1
    隔段时间分析导入?
    liwei
        2
    liwei  
       2012-12-11 08:43:04 +08:00   1
    这个工作没必要由nginx来做(而且可能会影响nginx的性能),可以用脚本分析日志然后再写入数据库。
    enj0y
        3
    enj0y  
       2012-12-11 09:15:24 +08:00
    我也觉得这会影响nginx的性能。而且你想想,访问你网站的人数多了,不管访问什么页面都像是一种CC攻击,这种的网站性能能好么。真心没必要。
    voidman
        4
    voidman  
       2012-12-11 12:32:01 +08:00
    1楼的正解
    ericFork
        5
    ericFork  
       2012-12-11 12:34:14 +08:00
    用纯文本也没啥不好的,汇总到一个地方供分析即可
    est
        6
    est  
       2012-12-11 12:41:48 +08:00   1
    其实LS说的影响性能的说法不存在。logging可以是一个unix pipe,或者udp这种fire-and-forget方式,甚至是异步的。

    http//tengine.taobao.org/document/http_log.html

    这个淘宝的nginx fork可以实现各种logging

    个人比较推荐udp logging。用来多节点做日志聚合非常方便。
    Livid
        7
    Livid  
    MOD
    PRO
       2012-12-11 12:45:18 +08:00   2
    Livid
        8
    Livid  
    MOD
    PRO
       2012-12-11 12:45:30 +08:00
    Fenng
        9
    Fenng  
       2012-12-11 13:08:49 +08:00
    为毛要这么折腾呢?
    plprapper
        10
    plprapper  
       2012-12-12 09:54:36 +08:00
    nginx日志导入到 mysql里面 之后的处理更复杂 还不如用awk或者perl什么的呢
    est
        11
    est  
       2012-12-12 10:05:46 +08:00
    @plprapper 一个例子,10G日志统计一下浏览器top 5的平均响应时间吧。你用 shellscript 搞一个试试?
    ElmerZhang
        12
    ElmerZhang  
       2012-12-12 10:07:56 +08:00   1
    用syslog-ng或者rsyslog应该可以实现
    plprapper
        13
    plprapper  
       2012-12-12 10:50:57 +08:00
    @est 100G的apache日志我处理过,没感觉有什么问题。 mysql处理这个东西 我感觉完全不合适。
    est
        14
    est  
       2012-12-12 10:53:06 +08:00
    @plprapper 计算个指标出来也一点问题没有?
    plprapper
        15
    plprapper  
       2012-12-12 11:00:39 +08:00
    不知道你指的指标是什么意思,我经常会通过apache日志统计各个url的pv uv rt等信息 awk里也有用很多 if else 正则 数组 substring什么的 我感觉性能还好 我的blog里面有关于写脚本处理日志的demo 你可以看看 。 10G日志你导入到mysql不知道你到底是神码硬件,能很流畅这样的东西。对UA这样的字段建索引,太折磨mysql了吧
    10Buns
        16
    10Buns  
       2017-06-20 19:02:40 +08:00 via iPhone
    @plprapper 求地址,0101.pro ? 跳转到奇怪的地方
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2350 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 33ms UTC 15:51 PVG 23:51 LAX 07:51 JFK 10:51
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86