MySQL 5.5 Community Server MySQL 5.6 Community Server Percona Configuration Wizard XtraBackup 搭建主从复制 Great Sites on MySQL Percona MySQL Performance Blog Severalnines 推荐管理工具 Sequel Pro phpMyAdmin 推荐书目 MySQL Cookbook
MySQL 相关项目 MariaDB Drizzle 参考文档 http://mysql-python.sourceforge.net/MySQLdb.html
MySQL 相关项目 MariaDB Drizzle 参考文档 http://mysql-python.sourceforge.net/MySQLdb.html 
这是一个创建于 4777 天前的主题，其中的信息可能已经有所发展或是发生改变。
不是web server的日志 是经过加工后的业务日志 数据量一天在几百万 需要做统计分析
目前用的是mysql 不知道数据量大了之后 性能如何？
大家都用的是什么？求方案求推荐
目前用的是mysql 不知道数据量大了之后 性能如何？
大家都用的是什么？求方案求推荐
 | 1 feiandxs 2012-10-12 14:35:23 +08:00 问到我心坎儿里去了= = 目前是原始文件打包，近几日的进memcach... 没楼主那么大，所以memcache还足够用。但也怕断电，就要重新抓，很麻烦。 用mysql塞过web日志，其实还行，但目前我更倾向于用mongodb了。 mark一下，坐等看各路高手经验。 |
 | 2 ritksm 2012-10-12 14:37:50 +08:00 mongodb+redis... |
 | 3 phuslu 2012-10-12 14:40:16 +08:00 之前一个项目用的 mongodb, 按分钟压缩保存 raw log 和 summarized info, 30 TB. 感想就是 mongodb cluster 部署和维护成本很高. |
 | 4 richiefans OP |
| 5 richiefans OP @feiandxs 放到memcache 如何做查询分析啊？ |
| 6 ritksm 2012-10-12 15:20:30 +08:00 @richiefans redis是有数据结构的。。。不是简单的k-v。。。我的做法是。。。mongodb存当天的。。。然后分析出来一堆结果。。。然后把可以distinct的值存到redis里面做周的分析。。。然后周-》月也一样。。。当然。。。如果硬盘足够大。。。可以完全用mongodb完成。。。 |
 | 7 haijd 2012-10-12 21:03:14 +08:00 postgresql |
 | 8 aveline 2012-10-12 21:08:06 +08:00 我是mongodb...觉得存储成本有点高 |
 | 9 twm 2012-10-12 21:11:59 +08:00 mysql足够 |
 | 10 ioiioi 2012-10-13 18:31:39 +08:00 logstash + elasticsearch, elasticsearch可以做cluster，logstash可以做过滤和规整。 这两天我正在实践，网外有不少成功案例。 |
 | 11 zxp 2012-10-14 23:26:55 +08:00 最近很火的 splunk，不管什么日志数据，只要用各种方式扔给Splunk，剩下的工作就交给这个号称IT界的Google来处理了。详见 http://zh-hans.splunk.com/ |
 | 12 superisaac 2012-10-15 15:48:14 +08:00 纯文本啊，用一堆脚本去分析。有必要用数据库？ |
| 13 superisaac 2012-10-15 15:53:41 +08:00 或者用mysql archive engine, 只支持insert 和select, 压缩率比myisampack大。 |
 | 14 AntiGameZ 2012-10-15 16:22:30 +08:00 splunk+1, 但是很贵，如果超过500m/天的quota |
Select Language