大数据下查询性能如何提高? - V2EX
首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
MySQL 5.5 Community Server
MySQL 5.6 Community Server
Percona Configuration Wizard
XtraBackup 搭建主从复制
Great Sites on MySQL
Percona
MySQL Performance Blog
Severalnines
推荐管理工具
Sequel Pro
phpMyAdmin
推荐书目
MySQL Cookbook
MySQL 相关项目
MariaDB
Drizzle
参考文档
http://mysql-python.sourceforge.net/MySQLdb.html
广告
V2EX
MySQL
大数据下查询性能如何提高?
fatkun
2013-04-24 00:58:38 +08:00
3667 次点击
这是一个创建于 4559 天前的主题,其中的信息可能已经有所发展或是发生改变。
需求:
1.每天入库50万条
2.有group by的需求
3.group by的字段不定
这个是一个报表系统,目前看来只有分表的方法解决。但是分表后怎么查询又是一个问题,因为需要group by多个表的内容。
想看一下淘宝myfox的实现,但是技术不足,nodejs和php都不是很了解。而且myfox很久没更新了。。
各位有没有遇到类似的问题?
Group
myfox
分表
4 条回复
1970-01-01 08:00:00 +08:00
1
fatkun
OP
2013-04-24 01:22:53 +08:00
mysql cluster 是否可以解决这个问题?稳定性?
2
fatkun
OP
2013-04-24 21:15:23 +08:00 via Android
木有人回复。。自己顶一下
3
VYSE
2013-04-25 01:46:52 +08:00
@
fatkun
cluster是为HA设定的,NDB性能远不如INNODB,坚持现有schema的话,只能推荐你使用PerconaDB。如果数据量总量不高,只是行数很多的话,不分表针对group by的字段加索引也没太大问题吧。
4
fatkun
OP
2013-04-25 22:14:10 +08:00 via Android
@
VYSE
总量应该有3000万以上的,目前group by的字段个数不定,可以用户自己选。。所以还不能做联合索引。。。 我看看perconaDB。
关于
帮助文档
自助推广系统
博客
API
FAQ
Solana
1023 人在线
最高记录 6679
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 25ms
UTC 18:46
PVG 02:46
LAX 11:46
JFK 14:46
Do have faith in what you're doing.
ubao
msn
snddm
index
pchome
yahoo
rakuten
mypaper
meadowduck
bidyahoo
youbao
zxmzxm
asda
bnvcg
cvbfg
dfscv
mmhjk
xxddc
yybgb
zznbn
ccubao
uaitu
acv
GXCV
ET
GDG
YH
FG
BCVB
FJFH
CBRE
CBC
GDG
ET54
WRWR
RWER
WREW
WRWER
RWER
SDG
EW
SF
DSFSF
fbbs
ubao
fhd
dfg
ewr
dg
df
ewwr
ewwr
et
ruyut
utut
dfg
fgd
gdfgt
etg
dfgt
dfgd
ert4
gd
fgg
wr
235
wer3
we
vsdf
sdf
gdf
ert
xcv
sdf
rwer
hfd
dfg
cvb
rwf
afb
dfh
jgh
bmn
lgh
rty
gfds
cxv
xcv
xcs
vdas
fdf
fgd
cv
sdf
tert
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
shasha9178
shasha9178
shasha9178
shasha9178
shasha9178
liflif2
liflif2
liflif2
liflif2
liflif2
liblib3
liblib3
liblib3
liblib3
liblib3
zhazha444
zhazha444
zhazha444
zhazha444
zhazha444
dende5
dende
denden
denden2
denden21
fenfen9
fenf619
fen619
fenfe9
fe619
sdf
sdf
sdf
sdf
sdf
zhazh90
zhazh0
zhaa50
zha90
zh590
zho
zhoz
zhozh
zhozho
zhozho2
lislis
lls95
lili95
lils5
liss9
sdf0ty987
sdft876
sdft9876
sdf09876
sd0t9876
sdf0ty98
sdf0976
sdf0ty986
sdf0ty96
sdf0t76
sdf0876
df0ty98
sf0t876
sd0ty76
sdy76
sdf76
sdf0t76
sdf0ty9
sdf0ty98
sdf0ty987
sdf0ty98
sdf6676
sdf876
sd876
sd876
sdf6
sdf6
sdf9876
sdf0t
sdf06
sdf0ty9776
sdf0ty9776
sdf0ty76
sdf8876
sdf0t
sd6
sdf06
s688876
sd688
sdf86