V2EX cage111 的所有回复 第 1 页 / 共 1 页
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX    cage111    全部回复第 1 页 / 共 1 页
回复总数  20
全丢 es 感觉比较麻烦,sql 比较长涉及表比较多,还没试过
2021-02-05 14:23:07 +08:00
回复了 cage111 创建的主题 程序员 求助, mysql 中的照片如何提取
2021-02-05 14:09:01 +08:00
回复了 cage111 创建的主题 程序员 求助, mysql 中的照片如何提取
@wqhui 历史版本遗留的数据,没人知道怎么存的,想试着解析下
2021-02-05 14:08:10 +08:00
回复了 cage111 创建的主题 程序员 求助, mysql 中的照片如何提取
@wqhui 历史版本遗留的数据,没人怎么存的,想试着解析下
@anonyp 有查询条件也能做视图吗
@tanszhe 不加 where 内存不够用了,测试机器只配了 16g 内存,加了类似性别的字段过滤后用时 4s 。
结果如下
china> select name ,count(*) from person where category = 'XXX' group by name order by count(1) desc limit 0,10
[2021-01-25 15:34:03] 10 rows retrieved starting from 1 in 3 s 995 ms (execution: 3 s 973 ms, fetching: 22 ms)
@ppbaozi 姓名只是举例,怕暴露产品信息
@polymerdg 不是,可以把姓名理解成商品,随便举例的,类似给运营人员用的爆款商品分析
@tanszhe
CREATE TABLE china.base_person_info
(
`id` String,
`birthday` Nullable(String),
`location` Nullable(String),
`name` Nullable(String),
`type` Nullable(String),
`category` Nullable(String),
)
ENGINE = MergeTree
ORDER BY id
SETTINGS index_granularity = 8192

查询语句
select name,count(*) from group by name limit 10,1
又加了点数据报错了...
Code: 241, e.displayText() = DB::Exception: Memory limit (for query) exceeded: would use 9.32 GiB (attempt to allocate chunk of 4718592 bytes), maximum: 9.31 GiB: While executing AggregatingTransform (version 20.5.2.7 (official build))
@EthanDon clickhouse 试了 1 亿时间 group 要 5,6 秒了
@iceecream 刚搜了下,es 的 group by 在多 shard 下好像是不精确的
@xiaoyang7545 可以
@mapoor 还得分页
补充下硬件和需求:
可以给两台 128G 内存,1TSSD 服务器
需求类似这种,
1.查找 20-30 岁使用人数最多的十个姓名
2.查找南方地区和北方地区使用人数最多的十个姓名
3.查找不同性别使用人数最多的十个姓名
还用很多类似条件随意检索
分母
2020-10-13 18:21:59 +08:00
回复了 Rezark 创建的主题 推广 我也来送苹果了!
分母
2020-10-13 18:21:38 +08:00
回复了 Yunsheng 创建的主题 推广 接乡党的棒,我也来送猕猴桃啦!
分子
2020-09-29 11:51:16 +08:00
回复了 PlanZ 创建的主题 推广 中秋佳节,送六盒好吃的港版月饼!
分子
分母
关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2831 人在线   最高记录 6679       Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 22ms UTC 07:17 PVG 15:17 LAX 00:17 JFK 03:17
Do have faith in what you're doing.
ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86