统计类需求把代码弄的乱,How do yo do ? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
liuidetmks
V2EX    问与答

统计类需求把代码弄的乱,How do yo do ?

  •  
  •   liuidetmks 2021-12-31 16:56:38 +08:00 2855 次点击
    这是一个创建于 1382 天前的主题,其中的信息可能已经有所发展或是发生改变。

    你们是怎么处理的?

    15 条回复    2022-01-01 03:29:31 +08:00
    LowBi
        1
    LowBi  
       2021-12-31 17:03:12 +08:00 via Android
    同求解,目前就是这一块 SQL 那一块 SQL ,把结果返回前端
    kappa
        2
    kappa  
       2021-12-31 17:19:13 +08:00   1
    Solix
        3
    Solix  
       2021-12-31 17:30:08 +08:00
    maltoze
        4
    maltoze  
       2021-12-31 17:31:57 +08:00
    ikaros
        5
    ikaros  
       2021-12-31 17:47:01 +08:00   1
    I'm fine, thank you and you?
    liuidetmks
        6
    liuidetmks  
    OP
       2021-12-31 18:23:30 +08:00
    @kappa why so serious ~
    itechify
        7
    itechify  
    PRO
       2021-12-31 19:33:23 +08:00 via Android
    数仓出,没有条件就新开项目专门做统计,跑 job 等
    ETiV
        8
    ETiV  
       2021-12-31 19:59:03 +08:00 via iPhone
    把分析类的工作迁移进 BI 工具,比如 metabase

    然后使用 terraform 管理各种 sql 查询和面板,比如 https://registry.terraform.io/providers/bilenkis/metabase/latest/docs
    CEBBCAT
        9
    CEBBCAT  
       2021-12-31 20:03:15 +08:00
    没看懂啊,统计类需求写起来很恶心没错,但怎么会把代码弄乱呢?
    zhazi
        10
    zhazi  
       2021-12-31 21:33:09 +08:00
    报表业务一般都是无视建模。透视数据。所以通过封装 view object 直接写 sql 展示即可
    如果在报表业务中涉及汇总 聚合 各种函数建议做数仓
    dji38838c
        11
    dji38838c  
       2021-12-31 21:40:00 +08:00
    How do yo do
    Senorsen
        12
    Senorsen  
       2021-12-31 23:36:33 +08:00
    数据量大,就上 Flink Spark 等跑 BI 的 SQL
    数据量小,就用 metabase 接上 MySQL 从库建报表
    sujin190
        13
    sujin190  
       2021-12-31 23:58:40 +08:00   1
    中小型项目这个问题真挺难解的,实际项目中,统计需求基本难有规划,基本需要啥你就给我出啥,这个主要还是一般产品似乎都搞不定这个,运营知道要啥数据但是基本也搞不定组织规划的问题,大多数公司基本又觉得专门的数据开发岗多余,确实不好解决,此外不重视自然研发这边难有统一规划,比如写个脚本不管出错重入啥的,所以啊,想要做的好,就得重视按正常产品流程来,独立的数据统计项目,不仅看眼下需求,要做良好得分层设计,完善的出错恢复监控流程

    其实统计和正常产品两个逻辑是很不一样的,不应该在同一套数据表上实现两个逻辑,当然很多人觉得平时需求开发都完不成,哪有功夫仔细规划,其实如果仔细想想看的话就发现这个并不会花很多功夫,数据只要做好了数据拆分重组的逻辑,剩下基本都是数据同步的过程了,逻辑简单很多,平时多注意点,慢慢 bi 的逻辑也就建立起来了,否则就只会越来越乱

    之前我们的项目也这样,简直坑死,搞到后面数据需求多了,感觉一大半时间都是在导数据,太折腾人了,但是慢慢注意了一些,其实好很多,之前做过一个项目,用 json 来定义数据同步计算过程,其本身也限制了一次只能同步一层的数据,既是限制也是规范,算是参考吧

    https://github.com/snower/syncany
    yjs778
        14
    yjs778  
       2022-01-01 00:39:17 +08:00
    I’m fine. thank you, and you?
    Samuelcc
        15
    Samuelcc  
       2022-01-01 03:29:31 +08:00 via Android
    可以尝试直接打到日志里然后进行异步日志解析收集统计
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2982 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 26ms UTC 13:49 PVG 21:49 LAX 06:49 JFK 09:49
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86