有个统计网站 UV 的后台需求,用什么技术框架实现比较好? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
Aliberter
V2EX    程序员

有个统计网站 UV 的后台需求,用什么技术框架实现比较好?

  •  
  •   Aliberter 2021-10-22 10:47:34 +08:00 4233 次点击
    这是一个创建于 1450 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如题,就是简单的接收前端的埋点上报,计数,主要是一堆文章,要记录每篇文章的推荐 UV 、浏览 UV,还能统计所有文章的 UV,最后统计展示出来,都是以日为维度,请教大佬们,用什么做? redis? mysql? elasticsearch?

    第 1 条附言    2021-10-22 14:04:11 +08:00
    完了,我感觉偏了,我标题写差了,其实是 app 访问行为的统计,不是网站。app 埋点上报,后端统计,大佬们,
    34 条回复    2021-10-24 14:23:09 +08:00
    Oktfolio
        1
    Oktfolio  
       2021-10-22 10:48:15 +08:00
    ElasticSearch, MongoDB
    GM
        2
    GM  
       2021-10-22 10:50:09 +08:00   1
    motamo
    Aliberter
        3
    Aliberter  
    OP
       2021-10-22 10:54:46 +08:00
    @Oktfolio 多谢大佬,只怪自己这两样儿学的不精,多研究下吧
    Aliberter
        4
    Aliberter  
    OP
       2021-10-22 10:55:00 +08:00
    @GM 这个没听说过呀,大佬
    eason1874
        5
    eason1874  
       2021-10-22 10:58:08 +08:00
    PV/UV 统计的数据库好像比较流行用 PostgreSQL

    别用 matomo,开源版很吃资源,付费版不了解
    hidemyself
        6
    hidemyself  
       2021-10-22 10:58:20 +08:00
    我们之前是用 redis 做的
    Aliberter
        7
    Aliberter  
    OP
       2021-10-22 11:02:37 +08:00
    @eason1874 哦哦好的大佬,PostgreSQL 还了解点儿,matomo 不了解,那就不考虑了
    liujinayu4303
        8
    liujinayu4303  
       2021-10-22 11:04:17 +08:00
    redis hyperloglog 了解下
    Aliberter
        9
    Aliberter  
    OP
       2021-10-22 11:04:32 +08:00
    @hidemyself redis 计数很方便,但是比如我要汇总是不是比较麻烦啊,比如获取所有文章的总 UV 这种,还有按日期分组筛选这些,
    Aliberter
        10
    Aliberter  
    OP
       2021-10-22 11:06:19 +08:00
    @liujinayu4303 我还在纳闷 redis 咋做,原来是有更高级的算法,多谢大佬,我去搜搜
    feitxue
        11
    feitxue  
       2021-10-22 11:10:04 +08:00
    必须要自研吗?
    如果不是,接入三方的应该会更快。
    百度 cnzz 腾讯 谷歌 都有
    abigeater
        12
    abigeater  
       2021-10-22 11:11:20 +08:00
    redis->定时写回数据库
    Aliberter
        13
    Aliberter  
    OP
       2021-10-22 11:12:28 +08:00
    @feitxue 小公司,自己写来的快点哈哈~其实整个统计的体量也不是太大,自己写的就能扛得住,然后主要是针对一些自定义需求开发~
    kinge
        14
    kinge  
       2021-10-22 11:14:05 +08:00
    直接用现成的统计产品,自己写的统计不准确
    feitxue
        15
    feitxue  
       2021-10-22 11:16:26 +08:00
    @Aliberter 那建议别自己写了。
    feitxue
        16
    feitxue  
       2021-10-22 11:18:27 +08:00
    建议你调研一下大厂现有的统计产品的功能,再决定是否自研。
    Aliberter
        17
    Aliberter  
    OP
       2021-10-22 11:20:06 +08:00
    @feitxue 好的好的,我去研究下,跟领导商量下
    Aliberter
        18
    Aliberter  
    OP
       2021-10-22 11:20:27 +08:00
    @kinge 不准确我倒是信哈哈,技术比较渣
    thetbw
        19
    thetbw  
       2021-10-22 11:25:05 +08:00
    上家公司的是直接接入腾讯有数
    lithiumii
        20
    lithiumii  
       2021-10-22 11:34:37 +08:00 via Android
    建议接入 sass
    虽然自建 matomo 可以做
    Aliberter
        21
    Aliberter  
    OP
       2021-10-22 11:45:53 +08:00
    完了,我感觉偏了,我标题写差了,其实是 app 访问行为的统计,不是网站。app 埋点上报,后端统计,大佬们,
    hrdslin
        22
    hrdslin  
       2021-10-22 12:03:51 +08:00
    直接上友盟
    cowcomic
        23
    cowcomic  
       2021-10-22 12:38:15 +08:00
    友盟解决
    chenstor
        24
    chenstor  
       2021-10-22 12:55:35 +08:00
    友盟或者诸葛
    qq1340691923
        25
    qq1340691923  
       2021-10-22 13:12:12 +08:00
    thinkdata,神策数据,用完你会回来感谢我的
    qq1340691923
        26
    qq1340691923  
       2021-10-22 13:12:36 +08:00
    thinkingdata,神策数据,用完你会回来感谢我的
    feitxue
        27
    feitxue  
       2021-10-22 13:18:50 +08:00
    @Aliberter append 一下帖子.
    wellsc
        28
    wellsc  
       2021-10-22 13:40:40 +08:00
    redis 呗,也不是很复杂的业务
    MineDog
        29
    MineDog  
       2021-10-22 16:03:00 +08:00
    简单的 redis 的 HLL 就够了
    MineDog
        30
    MineDog  
       2021-10-22 16:03:15 +08:00
    当然 bitmap 也可以
    fuchaofather
        31
    fuchaofather  
       2021-10-22 17:24:01 +08:00
    比较麻烦。建议还是使用现成服务,业务量较大的话可能需要依赖大数据环境。说一下我们以前的整体架构:

    前端埋点 -> nginx -> tomcat 集群(简单处理解压过滤等)-> kafka -> 多应用点同时消费写到本地文件 -> 上传到 hive 日期分区表 -> spark 计算 -> 写入 hbase (用户 id 使用 bitmap) -> phoniex 查询( redis 缓存)
    ericls
        32
    ericls  
       2021-10-23 07:02:30 +08:00 via iPhone
    clickhouse
    duanqiaoyanyu
        33
    duanqiaoyanyu  
       2021-10-23 14:11:04 +08:00
    bigmap Hyperloglog
    efaun
        34
    efaun  
       2021-10-24 14:23:09 +08:00
    随机数
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     885 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 19:44 PVG 03:44 LAX 12:44 JFK 15:44
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86