如题,就是简单的接收前端的埋点上报,计数,主要是一堆文章,要记录每篇文章的推荐 UV 、浏览 UV,还能统计所有文章的 UV,最后统计展示出来,都是以日为维度,请教大佬们,用什么做? redis? mysql? elasticsearch?
![]() | 1 Oktfolio 2021-10-22 10:48:15 +08:00 ElasticSearch, MongoDB |
2 GM 2021-10-22 10:50:09 +08:00 ![]() motamo |
![]() | 5 eason1874 2021-10-22 10:58:08 +08:00 PV/UV 统计的数据库好像比较流行用 PostgreSQL 别用 matomo,开源版很吃资源,付费版不了解 |
![]() | 6 hidemyself 2021-10-22 10:58:20 +08:00 我们之前是用 redis 做的 |
8 liujinayu4303 2021-10-22 11:04:17 +08:00 redis hyperloglog 了解下 |
![]() | 9 Aliberter OP @hidemyself redis 计数很方便,但是比如我要汇总是不是比较麻烦啊,比如获取所有文章的总 UV 这种,还有按日期分组筛选这些, |
![]() | 10 Aliberter OP @liujinayu4303 我还在纳闷 redis 咋做,原来是有更高级的算法,多谢大佬,我去搜搜 |
![]() | 11 feitxue 2021-10-22 11:10:04 +08:00 必须要自研吗? 如果不是,接入三方的应该会更快。 百度 cnzz 腾讯 谷歌 都有 |
![]() | 12 abigeater 2021-10-22 11:11:20 +08:00 redis->定时写回数据库 |
![]() | 13 Aliberter OP @feitxue 小公司,自己写来的快点哈哈~其实整个统计的体量也不是太大,自己写的就能扛得住,然后主要是针对一些自定义需求开发~ |
![]() | 14 kinge 2021-10-22 11:14:05 +08:00 直接用现成的统计产品,自己写的统计不准确 |
![]() | 16 feitxue 2021-10-22 11:18:27 +08:00 建议你调研一下大厂现有的统计产品的功能,再决定是否自研。 |
![]() | 19 thetbw 2021-10-22 11:25:05 +08:00 上家公司的是直接接入腾讯有数 |
![]() | 20 lithiumii 2021-10-22 11:34:37 +08:00 via Android 建议接入 sass 虽然自建 matomo 可以做 |
![]() | 21 Aliberter OP 完了,我感觉偏了,我标题写差了,其实是 app 访问行为的统计,不是网站。app 埋点上报,后端统计,大佬们, |
22 hrdslin 2021-10-22 12:03:51 +08:00 直接上友盟 |
![]() | 23 cowcomic 2021-10-22 12:38:15 +08:00 友盟解决 |
![]() | 24 chenstor 2021-10-22 12:55:35 +08:00 友盟或者诸葛 |
25 qq1340691923 2021-10-22 13:12:12 +08:00 thinkdata,神策数据,用完你会回来感谢我的 |
26 qq1340691923 2021-10-22 13:12:36 +08:00 thinkingdata,神策数据,用完你会回来感谢我的 |
![]() | 28 wellsc 2021-10-22 13:40:40 +08:00 redis 呗,也不是很复杂的业务 |
![]() | 29 MineDog 2021-10-22 16:03:00 +08:00 简单的 redis 的 HLL 就够了 |
![]() | 30 MineDog 2021-10-22 16:03:15 +08:00 当然 bitmap 也可以 |
![]() | 31 fuchaofather 2021-10-22 17:24:01 +08:00 比较麻烦。建议还是使用现成服务,业务量较大的话可能需要依赖大数据环境。说一下我们以前的整体架构: 前端埋点 -> nginx -> tomcat 集群(简单处理解压过滤等)-> kafka -> 多应用点同时消费写到本地文件 -> 上传到 hive 日期分区表 -> spark 计算 -> 写入 hbase (用户 id 使用 bitmap) -> phoniex 查询( redis 缓存) |
![]() | 32 ericls 2021-10-23 07:02:30 +08:00 via iPhone clickhouse |
33 duanqiaoyanyu 2021-10-23 14:11:04 +08:00 bigmap Hyperloglog |
![]() | 34 efaun 2021-10-24 14:23:09 +08:00 随机数 |