这是一个创建于 2409 天前的主题，其中的信息可能已经有所发展或是发生改变。
目前在做数据平台方面的工作，发现对大公司而言，方案其实都很固定了
但对于小团队来说，有什么好的解决方案？
早期主要是用来解决 BI，数据查询需求，可支持或不支持基于数据的机器学习项目
- 最好基于开源、免费
- HDFS, Spark, 系统资源最好能有厂商维护, 因为这些其实运维成本都不小
目前能想到的
- Google Analytics/Mixpanel 埋点 + 业务数据库备份用 Metabase/Superset 查看
但不知道好的 ETL 工具用啥，莫非用 airflow? MySQL 库是否就足够了？
 | 1 LightLolo 2019-03-09 13:30:12 +08:00 ETL 工具可以尝试一下 kettle。 |
 | 2 F281M6Dh8DXpD1g2 2019-03-09 14:56:45 +08:00 etl hive spark 搞搞就完了 可视化 superset / zeppelin / Jupyter 哪个简单用哪个 小公司小团队就别搞啥数据仓库了，工作量太大，搞个数据集市收工 |
| 3 G64q9J89mN5KSgmE 2019-03-09 17:01:56 +08:00 via iPhone 先确定数据分析支持的业务范围 自己采集数据后可以上传阿里云计算，或者直接阿里云采集并计算 数据展示用 flask+element，一周就可以成型 |
 | 4 hilbertz 2019-03-09 17:14:20 +08:00 用 greenplum 就可以了 |
 | 7 sampeng 2019-03-09 18:54:15 +08:00 via iPhone 直接上云…讲真。这些需求小团队肯定是上云成本最低。无论哪个角度 |
| 9 sampeng 2019-03-09 19:01:57 +08:00 via iPhone @cqcn1991 网络没问题。如果是海外用户肯定 aws 了。国内不好推荐…没用过…主要是数据的可靠性。腾讯和阿里都出过数据丢失… |
| 11 sampeng 2019-03-09 19:05:11 +08:00 via iPhone 最近也正好看到这块。小需求…小团队的需求。aws 都不需要 ec2。全家桶。几天成型。把数据灌进去就能用了 |
 | 12 cqcn1991 OP @sampeng aws 除了 red shift 还用些啥产品呢？也是自己部署些应用？有啥推荐的教程之类吗？ |
| 13 sampeng 2019-03-09 19:13:43 +08:00 via iPhone @cqcn1991 其它的没了解…不用部署应用…鼠标点点。给你入口，api 把数据灌进去。就能用了…文档很细致了。自己看官网教程吧。算一下费用能不能接受…都是按使用量收费，精确到请求次数。其实阿里云国内也可以。看你看重什么… |
| 14 sampeng 2019-03-09 19:16:10 +08:00 via iPhone @cqcn1991 aws 大计算和 ai 那么多产品呢。总有一个适合你。最不济的。连 elk 都给你准备好了。再高级点就是 emr 了。你要的 hdfs 和 spark。flink 啥的都有。你要的帮你维护机器和程序自己撸用例。 |
| 15 sampeng 2019-03-09 19:17:17 +08:00 via iPhone 但按你的最近需求。真的 elk 完全够用…几年十来万差不多了… |
| 16 cqcn1991 OP @sampeng 谢谢大哥！ 想问一下，关于数据平台，从几个人，到小团队到大团队的演化，有什么文档、教程吗？ 比如你说的，用 AWS/阿里云 ELK 一直到 HDFS/Spark。因为我知道的就是自研 HDFS+各种自研产品... |
 | 17 fredliang 2019-03-09 20:11:25 +08:00 via Android 阿里云可以大概过一下 dataworks 的文档，写的已经比较完善了。如果没有很强的自建需求，从经济和研发成本来看公有云应该是最好的选择。 |
 | 18 likuku 2019-03-09 22:32:52 +08:00 via iPhone @cqcn1991 也可以直接打电话找 aws 售前技术支持咨询下，若比较合意，花点小钱买个 aws 技术支持服务，可以详细和专业大佬讨论方案。 |
| 19 sampeng 2019-03-09 22:33:52 +08:00 via iPhone @cqcn1991 官方文档…没有之一。实在怕搞不定。都 support 服务。每月 10%支出。甚至会给你架构建议 |
 | 21 wc951 2019-03-10 00:34:36 +08:00 via Android cdh 社区版，etl 用 kettle |
 | 22 qwingmix 2019-03-26 17:08:39 +08:00 我们是一致用 GA+google tag manager, 我觉得日活在 10W 以下的基本够用，各种实时啊，聚合啊，埋点专题分析啊，都足够了。python 写脚本定制一些专题，导入到本地数据库，也足够了。 最后用 superset 展示。 其实你上面也写了这个方案。 |
| 23 cqcn1991 OP |
Select Language