这是一个创建于 2702 天前的主题，其中的信息可能已经有所发展或是发生改变。
当前跟小伙伴一起用的解决方案是 minio, 但是在遇到需要批量读取数据的时候 minio 单点跟不上了.
而且让 Spark 来读写会非常的绕.
后来搭建了 HDFS, 对 Spark 来说很开心了, 但是对普通的文件存储于分享又成了问题.
Google 到有 HttpFS, 但是看起来并不支持 WebUI 操作?
我觉得是我刚接触, 孤陋寡闻, 应该有相关的开源项目吧? 小团队真心不想搞两套存储系统...
而且让 Spark 来读写会非常的绕.
后来搭建了 HDFS, 对 Spark 来说很开心了, 但是对普通的文件存储于分享又成了问题.
Google 到有 HttpFS, 但是看起来并不支持 WebUI 操作?
我觉得是我刚接触, 孤陋寡闻, 应该有相关的开源项目吧? 小团队真心不想搞两套存储系统...
第 1 条附言 2018-05-20 17:52:22 +08:00
可能没表达清楚需求.
除了 HDFS 的基础功能, 还想方便平时简单的使用场景, 比如:
1. 在 WebUI 上面能手动的上传\下载一个文件
2. 类似各种常见的云存储方案那样, 区分不同的 bucket
3. 最好还能有简单的搜索功能
有以上功能, 就可以满足我们绝大部分使用需求了
除了 HDFS 的基础功能, 还想方便平时简单的使用场景, 比如:
1. 在 WebUI 上面能手动的上传\下载一个文件
2. 类似各种常见的云存储方案那样, 区分不同的 bucket
3. 最好还能有简单的搜索功能
有以上功能, 就可以满足我们绝大部分使用需求了
 | 1 xhinliang 2018-05-20 09:49:08 +08:00 我也想知道 |
 | 2 F281M6Dh8DXpD1g2 2018-05-20 10:05:09 +08:00 没看懂你到底想干啥 webHDFS 了解一下 |
 | 3 ipwx 2018-05-20 12:25:13 +08:00 via iPhone 小机群可以考虑 moosefs 这类 posix 文件系统 |
 | 4 zn 2018-05-20 13:04:58 +08:00 via iPhone HDFS，网盘？？ What the f**k? |
 | 5 lockelee 2018-05-20 18:33:53 +08:00 via iPhone 所以 七牛云 阿里云 oss 了解一下 |
 | 6 RangerWolf OP @lockelee 还是得自建小型数据中心做计算啊 |
Select Language