具体的题目内容是: 有 1TB 的数据,一秒钟只能处理 1MB ,问如何 10 内处理完
求助,各位大佬。谢谢啦
1 NeilMaster OP 第一次用 V2EX ,少打了一个,要求是 10 秒内处理完这个大数据文件 |
2 dqzcwxb 2022-11-19 20:54:13 +08:00 104857.6 个线程并行 |
3 v2eb 2022-11-19 22:02:54 +08:00 via Android 比我移动硬盘复制快 |
![]() | 4 ruanimal 2022-11-19 22:08:55 +08:00 什么硬盘 1s 能读 100G ? |
![]() | 5 cctv6 2022-11-19 22:13:01 +08:00 如果这个处理指的是”删除文件“,并且一秒只能删除 1MB 所以 格式化磁盘 / 删除分区,10 秒应该够了:) |
![]() | 6 liangkang1436 2022-11-19 23:06:20 +08:00 via Android 10s 处理 1TB 的数据?我想问问现在有什么硬件架构能做到这一点 |
![]() | 7 kkkkkrua 2022-11-19 23:10:30 +08:00 确定是试官说清楚了吗? 你反问他,一秒钟吃 1 粒米,怎么在 10 秒吃完一桶饭 |
![]() | 8 EarthChild 2022-11-19 23:31:01 +08:00 @kkkkkrua 哈哈哈把他头砍了,往里倒 |
![]() | 9 knightdf 2022-11-20 00:12:32 +08:00 这问题跟 java 没关系吧,我把 1TB 数据分成 N 份 1MB 数据然后用 N 个机器 1 秒就能处理完,沙雕问题 |
10 NeilMaster OP @kkkkkrua 哈哈,我在准备一家公司面试,我在网上找到往期的面试题目。 我也是对这个题目很疑惑才来求问的, 目前来说很多人的建议就是开多个线程并行解决问题。 |
11 NeilMaster OP @ruanimal 要走内存吧。我觉得 |
12 NeilMaster OP @liangkang1436 我也不懂。。 |
![]() | 13 mortalbibo 2022-11-20 09:07:04 +08:00 大规模分布式处理呗, 又没说限制机器数量[doge] |
14 NeilMaster OP @mortalbibo 嗯,谢谢指导,因该就是分布式处理 |
![]() | 16 dog82 2022-11-21 11:32:17 +08:00 脑残问题,就是空间换时间,哪有那么多玄学 |
17 bthulu 2022-11-21 14:22:25 +08:00 数据跟数据之间是互相独立的, 不用管前后因果关系的吗? 那就简单了, 阿里云临时申请 100 台 128 核心的按量付费的机器, 再建一条 100GB/S 的光纤专线到阿里机房, 把这 1TB 数据拆成 100 分发到这 100 台机器上处理就好了. |