这是一个创建于 695 天前的主题，其中的信息可能已经有所发展或是发生改变。
我有很多 32 核的 cpu 机器，想要跨这些机器使用所有的 cpu 算力进行推理。
这个该怎么做啊？
是不是部署 k8s 集群就可以，还是有更简单的办法？
还是说用分布式的 spark 等计算框架？但是具体该怎么搞呢。没头绪
这个该怎么做啊？
是不是部署 k8s 集群就可以，还是有更简单的办法？
还是说用分布式的 spark 等计算框架？但是具体该怎么搞呢。没头绪
第 1 条附言 2023-11-16 19:36:03 +08:00
场景是跑开源大语言模型
 | 1 murmur 2023-11-16 18:28:09 +08:00 你做科学计算么，有的科学计算是 cpu 运算+大内存，不过也不是用框架，直接买现成的软件，比如电磁学的 feko |
 | 4 israinbow 2023-11-17 03:19:13 +08:00 TorchServe 或者黄核弹的 TensorRT? 我们做边缘计算的还有用 ONNX 的, 挑一个吧 |
 | 5 max1911 2023-11-17 10:24:32 +08:00 op 可以试试 ggml 库重新，基于 ggml 上的项目 llama.cpp ，可以实现用 C++运行语言模型 |
| 6 max1911 2023-11-17 10:30:50 +08:00 |
| 7 max1911 2023-11-17 10:34:41 +08:00  1 |
 | 8 t133 2023-11-20 13:20:29 +08:00 via iPhone 大矩阵的乘法除非你有 infiniband 并行效率惨不忍睹 |
Select Language