这是一个创建于 983 天前的主题,其中的信息可能已经有所发展或是发生改变。
想到的几种方式
- 本地跑
- 用 replicate 的 api
- 用 aws 或微软的 api
5 条回复 2023-07-22 09:29:50 +08:00  | | 1 jangit 2023 年 7 月 19 日 线上部署第一种是不大可能的,还是要等 gptq 支持,不然现在 7b 以上消费级显卡都不够跑的 |
 | | 3 livc 2023 年 7 月 20 日 |
 | | 4 GL8885 2023 年 7 月 21 日 via Android 本地应该是能跑的,量化过的模型可以用 CPU 加内存跑,一个好点的主板最多可以插 192G 内存,主要是这样推理很慢。 |
 | | 5 AIGod 2023 年 7 月 22 日 用 GPU 服务器部署呢,如 V100 的服务器 |