
不知道 ollama 支持的并能跑在 mac mini 16g 上的模型不知道与充值的 gpt claude API 有没有可比性?试过的来说说
1 mumbler 2024-11-09 03:37:11 +08:00 本地跑 10B 以下的模型,无论速度还是能力,跟 claude 3.5 没法比,吃饭的家伙别省钱 |
2 lovestudykid 2024-11-09 04:17:29 +08:00 连 GPT 写代码都远远比不上 claude ,别说你的 local 模型了 |
3 leo72638 2024-11-09 05:08:24 +08:00 高端 40 系 N 卡都未必能跑得多好,Mac mini 更别想了。只能说 16g 统一内存让你可以跑起来一些轻量级模型,但是性能远远不足,速度比较慢,效果也不是很好,只能说聊胜于无。 |
4 Retas 2024-11-09 06:53:10 +08:00 via iPhone cursor 用第三方 api 功能不全,可以直接 pass 了 |
5 billzhuang 2024-11-09 07:36:56 +08:00 对自己好点吧。 |
6 goldpumpkin 2024-11-09 07:57:32 +08:00 订阅 claude 吧,代码生成专业的,project 功能挺好用 |
7 iorilu 2024-11-09 08:09:30 +08:00 开玩笑, 要本地能比得上 claude 那不是人人可以开一个 claude 了 人家那时几千亿参数模型, 至少是本地几十倍规模 |
8 xayoung 2024-11-09 08:11:25 +08:00 省钱可以 cursor + deepseek ,便宜量大管饱 |
9 tabc2tgacd 2024-11-09 09:13:42 +08:00 本机跑的我试过几个,没一个能打的 |
10 xe2vherd 2024-11-09 09:14:23 +08:00 白嫖 google cloud 300 刀的 claude api |
11 poorcai 2024-11-09 09:18:30 +08:00 你们 cursor 怎么订阅的?能写后端吗? |
12 lemoon 2024-11-09 09:54:31 +08:00 Pro Trail 不香吗 |
13 Lemonadeccc 2024-11-09 10:11:32 +08:00 @xayoung cursor 能用 deepseek 第三方 api 么 |
14 kaichen PRO 可以参考一下这个 aider 的排行榜,基本的算法题, 本地跑 72B 4bit 量化的要 40Gb 显存,也才能做答个 60 分 跑起来很快的 8B 小模型,就 30 多分,你用这个来写代码,就像教小学生写作业,得被气得半死 https://aider.chat/docs/leaderboards/ |
15 234ygg 2024-11-09 13:49:48 +08:00 蠢的和 siri 差不多,懂了吧 |
18 xayoung 2024-11-09 17:45:15 +08:00 @Lemonadeccc 可以的,搜教程按着配置就行 |
19 slowgen 2024-11-09 17:56:11 +08:00 @kaichen 你这个链接里恰巧说明了 Qwen2.5.1-Coder-7B-Instruct 这个 7B 的模型即使在 8bit 量化下也非常接近 gpt4 啊 |
20 BernieDu 2024-11-09 17:59:53 +08:00 copilot 不是也支持 claude 了吗,而且便宜一半 |
21 taotaodaddy 2024-11-09 18:02:16 +08:00 别说你自己的本地,就是谷歌+meta 官方本地,它写代码也比不上 claude3.5 啊 |
22 kaichen PRO #19 @shuimugan gpt4 代码写很烂,只有 claude-3.5 才能写出大概正确的代码片段 我的观点是,现在民用本地设备,跑模型写代码这个事情非常不实惠,买个 cursor 20 刀一个月,是本地跑的 100x 效果 |
23 Orenoid 2024-11-09 19:06:29 +08:00 对于大部分消费级显卡,本地部署模型除了数据安全几乎没有任何性价比,又慢效果又一般 |
24 crackidz 2024-11-09 19:42:07 +08:00 其实考虑一下 Github Copilot 是个不错的选择,每月 10 刀,一年 100 刀,比 Cursor 便宜一半。同样可以使用 Claude ,功能虽然比 Cursor 目前还差一点,但是其实也差距不大了。相信 Github 还是可以把这些差距补上的。 如果习惯 Cursor ,那么使用 DeepSeek 的 API 应该会是更好的选择,价格不高,速度和效果也会比本地运行的量化模型更好,如果硬件本身一般,那么这个会是更好选择。 至于本地模型,应该算是最后的不想花钱选择。 |
25 raw0xff OP @crackidz copilot 是不是只有代码补全,没有创建文件和理解多个文件的功能吧?还是我不会用。cursor 的 cmd+i cmd+l 用起来真舒服。 |
26 webcape233 2024-11-10 08:48:53 +08:00 via iPhone @raw0xff 新版看看 似乎有了部分能力了 估计慢慢会都加上 |