1119745302 最近的时间轴更新 1119745302 最近的时间轴更新 | 1119745302V2EX 第 225852 号会员，加入于 2017-04-13 15:09:45 +08:00今日活跃度排名 25819 |
1119745302 最近回复了
105 天前 回复了 Oah1zO 创建的主题 Python 真的感觉现在 AI 发展太快了，用 ai 直接就能从 0 撸一套系统.. |
一些简易的非项目依赖的逻辑可以给 ai 写, 等 ai 写完了再自己检查一下, 可以省下不少脑细胞
2024-07-23 18:46:41 +08:00 回复了 CNYoki 创建的主题 Local LLM ollama 本地模型 GPU 跑不满 |
@CNYoki llama.cpp 似乎不支持张量并行,就算 4 张卡显存占满了也跑不快. https://www.bilibili.com/video/BV1DH4y1c7gK/ 可以参考一下这个, 换个 vllm 啊啥的后端一般就是随便跑了
2024-07-23 17:10:09 +08:00 回复了 CNYoki 创建的主题 Local LLM ollama 本地模型 GPU 跑不满 |
换个后端?
2024-03-03 17:32:00 +08:00 回复了 winebywind 创建的主题 硬件 想买一台 2in1 笔记本尝鲜，目前看中了两款洋垃圾，没想好选哪个 |
@yudoo 加钱买个年代近点的吧, 上面提到的这些现在真的是远古时代的宝贝了
2024-01-05 04:04:09 +08:00 回复了 sixlione 创建的主题 程序员 请问各位 V 友，现在哪个部署本地的 LLM 比较好？ |
@Beeium 不介意捡垃圾的话,一万五就捡两张 3090,再随便捡个平台插上就完事了. 两张 3090 除了那种超大的模型其他模型量化一下随便跑而且速度可以接受. 推理用 github 上的 llama.cpp 就行,然后模型就上 hugging face 上找就完事了
2024-01-04 20:23:05 +08:00 回复了 sixlione 创建的主题 程序员 请问各位 V 友，现在哪个部署本地的 LLM 比较好？ |
https://arena.lmsys.org/ 开源 llm 已经快摸到 3.5 阉割版的屁股了
2023-12-23 09:24:39 +08:00 回复了 SteveHou 创建的主题 OpenAI ChatGPT 会无端使用中文来回答英文问题 |
有没有可能是偷偷获取了浏览器语言
2023-11-08 17:35:59 +08:00 回复了 mouyase 创建的主题 小米 小米公布新的 BL 解锁规则了，要求社区等级 5 级以上，申请后 72 小时后可以解锁。 |
@wu67 和小绿书 55 开的内容质量... 完全没看的必要
2023-11-08 17:21:16 +08:00 回复了 mouyase 创建的主题 小米 小米公布新的 BL 解锁规则了，要求社区等级 5 级以上，申请后 72 小时后可以解锁。 |
5 级这要求太高了
2023-06-11 05:52:52 +0800 回复了 s04 创建的主题 Android 请问红米 NOTE 12 TURBO 刷机后还能收到后续版本的推送升级吗？ |
@ysc3839 说是这么说其实好像不管
Select Language