买的新显卡 5060 凑合能跑 7B 的推理大模型，发现有一个叫 LM STUDIO 的软件可以直接下载大模型并且运行推理，在尝试了各大厂开源的大模型，发现也就那样，没啥特别的使用场景，而且还不能联网搜索，你们玩 ai 大模型的到底都在玩啥啊？有点好奇
 | 1 OneLiteCore 18 小时 51 分钟前 日常使用场景无非就是问技术思路/代码自动补全/翻译，个人用户的话有这个预算不如直接去买现成的 AI 服务一个月最多百来块。 只有到注重数据安全的企业级使用场景，比如要部署公司内部的代码补全或者 AI 问答服务这种需要避免公司资产和动向被当成免费语料的时候才需要。其他场景比如要生成视频和图片这种大规模的，或者 AI 女友之类的怕被赛博 NTR 的，但是这种 case 太少。 |
 | 2 urlk 18 小时 39 分钟前 既然你都能本地部署 AI 了， 那么这个问题直接问 AI 它也会告诉你答案的 |
 | 3 HojiOShi 18 小时 20 分钟前 5060 ，甚至都不是大显存的 5060ti ，打打游戏画质高点都爆显存，搞本地 LLM 这些还是太勉强。 |
 | 4 usn PRO 搞了半天本地部署是能得到比 chatgpt5.1 更聪明的回复还是比 gemini3 更漂亮的前端 |
 | 5 coolfan 18 小时 11 分钟前 5060 的显存规模跑大模型难有惊艳的效果 16g 的 5060ti 或许不错 |
 | 6 crocoBaby OP @OneLiteCore 我尝试了接入 trae ，发现并不支持本地部署的大模型，感觉有用的场景就是生成色图了，用小说的情节去生成 |
 | 7 slowgen 18 小时 10 分钟前 5060 太丐了，全新也掩盖不了丐的事实，你这个就像“新买了一个 500MB 容量的托管虚拟主机然后部署了一个 WordPress ，玩了一下主题和插件之后索然无味”，能怪 WordPress 太弱吗？ |
| 9 crocoBaby OP @HojiOShi 实用的话感觉还是得直接买 nvdia 的 ai 计算机，我查阅了一下资料，消费级显卡满足不了大部份使用场景，除非是微调大模型针对语料推理 |
 | 12 forisra 18 小时 5 分钟前 7B 参数量的大模型本地部署的话就是已读乱回，当然没啥效果。 |
| 15 forisra 18 小时 0 分钟前  1 @crocoBaby 本地部署按照现在的显存价格就没啥好方案啊，司马黄仁勋之前还专门出了一个推理特化的产品，一看价格 5070 的算力 4 万块的售价..... |
 | 19 bwnjnOEI 17 小时 47 分钟前 1 建议不要用 LM STUDIO 或 OLLAMA 这些玩意，最起码会用 llama.cpp （虽然这俩都是基于 llama.cpp ），生产级部署都是 vllm 和 sglang 或自己写 cuda 。上 huggingface 个 gpt-oss-20b 能凑合用，qwen-coder-7b 能代码补全，还有 DeepSeek-OCR 啥的能玩的挺多的，甚至内存 64g+你都能跑 gpt-oss-120b 但可能只有几 tokens/s 。 |
 | 25 Belmode 16 小时 37 分钟前 装 CUDA ，跑各种视频处理工具 |
 | 26 1up 10 小时 19 分钟前 via iPhone 没什么用，这种数级的部署，已放弃 |
 | 27 archxm 10 小时 16 分钟前 via Android 1 整个美女，撸一发，索然无味 |
 | 30 fredweili 9 小时 22 分钟前 1 7b 能干啥，16G M4 都能跑，大模型是啥，LLM 最基本的语义理解生成 5060 拿去打游戏更好 |
 | 31 huang86041 9 小时 13 分钟前 大模型靠的力大飞砖,你个本地私人部署,钱包不够厚不行的. 本地只能用用专业的小模型. |
| 32 crocoBaby OP @huang86041 今晚尝试一下图片和视频生成,看看能不能搞个免费版的小韩漫看看 |
 | 33 penisulaS 8 小时 50 分钟前 兄弟你这是小模型啊，其实搭建本地模型的优势用法在于搞瑟瑟，因为瑟瑟模型基本没有稳定的公共服务 |
 | 36 cyp0633 8 小时 26 分钟前 @usn #17 前两天碰巧读过 lmsys org 的评测博客，推理性能 prefill 一骑绝尘，但 decode 太慢，导致整体比消费级显卡和 apple silicon 全面落后 |
 | 37 tomclancy 8 小时 23 分钟前 蹲一下教程，我这 gemma 3 27b 动不动拒绝回答 |
| 39 penisulaS 8 小时 17 分钟前 @tomclancy 其实就是各种 NSFW/Decensored 模型，我用的模型比较老了，big tiger Gemma 27b/CusalLm 35B Beta Long 。不过有些未审查模型虽然能生成未审查内容，要么像发春的母猪，要么像干巴巴的木头，很下头。 |
 | 40 Cheez PRO 本地模型本来就没有可玩性啊…… 就是免费、私密和自由，然后什么都没有了呀。理论上你可以 24 小时处理一些 7b 模型能做的事情，例如你的账单你觉得很私密，可以让本地模型去帮你分类记录； 我是觉得，没有必要本地…… |
 | 44 YanSeven 8 小时 4 分钟前 这种超小型的本地大模型，纯玩具吧。。。，确实没什么好玩的。 |
 | 45 nash 8 小时 4 分钟前 1 打游戏就专心打游戏，那玩意能干啥，要玩上云算力玩 |
 | 47 viking602 8 小时 0 分钟前 5060 打游戏都不一定够用的东西跑大模型肯定不够用啊 想玩模型去用云服务不好嘛 为啥非纠结本地模型 |
 | 48 Meteora626 8 小时 0 分钟前 1 薅几个推理平台的羊毛，千万 token 慢慢用， 自己部署没意思的 模型太小了 |
 | 49 bitmin 7 小时 56 分钟前 1 7b 给翻译插件用已经算可用水平了，我核显都跑的飞快 联网搜索用 mcp 实现 |
 | 50 czhen 7 小时 52 分钟前 我还以为是那种人形大模型呢, 兴冲冲的点进来, 哎 |
 | 54 Xyg12133617 7 小时 29 分钟前 公司买的 90G 显存的机器给我们几个玩。从开始部署 qwen30b 满负载，到后面部署 STT 的模型，再到周年庆部署的 DreamO 。到现在的部署 sukura 模型和 qwen1.5-7b-chat ，确实没啥意思。就是折腾的时候有点费时间。可能最近又要部署 dify 这类工作流调用通用模型了。 |
 | 55 autumncry 7 小时 26 分钟前 1 借楼顺带讨论一下，自己本地部署，构建一个股票/虚拟货币之类的市场预测模型，是否可行呢？ |
| 56 crocoBaby OP Xyg12133617 纯部署吗？不过你们公司挺好的，愿意提供这么好的硬件，我公司写代码的电脑都能卡半天 |
 | 58 jmliang 7 小时 23 分钟前 懒得折腾，gemini-2.5-flash-lite 很便宜了 |
 | 59 shm7 7 小时 19 分钟前 99.9999%的人从 2 年前开始就是在瞎玩，就和买 50 块的二手 cpu 组个机器差不多的 |
 | 60 abel533 5 小时 3 分钟前 本地 AI 生图合适，看看 SD,ComfyUI..本地无限制。 |
 | 61 keller 4 小时 36 分钟前 是谁告诉你学习 ai 相关的开发就必须要本地部署？ |
 | 62 wwhontheway 4 小时 27 分钟前 是谁告诉你学习 ai 相关的开发就必须要本地部署？ |
| 63 crocoBaby OP |
 | 65 herozzm 3 小时 51 分钟前 本地大模型和线上大厂的相去甚远，小玩具都算不上 |
 | 66 PbCopy111 3 小时 42 分钟前 |
| 68 keller 3 小时 9 分钟前 1 去注册个火山引擎账号，免费的 token 足够你玩很长时间了 |
 | 69 YUCOAT 2 小时 56 分钟前 在本地部署过 stable diffusion ，没玩多久就腻了 |
 | 70 h4ckm310n 2 小时 40 分钟前 我玩了快一年了，就是拿来涩涩的。 一开始用我游戏本的 3060 跑，但只有 6G 显存，跑个 12B Q4 都慢死。 后来用平时上班用的 macbook pro 来跑，32G 内存能跑 14B Q8 了。但是 mac 也只是生成阶段速度可以，处理输入还是慢，拿来玩画图也慢。 618 的时候自己组了一个台式机，4060ti 16G+5060ti 16G ，再加上 96G 内存，纯显卡的话可以跑 32B Q6 左右，加上内存可以跑更大的 MoE 模型。目前我主要用的模型就是 Qwen3 235B 2507 Q2 ，算是我本地能跑的最大的模型了。除了 LLM ，还可以玩画图，5060ti 跑 SDXL 速度比 macbook 快多了，但是跑 Wan 或者 Qwen Image 这样更大的模型还是慢。 |
 | 71 Narcissu5 2 小时 25 分钟前 你等于是在问：以目前的 AI 能力有什么好的落地场景？ 半个纳斯达克都在等这个问题的答案 |
| 73 Xyg12133617 2 小时 16 分钟前 @crocoBaby #56 部署加测试，加一部分开发吧 |
| 74 crocoBaby OP @h4ckm310n 膜拜大佬,量化 Q2 不会精度太低导致不可用吗?我 5060 8G 跑 7B Q4 看来还是太保守了,今晚试试 14B Q4,不过 ai 也有说图片生成精度要求不用太高,有没有成品可以欣赏一下啊? |
 | 76 edisonwong 1 小时 32 分钟前 个人级别的没必要折腾，伪需求，除非你想搞色色不合规的东西 公司级别的最近折腾几台 dgx spark + mac ，还是挺多东西折腾+用途的 |
 | 77 cheng6563 1 小时 10 分钟前 7B 你还想要啥自行车，能出正常流畅的句子就差不多了。 |
| 78 cheng6563 1 小时 10 分钟前 你不要小看大语言模型这个大 |
 | 79 jjtang11 57 分钟前 ai 本地部署在我看来就是一种新的中年男人玩具，就像摄影，hifi ，nas...玩到最后玩的是器材本身 |
 | 80 version 57 分钟前 文字类的没啥好玩...玩图像或者视频吧 内存 96g 加 5090D 32G 显存 这个是起步价 跑出目前国内大企业的图像一样效果..因为他们都是拿开源模型来部署 |
Select Language