 | reecoV2EX 第 61311 号会员，加入于 2014-04-27 10:41:34 +08:00今日活跃度排名 9580 |
reeco 最近回复了
124 天前 回复了 pauluswanggang 创建的主题 Linux 为什么我，一个从 DOS 时代走来的电脑老用户，也放弃了 Linux 桌面系统 |
说了一堆废话
133 天前 回复了 ztstillwater 创建的主题 宽带症候群 分享一下在日本的我家一户建的宽带 |
国内电信 1000M 一年也是差不多 1000 ，就是上行太慢了，上行 50 出头
148 天前 回复了 lucheng0127 创建的主题 NAS 最终使用 Linux 自己搭建 NAS 系统 |
Debian 插满硬盘装上 zfs samba 和 syncthing 就搞定了
148 天前 回复了 littlemis 创建的主题 问与答 请问像是 qwen:0.5b 这种小模型，实际能落地用来做什么 |
目前最大的用处就是推测解码
176 天前 回复了 suke119 创建的主题 程序员 企业级部署实操： SGLang 多节点集群部署 Qwen 系列大模型 |
7B 不必考虑非量化场景，单机 2 张卡，2 个实例就搞定了
176 天前 回复了 ltfree 创建的主题 程序员 最近被 OCR 识别搞得头痛 |
部署个 paddleocr 解决
238 天前 回复了 zhuwd 创建的主题 NVIDIA NVLink 对显卡集群的影响有多大？ |
生产环境显存足够还用 ollama 这种套壳干嘛，暴殄天物。70B 用 Triton + TensorRT-LLM 理论性能是最好的
243 天前 回复了 mrleft 创建的主题 Local LLM ollama 如何手动下载模型？ |
直接 huggingface 下载模型，llama.cpp 跑一下，一样的
Select Language