说了一堆废话

国内电信 1000M 一年也是差不多 1000 ，就是上行太慢了，上行 50 出头

Debian 插满硬盘装上 zfs samba 和 syncthing 就搞定了

目前最大的用处就是推测解码

7B 不必考虑非量化场景，单机 2 张卡，2 个实例就搞定了

部署个 paddleocr 解决

生产环境显存足够还用 ollama 这种套壳干嘛，暴殄天物。70B 用 Triton + TensorRT-LLM 理论性能是最好的

直接 huggingface 下载模型，llama.cpp 跑一下，一样的

驴头不对马嘴

还是 1 的方案吧，2 ，3 的方案你换个非 openai 的模型照样不能用

@tagtag 直接裸用大模型是因为可以快速开发，可以注入那是他们开发得简陋，prompt 写的很简单，工程化也没做好导致的问题，。

我的猫咪心肌肥厚 C 期，我目前还在尽力救它，每天 4 点起床给他喂药，打针

我现在更喜欢用 zig 来代替 golang ，同样优秀的跨平台编译以及标准库，就是手动 gc 麻烦了点

祝好，我家的猫也是先天性心脏病，加上高龄，现在已经到了末期了。每天吃三顿药 + 吸氧 + 打两针