Hundredwz

@Hundredwz markdown 格式没识别，https://docs.sglang.ai/backend/structured_outputs.html

自己部署的话，可以看看 sglang ，支持[结构化输出]( https://docs.sglang.ai/backend/structured_outputs.html)，vllm 应该也一样。
如果使用 api ，openai 是支持的，其他的没调研过，不了解了。

@jeblove 说的非常好，建议非常中肯，学习了。提供的这些方案也确实很有价值，感谢大佬

@oldfriend 感觉这个方案确实比较满足我最初的设想。接下来就是试验，看看能不能稳定了

@zhucegeqiu 嗯嗯，先折腾着玩，后面真要考虑稳定性了再看怎么升级

@Takizawa 我该早点问的，后悔 ing 。。。

@relsoul 感觉很难同时满足垃圾佬（省钱）、稳定高可用、性能这三点，哈哈哈。后面可能直接上群晖会比较省心一些

@lqu3j 比较喜欢这个方案。就是不知道走一层 nfs 性能会怎么样。不过我都是机械盘了，估计性能也好不到哪去

@mikasyou 可能这个方案会比较好。不过我担心 k3s 会不会有点重了？其次家里的路由器不敢动了，动崩了我就完了