electron 有没有办法集成开源 AI 模型？

用户：我只有核显可以做到 100t/s 吗？

TensorFlow js....

用户： 这个客户端怎么好几个 G ？ 里面到底塞了啥

libtorch 跑 torchscript ，或者干脆弄个 embedded Python

你们自己做的 ai 模型吗？

如果不在意体积，可以用 python 包下，提供个 api 给 electron 用

Mozilla 好像开源了一个可以以单文件分发大模型的工具

@wxxxcxx https://github.com/Mozilla-Ocho/llamafile 这个

你的 AI 模型如果核显的性能都带的动，那可以试试

1. 模型逆向泄露风险
2. 适配多端平台的开发难度评估
3. 用户客户端算力、处理芯片的不统一，可能会带来使用体验的降低
4. 客户端体积包增大

这是我想到的四个缺点叭，不知道合不合理

能跑是能跑，但这可不能像 electron 每个应用都带一个 chromium 一样每个应用都带一个 llama 。

可以用 ollama 本地部署，然后你用 http api 调用本地服务就可以了。
你的 electron 实现端只需要负责调 API ，可以配置为使用云端的（比如 openai ）或者本地的。类似实现一大把，自己找找吧。可以搜索 local llm 之类的。

线上服务都嫌成本高，那本地部署成本更高了

看什么模型，一般可以使用 onnxruntime 来做

当然可以，本地大模型才是未来

用 ollama 可以提供模型 api ，可以命令行导入第三方模型 gguf 文件

@horizon #15 前提是设备中带有 NPU

3.5 应该成本很低呀，你可以考虑限制免费用户的频次，根据二八原则，选个大多数人可以接受的就行

直接卖给客户一个计算盒子，模型计算直接在盒子里计算。