这是一个创建于 210 天前的主题，其中的信息可能已经有所发展或是发生改变。
仓库地址： https://github.com/xkeyC/fl_caption
下载地址： https://github.com/xkeyC/fl_caption/releases
使用 Flutter + Rust (candle 推理框架)
目前仅支持 Windows 端，建议使用 Nvidia 显卡配合 cuda 加速。 实时字幕对延迟要求比较高，建议使用 ollama 、vllm 、llm studio 等本地 llm api ，云端若延迟比较低也可以考虑（比较费钱）。
目前仅在 RTX4090 上测试 large-v3_q4k 模型，12 秒的语音数据 基本在 1 秒内处理完毕。配合 14b 模型，显存占用大约是 16.3 GB ，低于此显存的建议选择更小的 llm 模型。
 | 1 hoseynwn 209 天前 你好,我也想实现识别所有电脑播放的语音到文字.请问我运行后还需要配置什么吗?whisper 的模型下载了 largev3q4k 的了,保存设置后提示 wait for whisper 和 not notconfig llm. |
Select Language