bluryar 最近的时间轴更新 bluryar 最近的时间轴更新 | bluryarV2EX 第 591485 号会员，加入于 2022-08-17 12:06:20 +08:00今日活跃度排名 16330 |
bluryar 最近回复了
5 天前 回复了 Sh1xin 创建的主题 Local LLM 私有化部署 LLM 及 LVM 选型方案意见收集 |
@Sh1xin 4 张卡是全用于部署 LLM 还是需要部署包括 LLM\Embedding\Reranker 在内的所有模型？工作流复杂的情况下，你还有可能需要部署小参数的 LLM 。OCR 不知道部啥，就跑一个 MinerU 吧。
您的应用还没搭建起来其实也说不清楚需要什么样的模型。作为网友当然是建议参数越大越好。
您的应用还没搭建起来其实也说不清楚需要什么样的模型。作为网友当然是建议参数越大越好。
5 天前 回复了 pigpigxia 创建的主题 问与答 想做个调研，看看国产 AI 芯片到什么程度了 |
@coefu “和别人辩论” 不知道您从哪里感觉到我在和人辩论，我只是一个往互联网公测拉粑粑的过客。 少用 xxx ，具体您认为应该少用啥？
5 天前 回复了 Sh1xin 创建的主题 Local LLM 私有化部署 LLM 及 LVM 选型方案意见收集 |
@Sh1xin 没场景就随便部署一个交差
5 天前 回复了 Sh1xin 创建的主题 Local LLM 私有化部署 LLM 及 LVM 选型方案意见收集 |
1. AWQ ，最低的硬件要求除个 4 即可
2. 4 张卡都用来跑 LLM 的话，其他小模型跑在哪？
2. 4 张卡都用来跑 LLM 的话，其他小模型跑在哪？
5 天前 回复了 lonely701 创建的主题 问与答 macOS 上有没有使用本地模型的 AI 翻译软件？ |
Whisper 好像能转录的同时翻译，但是 Whisper 本身训的时候中文就不怎么样，其他人可能会微调这个任务，但是都上机器上数据微调了，咋可能免费呢
5 天前 回复了 Sh1xin 创建的主题 Local LLM 私有化部署 LLM 及 LVM 选型方案意见收集 |
LVM 为什么和 LLM 是排他的，这个配置：QuantTrio/Qwen3-VL-235B-A22B-Thinking-AWQ 洒洒水
5 天前 回复了 pigpigxia 创建的主题 问与答 想做个调研，看看国产 AI 芯片到什么程度了 |
评论区看到国产就只想到腾吗，除了情绪啥也看不到，MOE 时代，NVLink 的国产替代方案比芯片算力更加需要关注吧。
软件方面，国产芯片公司都会养团队去适配特定的 LLM ，其他非 LLM 模型的适配虽然细碎，LLM 可不一定差到拿不出手。VLLM 、SGLang 也在积极接受国产芯片的适配 PR 吧？
软件方面，国产芯片公司都会养团队去适配特定的 LLM ，其他非 LLM 模型的适配虽然细碎，LLM 可不一定差到拿不出手。VLLM 、SGLang 也在积极接受国产芯片的适配 PR 吧？
2024-03-23 11:36:23 +08:00 回复了 clemente 创建的主题 问与答 想知道类似这样的聚合新闻门户是怎么实现的? |
爬虫, 我自己用 RSSHub + Miniflux, RSSHub 会比较及时的维护目标网站的适配. 我自己写了个套壳 UI
- [RSSHub]( https://docs.rsshub.app/) - 算是另类的爬虫? - 网页转成 RSS 订阅源
- [Miniflux]( https://github.com/miniflux/v2) - 订阅 feeds, 加了一些分组\用户之类的功能, 也提供 API 供外部调用, 也有一个极简的 WebUI
- [NuxtFlux]( https://github.com/bluryar/nuxtflux) - 套壳 UI, 我模仿下面这个项目写的
- [ReactFlux]( https://github.com/electh/ReactFlux) - 套壳 UI
- [RSSHub]( https://docs.rsshub.app/) - 算是另类的爬虫? - 网页转成 RSS 订阅源
- [Miniflux]( https://github.com/miniflux/v2) - 订阅 feeds, 加了一些分组\用户之类的功能, 也提供 API 供外部调用, 也有一个极简的 WebUI
- [NuxtFlux]( https://github.com/bluryar/nuxtflux) - 套壳 UI, 我模仿下面这个项目写的
- [ReactFlux]( https://github.com/electh/ReactFlux) - 套壳 UI
Select Language