开发了一个浏览器插件,一个本地知识库 AI 助手,关于 RAG 的,希望各位大佬帮我指定下,给点建议,产品本身以及推广都可以,谢谢

网站打不开

搞笑呢，cn 域名和 AI 是互斥的，你有牌照吗？就敢大模型

@RotkPPP 再试下老哥,我改了下 DNS,测了下全国网速,应该没问题了

@ospider em, cn 域名和 AI 是互斥的, 这话我有点不太理解, 麻烦老哥帮忙解释下; 至于牌照与大模型,我也不太理解,我全程都用的第三方的开源 LLM 模型或者 api 调用,跟牌照有什么关系吗?

我也想做个类似的东西，不知道如何下手，op 大佬能指点一二吗？比如需要哪些基础知识，基于哪个开源模型来搞之类的。。。

@hefish 我想想哈, 如果是你要做服务端的话, 可以去看下 langchain, 它里面有提供 python 和 nodejs(我已知的)的库,基本上是可以帮你直接从清理文本,到存入向量数据库,到搜索匹配,直接一条龙完成了的,很方便; 如果你要是像我一样做客户端的话, web 端我调研的方案, 基本上就是 transformjs 处理向量,加 indexdb 存储, 复杂的点主要是中间的一些优化, 我当初弄我这玩意时候,内存老是爆;向量模型的话,就是 huggingface 上找找 embeding 的, 目前国外很多人用的是 nomic-embed-text-v1,不过我测了中文效果不咋地,我就换成了 jina-embeddings-v2-base-zh,目前测试还不错,后面有时间我应该会更新一些我碰到的坑写到我那个博客里(官网里有挂,才刚弄), 希望能帮到你

@xiaoyuan9816 https://www.cac.gov.cn/2024-04/02/c_1713729983803145.htm
有备案吗？ 还用国外 api ？符合 "坚持社会主义核心价值观" 吗？
https://www.cac.gov.cn/2023-07/13/c_1690898327029107.htm

@smallparking 我去 我还真不知道这玩意 感谢老哥提醒;我找时间研究下,不过 api 我只用我们国内的,支持我们国产模型 qianwen 之类的 hh

这个功能有点不太明白哈，意思就是，用户将需要收藏的网站提交给你开发的插件，然后服务端会通过爬虫的方式将内容爬下来，输入到 llm 中，类似于一个 rag 的过程，然后就可以通过对话的形式来获取内容

你这是违法的，赶紧关了。

@doujiangjiyaozha #4 有别的老哥已经说过了，我就不再赘述了。反正不建议在国内搞这些，即使政策允许，国内的付费意愿也太弱，没有任何意义，直接出海是唯一的选择。

没必要前怕虎后怕狼，做不做的起来还不一定

先上车后补票例子多了去了

不过还是建议从国外市场做，国内付费意愿太低，而且乱七八糟浏览器多，你这又是插件。
国外基本上 chrome ，firfox ，safari 支持了就够了

cn 域名做好进去的准备

@doujiangjiyaozha 谢谢大佬！

@RotkPPP 是的,总体就是你自己的所有资料会被向量化,然后根据你的问题进行匹配相关文档,再丢给 ai 回答;其实没有服务端,都是纯客户端,除了最后一步 llm 模型是怎么选的

@ospider 好的 感谢

@kneo 头疼....

@amlee 嗯嗯 感谢指点

@gaobh .....这么恐怖

有没有火狐的？

@Jacobson 火狐目前还不行,还没去适配

好像 ICP 备案和公安备案也没搞？

可以先弄个英语语义的域名，网站增加英文支持，先做出海

@lucasdev 是呀 本来主要是想快速上线 看市场反馈 公司啥的我都有注册好的 备案啥就好麻烦 懒得弄 这两天也收到反馈 基本都是建议我先做出海 可能浏览器插件这玩意的属性 本来就适合出海吧

@doujiangjiyaozha 好奇老哥你这个 rag ，有办法基于全文吗

比如现在 rag 搜索出来的都是 “片段”，可我希望再进一步拿到片段对应的文章，基于全部文章再 chat

@IndexOutOfBounds em,我这个 rag 并没有基于全文; 实现当然能实现,但是基于全文的话,如果匹配到了多个文章, 再将他们都丢去 chat,估计 llm 模型 hold 不住...

@doujiangjiyaozha 是的，所以单个文章长度太长就没法完了，比如论文。但感觉如果是基于新闻 chat ，每篇新闻一般不长，全文效果会好些