一个快速搭建 AI 应用的思路及实现 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
ltaoo1o
V2EX    分享创造

一个快速搭建 AI 应用的思路及实现

  •  
  •   ltaoo1o
    ltaoo 258 天前 2770 次点击
    这是一个创建于 258 天前的主题,其中的信息可能已经有所发展或是发生改变。

    写了一个 AI 应用后,意识到所有 AI 应用都包含两个最基础的能力

    • 自定义 LLM 厂商
    • 自定义 Agent 及其配置

    完全可以把这两个能力抽出来,让 AI 应用搭建更加地简单、快捷。

    基于这个思路,实现了 LLMKit ,仍然是我一贯「视图无关」的实现方式,核心逻辑纯 js 实现,可以很好地融入现有代码。

    https://github.com/ltaoo/LLMKit

    目前实现了一个简单的聊天示例,支持多个 Agent 、支持自定义卡片

    截图

    后续会增加更多框架、端的示例,感兴趣的可以参考参考。

    14 条回复    2025-03-26 10:39:12 +08:00
    kurthumburgmtz97
        1
    kurthumburgmtz97  
       258 天前
    请问这个有什么具体的用途呢,聊天的话,好像有很多类似的客户端,区别在哪里呢
    meeop
        2
    meeop  
       258 天前
    非常不错的思路
    ltaoo1o
        3
    ltaoo1o  
    OP
       258 天前
    @kurthumburgmtz97 用途就是开发自己的 AI 应用更简单。

    比如我有一个「笔记本」应用,支持对段落 「 AI 纠错」、「 AI 润色」等等,自己写,要写非常多代码来实现自定义 LLM 厂商、自定义 Agent ,用我这个,截图里面的左边两项就直接能用。
    剩下的就是调用 agent 集成到笔记本应用中。

    不仅是笔记本应用,需要用到 LLM ,并且需要多 agent 、自定义 LLM 厂商、输入用户自己 apiKey 的场景,用我这个都能非常快就完成。

    我后面会写一个 tauri 笔记本示例,可以关注下。
    Jiki
        4
    Jiki  
       258 天前
    headless LLM switcher?
    ltaoo1o
        5
    ltaoo1o  
    OP
       258 天前
    @Jiki 可以这么说。后面还会准备一些常用框架的模板,支持开箱即用
    Lx404
        6
    Lx404  
       258 天前
    还是太僵硬了 早期公司就这种形式 后来直接 dify 工作流形式更高效了 当前使用 dify 落地几十个场景了
    jiny28
        7
    jiny28  
       258 天前
    dify 完全够
    jiny28
        8
    jiny28  
       258 天前
    @str49in 请教一下,你们大概都是些什么场景呢
    ltaoo1o
        9
    ltaoo1o  
    OP
       258 天前
    我刚试用了 dify ,dify 的输出,可以作为我这个 LLMKit 的输入(当然现在没实现只是想法),我也有想过做 agent 编排,这个项目才刚开始写。

    「太僵硬」不知道从何而来,LLMKit 这类代码库更灵活才对,毕竟全是代码,想怎么调用 agent 、怎么渲染内容,都是开发者自己决定。

    你说 dify 「更高效」是没问题,毕竟都可视化操作了。
    YsHaNg
        10
    YsHaNg  
       258 天前
    @ltaoo1o 这和 open webui 的 pipeline 更相似吧 多了 gui
    ltaoo1o
        11
    ltaoo1o  
    OP
       258 天前
    @YsHaNg LLMKit 可以作为 openwebui 的一部分功能。

    你看到上面截图,右边的「聊天」是使用 LLMKit 开发出的示例应用,左边的部分是我认为每个 AI 应用需要的能力。
    Lx404
        12
    Lx404  
       256 天前
    @jiny28 主要是一些公司内部业务流程自动化、营销、数据分析和我们自己的剧本业务。接入 dify 后 配合低代码 基本不需要我们开发介入 各部门自己订制流程后后台接入就可以了
    ltaoo1o
        13
    ltaoo1o  
    OP
       254 天前
    @kurthumburgmtz97 笔记本示例,声明一些内置 agent ,可以对笔记内容调用 agent ,比如润色、查错等等

    ![]( https://static.funzm.com/assets/images/82127024973fb94c.png)
    puzzle9
        14
    puzzle9  
       246 天前
    这个提示词是自己想出来的还是 感觉很棒
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1231 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 17:20 PVG 01:20 LAX 09:20 JFK 12:20
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86