有的时候真不能太相信 AI - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
daxigua1te
V2EX    程序员

有的时候真不能太相信 AI

  •  
  •   daxigua1te 2024-09-14 01:22:02 +08:00 6745 次点击
    这是一个创建于 442 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近有个新想法,其中某个核心功能有点复杂,就先在 Github Copilot 上问了下,回答我说有现成的第三方库可以调用,甚至还给出了示例,几行代码直接调用就好。我一看还有这好事,flutter 项目直接搞起,哐哐一顿造,写到这个功能,准备添加依赖了,好家伙,直接提示我没有这个库,顿时傻眼了,还以为哪里出了问题。看了半天发现结果是 AI 在瞎扯淡,我不信邪,告诉他没有这个库,他倒好,老老实实承认错误,又给我哐哐编了一个新第三方库,甚至又给出了示例代码,结果嘛,果然又是个假的。 以前一直用 AI 解决问题,还挺爽的,有些回答可能不怎么准确,也没到瞎扯淡的程度。哎,我果然还是太信任他了。

    41 条回复    2024-09-15 18:17:16 +08:00
    conge
        1
    conge  
    PRO
       2024-09-14 01:28:11 +08:00   12
    他这是提示你,你可以先把这个库给写出来

    :)
    mobpsycho100
        2
    mobpsycho100  
       2024-09-14 03:04:48 +08:00
    试试 o1-preview, 挺给力的
    mumbler
        3
    mumbler  
       2024-09-14 03:19:43 +08:00
    大模型有幻觉是常识,还好大模型不断在升级,写代码能力一直在提升
    layden
        4
    layden  
       2024-09-14 03:32:09 +08:00
    常见的问题问一下是没问题,太偏太复杂的问题大模型也不懂。但离谱的是,面对它不会的东西它会选择瞎扯,而不是承认不会,有时候觉得这也有点太不够 AI 了吧。
    kyro00000
        5
    kyro00000  
       2024-09-14 06:46:43 +08:00
    早几个月前刷有机化学题的时候就知道啦...
    它随便给你编答案,我照着参考答案都是懵逼的..
    问些简单概念问题它能答对,稍微复杂点就开始瞎编了.
    t41372
        6
    t41372  
       2024-09-14 07:03:38 +08:00 via Android
    @layden 因为 ai 自己其实不知道自己说的是不是对的...
    lloovve
        7
    lloovve  
       2024-09-14 07:53:24 +08:00 via iPhone   2
    凡是网上查不到的,他基本都不会!大部分时候只能当搜索工具用
    fds
        8
    fds  
       2024-09-14 08:00:38 +08:00
    也不怪它,毕竟它训练时就是要生成一个尽量合理的答案,还不让上网查。能搜索的 perplexity.ai 会不会好一点?
    sshnuke
        9
    sshnuke  
       2024-09-14 08:18:53 +08:00
    gemini 或者 tongyi 写代码更好些
    fox0001
        10
    fox0001  
       2024-09-14 08:19:02 +08:00 via Android
    @fds #8 perplexity.ai 会好点,但也不能全信
    etwxr9
        11
    etwxr9  
       2024-09-14 08:19:55 +08:00 via Android
    ai 会瞎编是常识,ai 说得再好听也不要信,从根本上就不要尝试用 ai 去做事实判断,只用它做文本分析和处理。越了解 ai 能力的局限性,ai 用起来就越舒服。
    jackple
        12
    jackple  
       2024-09-14 08:28:55 +08:00
    第一时间你不去搜一下这个库你就不对了,
    leegradyllljjjj
        13
    leegradyllljjjj  
       2024-09-14 08:50:34 +08:00 via iPhone
    大模型都是概念模型,只能说它认为大概率存在这样的一个库
    Frankcox
        14
    Frankcox  
       2024-09-14 08:50:46 +08:00
    让我想起我们公司一个抽象的开发,问 AI 一个库的某个参数有多少个状态,然后截图发给我们让我当文档用,我们拿着文档一对发现一半都是胡编的。
    helionzzz
        15
    helionzzz  
       2024-09-14 08:53:44 +08:00
    ai 的任务是尽可能模拟
    helionzzz
        16
    helionzzz  
       2024-09-14 08:54:11 +08:00
    @helionzzz 出一个符合逻辑的回答
    iyiluo
        17
    iyiluo  
       2024-09-14 08:59:17 +08:00
    别说,AI 编出来的函数调用还像模像样,但是一运行就露馅了
    wolfie
        18
    wolfie  
       2024-09-14 09:00:13 +08:00 via Android
    一直都这样,有时候非常上头。
    ruobingm
        19
    ruobingm  
       2024-09-14 09:04:13 +08:00
    @fds 就 5 次。。。
    Felldeadbird
        20
    Felldeadbird  
       2024-09-14 09:12:20 +08:00
    一直都是这样啊。有一些库都已经用不了,还不断推荐。还说这是开源的,明明人家库都从开源转换收费版本了。
    代码这方面算好了。OCR 才是离谱。识别不出来就跳开嘛。AI 直接给我自己润色。
    zongren
        21
    zongren  
       2024-09-14 09:16:24 +08:00
    没有这个库,但是先假装有这个库
    lovedebug
        22
    lovedebug  
       2024-09-14 09:28:08 +08:00   12
    AI 的悖论:使用者自身必须达到所问领域平均水平,才有能力鉴定真假
    wqhui
        23
    wqhui  
       2024-09-14 09:32:45 +08:00
    ai 只能做你懂的东西,有点像更高级的自动化工具
    lyxxxh2
        24
    lyxxxh2  
       2024-09-14 09:39:46 +08:00
    肯定是你的问题,ai 可是学完的整个 github 。
    你一个程序员怎么比得过几千万程序员的知识。
    (狗头保命)
    summerLast
        25
    summerLast  
       2024-09-14 09:52:42 +08:00
    你不知道你不知道的,AI 知道它不知道的,
    summerLast
        26
    summerLast  
       2024-09-14 09:55:08 +08:00
    @summerLast #25 准确不是 LLM 的首要目标,顺畅对话(即使胡扯)才是,就说流不流畅吧,效果不好,对不起我们会增加训练的数据量的
    monkeyk
        27
    monkeyk  
       2024-09-14 10:02:34 +08:00
    避免 AI 出现胡编乱造,在写提示词时加上:
    请依据你所掌握的广泛知识来严谨作答,避免提供未经证实的信息。

    等类似的内容,就可以很好的处理掉。
    rekulas
        28
    rekulas  
       2024-09-14 10:07:54 +08:00   4
    我还以为是 22 年的帖子,看了下时间 确定是现在
    所以我想问 op 你第一天用 ai 吗
    chrisji1024
        29
    chrisji1024  
    nbsp;  2024-09-14 10:52:22 +08:00
    用好 ai 的前提是掌握正确提问的方法
    zander
        30
    zander  
       2024-09-14 12:30:54 +08:00
    先找到库。
    库这玩意,你找不到,AI 给你找的多半是假的。
    最好是找到库让 AI 帮你读,你参考示例再继续做。
    WhateverYouLike
        31
    WhateverYouLike  
       2024-09-14 13:10:50 +08:00 via iPhone
    哈哈哈喜闻乐见
    NoOneNoBody
        32
    NoOneNoBody  
       2024-09-14 13:30:07 +08:00
    gpt 3.5 出现过几次,4o 后没再见过(也可能是我提问的方式变了)
    给出的代码很完整且阅读通畅,我觉得不是创作出来的,更像是从哪里抄的,应该是有人写了类似的简易模块开源,被 gpt 读到了,但作者并没有把这个模块打包为库,gpt 将人家引用自家模块的代码输出了,结果就是找不到
    AoEiuV020JP
        33
    AoEiuV020JP  
       2024-09-14 14:18:38 +08:00
    好几次了已经,我清清楚楚的问有没有第三方库实现了我说的功能,ai 几乎总是会信誓旦旦地告诉我某个库可以实现,明明白白的告诉我怎么使用, 一查就是没有,
    nyxsonsleep
        34
    nyxsonsleep  
       2024-09-14 15:09:59 +08:00
    @layden #4 因为它的参考语料里没有承认不会的内容。并且由于数据太多,很容易混淆概念。
    Terry05
        35
    Terry05  
       2024-09-14 16:51:08 +08:00
    早就发现它是在胡扯了,比较细节的东西,可以问问他方案,思路一类的,具体的现实内容绝对不能指望
    J0seph
        36
    J0seph  
       2024-09-14 18:53:24 +08:00
    大模型是语言模型,只考虑给的回答通不通顺,又不管对不对
    maemolee
        37
    maemolee  
       2024-09-14 18:56:27 +08:00
    你别管他有没有撒谎,你就说 AI 给你的回答,是不是像模像样的?

    这就是 LLM 的第一要务。
    cosmicray
        38
    cosmicray  
       2024-09-14 19:52:56 +08:00
    反面是无论问什么都回答不知道,这个对模型来说更容易做到,但是也更没用。实际上人也经常编造内容,ai 更严重还是因为认知能力不足。
    win301
        39
    win301  
       2024-09-15 14:27:49 +08:00
    这也算是收获了经验,下次可以先确定依赖库是否真的存在,然后在在确认一下依赖库里的方法是不是确实是你需要的,然后在开始设计程序
    jqtmviyu
        40
    jqtmviyu  
       2024-09-15 17:42:31 +08:00
    除了瞎编库, 还有一本正经的用 n 年前的废弃文档告诉你解决方法.
    PeneceaQwQ
        41
    PeneceaQwQ  
       2024-09-15 18:17:16 +08:00
    不带 RAG 相关的都存在幻觉的,就算有合适的 prompt 都可能存在瞎编,o1 稍微好点

    还是把 AI 当成 idea 获取器和搜索引擎算了
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     804 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 20:49 PVG 04:49 LAX 12:49 JFK 15:49
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86