github copilot X - chat 使用体验分享 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
kuingsmile
V2EX    分享发现

github copilot X - chat 使用体验分享

  •  3
     
  •   kuingsmile 2023-05-12 23:44:45 +08:00 5230 次点击
    这是一个创建于 890 天前的主题,其中的信息可能已经有所发展或是发生改变。

    昨天一觉醒来发现等待了好久的基于 GPT-4 的 copilot chat 终于通过了,在这里分享一下我的试用体验~

    准备

    使用 copilot chat 需要满足以下几个条件:

    1. 有正在生效的 copilot 订阅(听说学生包的不可以,不确定,我自己是付费订阅的)
    2. 加入并通过了 copilot chat 的 waitlist GitHub Where software is built
    3. 安装 VS code Insider 版本
    4. 安装 GitHub Copilot Nightly 和 Github Chat 插件

    都安装好之后使用自己的 copilot 订阅账号登录就可以激活了,这时可以看到侧边栏的 copilot 聊天窗口,同时使用ctrl + I可以在行内调出对话栏

    image.png

    测试

    在对话框内输入/可以快捷输入已经内置的命令,分别是:

    • /vscode- 关于 VS code 的问题
    • /tests- 为选中代码生成单元测试
    • /simplify- 简化选中代码
    • /fix- 修复选中代码可能存在的 bug
    • /explain- step by step 的解释选中代码
    • /ext- 关于 VS Code 扩展开发的问题
    • /help- 帮助

    image.png

    代码修改测试

    首先来试一下使用聊天窗口进行互动,选中一段将 Vue 的响应式对象还原为原始对象的函数,然后使用/simplify预置命令,copilot 很快的就给出了简化方案,而且代码块可以选择复制或者直接插入到光标处。

    image.png

    使用相同的代码和 prompt 询问一下网页版的 chatGPT-4:

    image.png

    再来问一下 GPT-3.5:

    image.png

    对比结果可以看出 copilot chat 和 GPT-4 给出的代码逻辑基本一致,而且都正确解读了原代码的意图,但 GPT-3.5 就明显有点跑偏了,直接自作主张的把 isRef 和 isReactive 给去掉了。。。

    贪吃蛇游戏生成测试

    这里我们来复现一下 Github CEO 前段时间在发布会上使用 copilot 写贪吃蛇游戏的操作,具体报道可以参考GitHub 放大招! CEO 现场挑战 18 分钟开发小游戏,人还在台上网友已经玩到了 | 量子位 (qbitai.com)

    我们使用相同的 prompt 来进行测试:

    • What is a snake game?
    • Create the code for a snake game in Javascript
    • How can I call this code

    在 copilot 里,我们在询问后可以直接选择将代码块插入到新文件内,十分的方便,copilot 分别给我们生成了 js 文件和 index.html 文件: image.png

    image.png

    使用Alt+B在浏览器中打开 html 文件,试玩一下,可行!一个字的代码都没有改过,完全是 copilot 生成的。

    230512 224516.gif

    这里我也测试了一下 chatGPT-3.5 和 chatGPT-4 ,其中只有 4 给出了可以运行的代码,3.5 虽然也基本实现了整体代码,但实际跑不起来,需要额外的修改。GPT-4 给出的代码如下所示:

    ChatGPT-Snake_Game_in_JS-2023-05-12.png

    此外,我还分别用 Google Bard 、讯飞星火大模型和百度文心一言做了测试,只有 Bard 给出的代码可以跑起来,但仍有 bug ,另外两个给出的代码都不可运行。

    行内对话模式

    copilot chat 还支持通过ctrl + I调出行内对话模式,生成的代码会直接以 diff 的形式显示在文件内,方便对比,如果没问题就可以一键接受修改。

    image.png

    使用总结

    总的来说,copilot chat 的编程能力从我这两天的使用和对比来看确实和 GPT-4 相当,微软诚不我欺,而且相对于之前的 copilot ,可以自己指定代码段,自定义 prompt 和任务,使用的灵活度上大大提高,再也不用傻傻的只能等着代码出来 tab 。

    推荐有条件的朋友都去尝试一下~

    18 条回复    2023-06-27 13:05:02 +08:00
    TWorldIsNButThis
        1
    TWorldIsNButThis  
       2023-05-12 23:51:49 +08:00   1
    贪吃蛇意义不大,这种源码网上到处都是,作为训练素材估计早就训练了几亿遍了,跟背书差不多

    如果能对一段和具体业务逻辑相关的代码给出有价值的生成结果才算比较好用

    总感觉目前阶段这个问题无法解决,除非能私有部署读取企业内的所有文档和代码
    zhangxu1621
        2
    zhangxu1621  
       2023-05-13 00:10:44 +08:00
    我觉得还是比 gpt4 差点, 感觉应该是 gpt3.5 的微调, 提升了代码能力
    zhangxu1621
        3
    zhangxu1621  
       2023-05-13 00:11:28 +08:00
    学生包是可以的, 我就是, 周五通过的
    GreatAuk
        4
    GreatAuk  
       2023-05-13 08:38:09 +08:00
    问下,chat 可以问与代码无关的问题,就当一个 chatgpt 4 用吗
    Tilie
        5
    Tilie  
       2023-05-13 09:06:35 +08:00
    @zhangxu1621 #3 请问通过了是由邮件发过来么
    ysicing
        6
    ysicing  
       2023-05-13 09:11:15 +08:00
    sarices
        7
    sarices  
       2023-05-13 11:21:32 +08:00
    我全都符合要求,但就是没有 Chat 的窗口,非常奇怪
    zhangxu1621
        8
    zhangxu1621  
       2023-05-13 13:07:14 +08:00
    @Tilie #5 对的, 会给你发邮件通知你的
    zhangxu1621
        9
    zhangxu1621  
       2023-05-13 13:08:02 +08:00
    @GreatAuk #4 有些问题不行, 会说: 与代码无关的问题不回答, 而且用的并不是 GPT4
    fresco
        10
    fresco  
       2023-05-13 13:17:13 +08:00 via iPhone
    好气,今天看了看还是没通过
    EdwardWong
        11
    EdwardWong  
       2023-05-13 15:17:29 +08:00
    Copilot chat 写代码聊问题还是挺好用的,但是无法联网 + 训练数据集只到 2021 是硬伤
    nicchester
        12
    nicchester  
       2023-05-16 18:10:12 +08:00
    请问你 vscode 装的是哪个主题? @kuingsmile
    kuingsmile
        13
    kuingsmile  
    OP
       2023-05-17 07:52:33 +08:00 via Android
    @nicchester eva theme , 图里用的是 eva light bold
    nicchester
        14
    nicchester  
       2023-05-17 09:20:24 +08:00
    jethroX
        15
    jethroX  
       2023-05-17 14:51:28 +08:00
    用了两天,对写业务代码基本没啥用处。反而 copilot 能带来更多惊喜。这两天写公司的 flutter 项目,我让他帮我把一段代码抽取成组件。完全不可用。改都改不出来。
    laogui
        16
    laogui  
       2023-05-20 10:45:47 +08:00
    通过几个小学数学问题和 GPT-4 做了下对比,得出结论是:目前这个和 new Bing 一样,是个假的 GPT-4 。
    0boy
        17
    0boy  
       2023-05-21 19:07:51 +08:00
    今天也刚通过了,搞起来
    xiaopanzi
        18
    xiaopanzi  
       2023-06-27 13:05:02 +08:00
    目前 Bug 还是非常多。在侧边栏总是 Thinking...,从来没有成功过;但是<Ctrl-i>行内提问可以成功。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1176 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 1798ms UTC 17:51 PVG 01:51 LAX 10:51 JFK 13:51
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86