 | cnt2exV2EX 第 96660 号会员，加入于 2015-02-10 04:23:48 +08:00今日活跃度排名 15215 |
cnt2ex 最近回复了
2 小时 26 分钟前 回复了 YanSeven 创建的主题 程序员 关于大模型原理的感叹 |
@LaurelHarmon
BERT 不是什么判别模型，仅仅是一种预训练的方法。
BERT 和 GPT 的最大区别在于，BERT 是做完形填空，而 GPT 是做下一个单词预测。BERT 这种完形填空（掩盖+预测）的做法也并非不能拿来训练一个生成模型，比如 MaskGIT 就是用掩盖+预测方式训练的生成模型。
而且也很难说 BERT 就是“岔路”，GPT 就是正确的路线。研究本就有跟风的习惯，一个方向被打通过后，很多人就都凑上来搞。
谁知道未来会不会有人发现 GPT 成功的真实原因然后将其应用到 BERT 上，又或者 GPT 的缺陷被发现转而投向 BERT 呢？
BERT 不是什么判别模型，仅仅是一种预训练的方法。
BERT 和 GPT 的最大区别在于，BERT 是做完形填空，而 GPT 是做下一个单词预测。BERT 这种完形填空（掩盖+预测）的做法也并非不能拿来训练一个生成模型，比如 MaskGIT 就是用掩盖+预测方式训练的生成模型。
而且也很难说 BERT 就是“岔路”，GPT 就是正确的路线。研究本就有跟风的习惯，一个方向被打通过后，很多人就都凑上来搞。
谁知道未来会不会有人发现 GPT 成功的真实原因然后将其应用到 BERT 上，又或者 GPT 的缺陷被发现转而投向 BERT 呢？
23 天前 回复了 bronyakaka 创建的主题 Linux 2025 年各大 Linux 桌面发行版安装问题及请教 |
ElementaryOS
23 天前 回复了 YanSeven 创建的主题 程序员 Debian 拥抱 Rust：五月起强制使用 |
34 天前 回复了 AFOX 创建的主题 Linux 看到讨论 Linux 桌面的帖子，想问问现在跑 Linux 的笔记本有哪些推荐 |
怎么还有人靠着不知道多少年前的偏见来评价 linux 的现状。
38 天前 回复了 wuruxu 创建的主题 Linux Linux 桌面没调好的，别怀疑，一定是技术没学到位 |
38 天前 回复了 wuruxu 创建的主题 Linux Linux 桌面没调好的，别怀疑，一定是技术没学到位 |
38 天前 回复了 wuruxu 创建的主题 Linux Linux 桌面没调好的，别怀疑，一定是技术没学到位 |
59 天前 回复了 liaohongxing 创建的主题 Android 怀疑鸿蒙的出境易就是一个安卓应用放行白名单 |
@uqf0663 #3
你这逻辑就很搞笑。
按你这说法，广大声称推翻相对论、证明歌德巴赫猜想的民科岂不是有一堆正确的？毕竟要是错误，美国人直接锤了好吧。你当美国人是傻子吗？
况且，华为已经被制裁，别人锤不锤有多大意义？
而且光就“完全舍弃 AOSP”这种陈述就存在巨大歧义。“完全舍弃”什么意思？鸿蒙没有一行来自于 AOSP 的代码？你鬼话你信吗？还是说“完全舍弃”就是只是不兼容 AOSP 的意思？那还需要锤这点吗？
你这逻辑就很搞笑。
按你这说法，广大声称推翻相对论、证明歌德巴赫猜想的民科岂不是有一堆正确的？毕竟要是错误，美国人直接锤了好吧。你当美国人是傻子吗？
况且，华为已经被制裁，别人锤不锤有多大意义？
而且光就“完全舍弃 AOSP”这种陈述就存在巨大歧义。“完全舍弃”什么意思？鸿蒙没有一行来自于 AOSP 的代码？你鬼话你信吗？还是说“完全舍弃”就是只是不兼容 AOSP 的意思？那还需要锤这点吗？
60 天前 回复了 factionstrue 创建的主题 Linux gnome 49 不支持 xorg 了？ |
居然还有人停留在 x11 session 上，一直都在使用 wayland session 。没有遇到什么大 bug 。
用 flatpak 隔离国产 app ，如果使用的是 x11 session ，其中一部分沙箱机制几乎没有（ x11 下所有程序都能读取其他程序的屏幕和键盘，还能注入）。这些机制说是方便，可以实现一些自动化功能，但简直就是安全的噩梦。
用 flatpak 隔离国产 app ，如果使用的是 x11 session ，其中一部分沙箱机制几乎没有（ x11 下所有程序都能读取其他程序的屏幕和键盘，还能注入）。这些机制说是方便，可以实现一些自动化功能，但简直就是安全的噩梦。
Select Language