marklu 最近的时间轴更新 marklu 最近的时间轴更新 使用大语言模型进行文本分类任务需要微调吗？
楼主是做经济学研究的，近期工作涉及到利用 LLM 进行文本分类。在查阅文献（主要是经济学交叉应用类）时，我观察到一个趋势：作者们倾向于获取特定任务的标注数据，然后在 BERT、ERNIE 等模型上进行微调，以完成分类。
由于我的技术背景有限，对于这种方法的选择及其替代方案有些疑问，想听听大家的专业意见：
1.微调的实际可行性： 用专门的分类数据去微调一个通用预训练模型，会不会损失模型基础性能，导致在遇到与微调数据不太一样的文本时，表现反而变差？
2.是否可以直接使用 GPT 等模型替代： 现在有许多能力非常强大的 LLM，似乎可以通过给出清晰的指令（Prompt）就能完成很多任务。对于文本分类来说，直接使用这类强模型+好 Prompt，相比于“训练”一个基础模型，是不是一种更高效（开发时间短、可能效果还好）的选择？在这种情况下，应该如何验证分类的准确性？
我主要想理解这两种技术路径的适用场景、优缺点以及实际操作中的考量。任何经验分享或建议都将对我非常有帮助！谢谢大家！ 188 天前
楼主是做经济学研究的，近期工作涉及到利用 LLM 进行文本分类。在查阅文献（主要是经济学交叉应用类）时，我观察到一个趋势：作者们倾向于获取特定任务的标注数据，然后在 BERT、ERNIE 等模型上进行微调，以完成分类。
由于我的技术背景有限，对于这种方法的选择及其替代方案有些疑问，想听听大家的专业意见：
1.微调的实际可行性： 用专门的分类数据去微调一个通用预训练模型，会不会损失模型基础性能，导致在遇到与微调数据不太一样的文本时，表现反而变差？
2.是否可以直接使用 GPT 等模型替代： 现在有许多能力非常强大的 LLM，似乎可以通过给出清晰的指令（Prompt）就能完成很多任务。对于文本分类来说，直接使用这类强模型+好 Prompt，相比于“训练”一个基础模型，是不是一种更高效（开发时间短、可能效果还好）的选择？在这种情况下，应该如何验证分类的准确性？
我主要想理解这两种技术路径的适用场景、优缺点以及实际操作中的考量。任何经验分享或建议都将对我非常有帮助！谢谢大家！ 188 天前
 | markluV2EX 第 740149 号会员，加入于 2025-03-16 11:57:27 +08:00今日活跃度排名 16389 |
| 使用大语言模型进行文本分类任务需要微调吗？ 机器学习 marklu 176 天前 最后回复来自 Zhuzhuchenyan | 4 |
marklu 最近回复了
153 天前 回复了 docxs 创建的主题 问与答 想转到安卓手机了，求建议 |
@moefishtang 你米其实还可以，中规中矩
157 天前 回复了 csfreshman 创建的主题 问与答 假期结束，假设能从头再来，你会…… |
@LaGeNanRen 盐城人自己都不去玩那些东西
162 天前 回复了 izzy27 创建的主题 MacBook Pro 现在适合买 MBP 吗 |
大可以直接买，每年都是挤牙膏式更新，并不看好 m5 能有巨大改进
206 天前 回复了 mingtdlb 创建的主题 Google Google 翻译怎么还不上 AI |
有类似的解决方案，可以看看 github 上的 PDFMathTranslate
Select Language