求问大模型应用开发圈的大佬们，进来唠唠经验呗？

80%的时间在处理大模型下游应用，觉得目前来说最致命的缺点还是幻觉。

在做，就是换个方向的 curd 而已

我们部门目前分了两组，传统业务组和 AI 应用组，可以确定的是，到年底只会留下一组

@zhuwd 牛逼，那感觉肯定是传统业务胜算更大

ai 应用。感觉也是 curd. 设计训练那些可能会有点门槛。

换个壳的 curd,大部分都是做应用层的， 特别底层的设计训练别想

前全栈，公司内部转了大模型开发，
1. 上层需求模糊，管理层每天看到业界出来新东西就希望我们复刻，前年是搞文字、美术资产自动化生成，去年是搞全公司文档 RAG ，今年是搞 Workflow 和 Agent 自动化。KPI ，OKR 每个月变一次，上一个月做出来的东西下一个月直接丢弃转战下一个课题。
2. 新的模型层出不穷，每次都有“革命性”的改动。团队现在维护的一个项目最早用 GPT-3.5 ，GPT-4 出来重写了所有 Prompt ，4.1 出来又重写了所有 Prompt ，底模变了所有根据原先底模特化的 Prompt 全部作废。新的框架层出不穷，每个月老板都问，这个月出来的某某框架号称解决了某某问题，我们项目能不能用得上。最后每个框架都有自己的问题，修修补补又修修补补。
3. 做出来的东西永远比不过专门做的大厂。去年搞得全公司文档 RAG 搜索系统，今年公司说我们要买 Confluence 的 AI 方案，你们这个系统我们就不用了。旁边的组搞得智能客服，公司说我们要采购支付渠道公司的一揽子解决方案，全部心血白费。底层员工成了上层管理层博弈的工具。

总得来说就是一直被追着往热点走，好处是这个战场还很新，有很多东西可以探索。

先说说我自己的情况吧。我是传统 python 开发入行的，18 年毕业，在 2024 年初，RAG 的概念刚火起来，当时是在一个大传统外企的基础架构组，我是跟老板主动请缨做了个内部 RAG 系统，一直做到了 2024 年末，我被裁员了，但是 RAG 项目最后的效果还不错，也在公司用起来了。后来 gap 了半年，从今年五月份开始找工作，找的所有的工作几乎都是 AI 应用方向的。最后的结果是 7 月份初以外包的形式入职了现在这家专门做 AI 应用的公司，外包的工资是税前 30+，可能在 V2 里还不太行，不过我学历不行，所以这个工资对我个人来说过渡也还好。

# 岗位机会多不多？
多！接到好多面试，甚至不需要自己投简历，就有源源不断的 hr 跟你要简历，但是这些里都以外包为主，好岗位还是要你自己投。

# 福利待遇？
跟岗位没关系，只跟公司有关系。我在外包，所以也没有福利待遇一说了，能正常发工资就好了。

# 技术门槛？
现在入职 1 个月左右，我的体验是与之前做 crud 完全不同，主要工作基本就集中在模型调整以及处理各种模型的输入输出上，还陪商务和销售出了一次差，见了一下甲方。

# 和传统开发重合？
我的感觉是重合度非常小。我这家公司基本是 all in AI ，传统开发百分之 90 以上的工作都是 AI 来完成了，公司可以申请 cursor 的额度，传统开发我直接全程 claude4 。

# 工作中是否有隐藏的难点？
是工作都会有，跟 AI 关系不大。

# 对大模型原理的理解？
不太明白你这里的理解指的是什么程度。如果是指预训练的话，那应该是由专门的算法工程师来做，一般都是 985211 里的高手或者清北起步（顺带一提，我目前这个公司就很多清北的硕博）。你问的 AI 应用一般就是指后训练，相关的技术栈是必须要掌握的。包括 损失函数、梯度下降等机器学习的基础概念，或者微调算法 lora 、freeze ，微调框架 swift 等，或者大模型的部署框架 vllm ，或者大模型构建框 langchain 家族以及类似他框架等等等。

# 还有你没提到的是 Agent 的构建。因为 AI 应用开发以 Agent 为主。
RAG 系统，或者多 Agent ，我的建议是多去看看 github 的开源框架，比如高 star 的 qanything 、Langchain-Chatchat
等等。

# 想入行的话，推荐你三步走。
1. 首先你看那些卖课的肯定是不够用的，而且也不用买课，我推荐你一个免费的阿里云的课（ https://github.com/AlibabaCloudDocs/aliyun_acp_learning.git ）你可以跟着试试，全做完的话，你基本能了解个大概了。
2. 然后就是自己去做个项目，尽量把学到的都用上。具体了解一下，
- 怎么处理各种数据，包括 pdf 、excel 、word 等等；
- 怎么提升召回率（把这篇文章看完！ https://freedium.cfd/https://levelup.gitconnected.com/testing-18-rag-techniques-to-find-the-best-094d166af27f ）。
- 实战中微调都怎么调整，什么时候调整 lr 、什么时候调整训练轮数、什么时候调整 lora_rate 等等各种问题，都需要实际微调几次才能有所了解。
- 怎么构建多 Agent ？都需要那些角色？
- 怎么构建 prompt ？都需要注意那些要素？

3. 最后一步就是，去了解最最最最新的技术。去阅读最新的论文！一定要是最新的，不是一年两年前的，而是一个月两个月之内的。举个例子，我昨天在看这个（ https://arxiv.org/html/2507.13334v2 ）。

你把我说的都学会了入行我觉得没问题。然后还有其他问题，你再问吧。

@Zhuzhuchenyan 哥们 你这经历太真实了 我们也是差不多

@WithoutSugarMiao #9 好真诚的分享 给兄弟点个赞

@Zhuzhuchenyan 所以你们现在只是为公司做一下降本增效的应用吗

@WithoutSugarMiao 太感谢了，不知道老哥在哪个城市高就

@ThirdPer 不敢当不敢当 只是个小外包，在首都。

@WithoutSugarMiao 赞

@WithoutSugarMiao #9 赞啊，解释了我比较多的困惑

@WithoutSugarMiao #9 兄弟可以加个微信吗 想继续问些问题

@sc13 #17 微信号：djkwODE4MTEzNA==

@WithoutSugarMiao #9 感谢大佬分享

@WithoutSugarMiao #9

@WithoutSugarMiao 大佬可以加个微信吗？想请教你一些问题，微信号：bGl1amlhd2VpXzIwMTU=