什么叫垂直领域模型?领导让我弄一个用来获取政策支持

做垂直领域模型，首先，你要有，垂直领域的数据。

就是随便下点什么行业语料 然后基于 qwen2.5 微调个模型。

然后写个 ppt 说自主研发，打破西方国家的科技封锁，多种科技应用，适配多个自主研发的国产操作系统 balabala

@dzdh 我怀疑你在阴阳大菊

@ihainan 请问数据要什么形式的数据? 是问答的数据吗

垂直领域模型指的是在特定行业或领域中应用人工智能技术和解决方案的情况。

比如：你现在要做一个“割包皮”的垂直领域模型。
那么，你要找尽量多的割包皮手术数据，割包皮术后情况数据，病历病案，然后把这些数据喂给基础模型，修改 prompt ，微调参数。

搞一些专业的领域数据，可以爬，可以买，找个支持智能体的 LLM 平台，比如阿里百炼啥的，把自己的数据灌进去，核心就是 RAG ，速度快成本低，领域数据搞定，一天可以出来。

@burymme11 不用别人的开放平台也行，可以自己找个 Spring AI 等类似的框架自己搞一套，但是学习成本比较高。

@dzdh 甚至 qwen2.5 都不用，找个 yolo 微调一下，声称工业大模型。

可能考虑下法律领域？不过已经有不少比较好的了，套政策的话应该还可以，这种得先搞到数据 再用这些数据专门训练和微调模型吧？

好奇政策支持

@burymme11
@kk2syc
@panda188
@ihainan
@dzdh
请问我是否可以 将 doubao/kimi 的回答的数据喂给基础模型 作为所谓的领域数据

@mythjava #4 比如法律行业出的秘塔科技，就算垂直领域的。

你不需要微调。其实最简单就是 2 个角度。1 。做成智能体。限制他回答其他通用问题。2 。加个知识库，塞点领域内的文本就行，不要管质量，只要数量。

然后这样吹：“

我们打造了一款面向 XX 行业的垂直领域大模型，它不仅是一个“懂行业”的大语言模型，更是一种对通用智能架构的深度垂直重构。

在数据层，我们整合了 超过 XX 万条高质量行业样本，总规模 XX 亿字的标注语料，覆盖了流程文档、结构化记录、实操指南、用户对话、异常日志等多个维度，形成完整的行业知识图谱与行为链路。

在模型层，我们基于当前主流的 Transformer 架构，引入了动态稀疏激活的 MoE （ Mixture of Experts ）机制。通过在推理过程中动态选择不同专家路径，我们实现了模型在不同子任务间的能力分化与局部最优，每次前向仅激活 16%的参数，在显著提升性能的同时，大幅降低推理成本。

不仅如此，我们通过对行业任务进行标签驱动的专家路由学习，将模型专家层显式绑定到业务流程的不同模块，实现了“专人专岗”的智能推理路径。

同时，我们对模型进行了蒸馏与剪枝优化，在保留领域任务强表现的前提下，砍掉了超过 70%的冗余通用权重，使模型体积精简至原始的 40%，同时显著提升了加载速度与边缘部署能力。

更重要的是，在微调阶段，我们全面剥离了原始通用模型中与目标行业无关的知识残留，通过负迁移抑制 + 正则对比学习，显著提升了模型在行业问答、决策辅助、故障推理等核心场景下的稳定性与可解释性。

最终，这款模型在多个真实业务任务上交出了优异答卷：
召回率提升 32%
行业意图理解精度提升 29.4%
推理延迟降低 65%
平均部署成本下降 58%

你直接问 AI 呀，问他你应该怎么做

@Liftman 这段话太狠了, 看得我迷迷瞪瞪

@mythjava 可以 甚至不用喂给模型 收集一下找个 embedding 存入 vdb 做 rag 就好了 现成框架都有 甚至不用自己做 上传 txt 了事

通用模型+专业的知识库就可以，不要微调模型了效果达不到预期且投入太高，甚至还搞不出来

专业性，农业 教育 法律，而不是类似 dp 通义千问这种通用大模型啊

@mythjava 肯定不行呀，要这么简单 那就轮不到别人了，doubao/kimi 这种生成模型，适合生成，通用场景，对结果要求不那么精准的，code 领域 肯定 claude 也是针对 code 做了增强训练吧，如果不进行模型训练，可以通过 RAG 知识库+kimi/doubao ，这种应该是现在最可行的方案。