我是个小公司桌面运维，老板让我给他开发个 AI 大模型……

好炸裂的需求，更炸裂的是你居然真的想去干。

从技术上可以，从工作上来说我建议不要这么给老板说。把工作量说多一些，多要几个 HC 。

先把硬件配上，4090 两块，一块放公司跑模型，一块放家里玩黑神话啊不是，一块在家里做技术研究

fastgpt 把文章传上去，然后写个 prompt ，然后给老板 gpt 的链接就行了

@newaccount 今天请假，原因：流感

是不是只需要写个 prompt ？

预算。

预算到位什么想法都可行。

把书喂给 kimi ，然后让它扮演哲学家就可以了，不需要祖云服务器

t/1022439#reply81 感觉参考这个思路，就是把文集构建向量数据库，然后搞个开源大模型，或者购买个大模型 AI 接口 查询问题时，先查向量数据库，然后把结果给大模型，然后让大模型在回答。

GPT 预设个角色就 OK 了,数据的话 OpenAI 已经学过了

《这个聊天机器人的用户量估计不会太高》

在国内做，有合规问题吧，别进去了

我觉得上面配两块 4090 的建议靠谱些

我也觉得上面配两块 4090 的建议靠谱些

@frencis107 #11 谢谢提醒，这个我也跟老板说过了。老板头铁得很，好在这个圈子实在影响力有限，他之前搞的一些别的骚操作都没兴起什么风浪
最后要做的时候我会跟法务确认一下。如果确实有问题老板还要坚持做的话，我就让他自己去找外包了。

@newaccount #3 hhh ，这事我也不是没想过

@HuberyPang #9 谢谢！！这个看起来很接近我想要的东西了

@whp1473 #8 考虑过，如果这样的话，工作量就几乎都在前端上了。还有一个担忧是，kimi 这类线上 AI 是否能够微调的程度有限，我怕多问几句，它就露馅了，比如自报家门说我是 kimi ，只是一个人工智能之类的？

可以的这个实现思路没问题

老板不懂所以会说出让你开发个大模型，完成核心诉求就好，只是同时要拿到你自己想要的钱就更好

对于懂行的人来说，不算大，用户界面部份开源的部署一下就好，Llama 3 部署一下，一天之内就能搞定，喂数据麻烦点，但网上也有教程搜搜就行了

不懂行的挺麻烦的 工作量很大
https://ollama.com/
https://github.com/lobehub/lobe-chat

github 有现成的 ai 聊天前端界面，给 token 就行

老板挺有追求的

我赞同楼上配两块 4090 的建议，属实靠谱

好炸裂的需求
更炸裂的是你居然真打算去干
更更炸裂的居然是有人给楼主出主意去自己干

我的建议，打电话联系百度文心一言的商务，然后把报价给老板

kimi 套壳就完事了，不要想一些不切实际的

好奇是哪位哲学家

国内的模型+rag 就行了,预算够 rag 都不用,直接上

李沐创业就是这个方向啊！

买设备,合规备案. 要么上游 api 套壳

中文用通义千问

最靠谱的方案,Llama 3 ,其他的多问几句都会露馅穿帮的

40 万字不需要微调
30 个并发两块 4090 是不够的

这个不是很简单吗？各种开源的方案就能解决，搞个知识库，使用 RAG ，写好提示词。

全是开源方案可太多了，你标题起错了，不然下面已经全是推广自己方案的人了。

内容审核确实是个问题, 不如套国内大模型, 内容审核都是做好的

这不就 RAG 做的事情么，本地部署一下

我看成用户 30 以内了，还想说这么点人直接跳过 AI 招俩人扮演哲学家算了（狗头

先跟老板说硬件。4 张 H100 显卡

其实这个事情，真的不难。
先让你老板买显卡，然后花钱找人整理内容，喂给大模型微调一下就行了。
网上都有教程的。我跑过用 llama3 微调了一个甄。

真的不难！！！！

直说你不会呗，或者让用 kimi 之类的付费产品去。
不然咋样？让大家写个新手都能快速上手的私有部署大语言模型知识库教程？

很简单，做个最基础的 RAG 就够了，可以外包给我，一周内搞定吧

最简单的方案就是直接套个皮，对接国内的 ai 。 豆包，kimi 都可以。

买显卡，部署开源模型，docker 启动 dify ，喂知识库，完成。

coze 平台直接部署

预计下任务是造个火箭！

老板都说了。可以适当招 2 个人，外包。就是愿意花钱啊。先写个 PPT 。预算 100 万。

1 大概率只需要写个 prompt,然后用 gpts 包装下
“你扮演哲学家 xxx,以他的角色和口吻回答用户问题,如下是用户的问题:”

2 复杂点就对接个支持上传文档的模型,上传文集,然后还是上面这个 prompt

3 再复杂就部署 Llama+少量定制,比较麻烦,但也能搞,不需要编程知识

https://github.com/datawhalechina/self-llm/blob/master/models/Qwen2/05-Qwen2-7B-Instruct%20Lora.ipynb
这个应该能满足你的需求，或者更简单一点在智谱 open.bigmodel.cn 上微调

外包给我

找老板要 100W 的经费，花 20W 外包出去 /doge

你没理解的老板的需求，他想表达的意思是做出一个带有某位作家风格的聊天机器人，这个真的很好实现，ChatGPT 里很多类似的机器人，国产的 AI 也可以自己配置。但是你别傻乎乎告诉他实现方式，要说的很难，很大，上价值，上高度，多扩充自己团队

很简单啊，直接用字节家的扣子开发一个 bot 就完了，

把哲学家的文集作为知识库传上去，然后提示词写一下你是一名哲学家，用户会和你对话，你分析理解知识库内容，然后和用户进行对话，

不就完了？

这点数据量还不至于自己训练... 知识库方案。

居然没有人回答 openai

https://platform.openai.com/docs/guides/fine-tuning/preparing-your-dataset
直接使用 openai 的 fine-tuning 模型，自己喂数据，在这基础之上就有了自己调优过后的专门 gpt

最多也就 1000 人左右（并发可能就 30 人以内），额... 并发可能也就是 1

蹲一个后续，希望介绍详细点？

关键词 Graph RAG

百度文心有深度定制的大模型吧，可以了解一下

RAG 方案 +1 ，再用 Prompt 调优试下。
COZE 提供了一份 RAG 的最佳实践，可以参考： https://www.coze.cn/docs/guides/product_knowledge_bot

阿里的百炼平台可以，导入知识库，基于非结构话数据就可以，也就是说你上传点 txt,pdf,word 啥的也行，就是千问问答时候要收费

楼主文科生吧，这标题可以直接去 uc 震惊部报道了，哪有让桌面自研 AI 大模型的，我 40 米长刀都拔出一半要帮你砍老板了，结果他要的只是个套皮。
同意 3 楼，先把显卡买了。

写好 prompt ，openai 已经给你训练好了

@Jinnrry 这事听起来不难，当时 GPT3 出圈的时候，就有个法国小哥用 8 刀微调了一个法文本地化的 GPT （包含语言和一些本地知识），对着油管就能做到

但就像大家说的，这玩意还是找商业定制吧，不然出了问题又得自己去修复，莫名其妙的工作量就来了

直接找国内大厂商啊

只要预算足，登月也给他安排上。

GTPs 自定义一个就可以吧，一会就搞定了

“去把唐僧干掉。” “啊？我？”.jpg

你是否在寻找 ： https://github.com/chatchat-space/Langchain-Chatchat

服务商挺多的，文档看看呗；
或者开源模型自己喂自己搭，2B 的拉跨，8B 、9B 的将就用还是可以的。

你们公司不错，我也想加入。 加入了就能起飞了。

先让他采购一台 8 卡的算力服务器

@oColtono 过滤一下，他说 kimi ，你就把他替换掉

你调研完毕，说这个东西耗 GPU ，算法也很吃技术。 自己搭建不划算，可以用 openai ，智谱清言等公司的虚拟人物来做。

智谱清言
1 、可以单独弄个 虚拟人物 ，上传文件（投喂材料）。 也看到别人发布的智能体
2 、可以调用 api ，也就是可以把虚拟人物变成你的后台
https://github.com/MetaGLM/glm-cookbook/blob/main/README.md

了解一下 rag 即可

RAG 即可，可以套用 coze 等平台的接口，很方便。

楼上说的对，多搞几个 HC ，然后再搞几个 4090 申请点经费，等人来了，把需求推下去，去耍黑悟空，大不了搞个 UI 界面，就欺负他不懂。大家一起快乐一下，还能提升下就业率，出去了还能吹牛逼，构建 AI 团队 实现巴拉巴拉吧。。

这么能干！！！我给你 100 万，帮忙把在东北

这么能干！！！我给你 100 万，帮忙把外东北收复回来，就算做不到，给我出个一百万内可行的方案。

这个走 RAG 的话，不用编程也是能干的。

但编程可能细节控制更好。

不用你开发大模型，也不用折腾 Llama3 微调啥的。

这个到不难，RAG 即可，dify 或者 fastgpt 都能做

和楼上各位不同，我第一反应是好奇 OP 工资多少，工作职能不是一般的多啊。

自己训练模型去吞 40w 数据不现实，我更推荐你联系国内 AI 云商提供商业报价，它们来就是干这个的。
关于硬件资源这一点，你老板就很难 hold 。

以下内容摘自 GPT：
要训练 40 万条数据，所需的硬件资源取决于几个关键因素，如模型的大小、数据的复杂性、训练时长以及所需的精度目标。以下是一个大致的硬件配置建议：

### 1. **GPU**
- **高端 GPU**：建议使用 NVIDIA A100 、V100 或 RTX 3090 等高性能 GPU 。这些 GPU 在深度学习任务中表现出色，并且可以加速训练过程。
- **多 GPU 集群**：如果数据量很大，使用多个 GPU 来并行训练会更加高效，特别是当你需要缩短训练时间时。

### 2. **CPU**
- **多核 CPU**：如 Intel Xeon 或 AMD EPYC 系列，配备多核可以加快数据预处理和加载的速度，虽然深度学习的主要计算任务还是依赖 GPU 。
- **充足的缓存**：更大的缓存能有效提升数据预处理的效率。

### 3. **内存 (RAM)**
- **大容量内存**：建议至少 64GB ，甚至 128GB 或更多。大容量内存有助于处理大批量数据，尤其是在训练前的数据预处理阶段。

### 4. **存储 (Storage)**
- **SSD**：使用 NVMe SSD 来存储数据和中间结果，以确保数据加载和存储的快速响应。
- **足够的存储空间**：确保至少有几 TB 的空间用于存放原始数据、模型权重、检查点等。

### 5. **网络**
- **高速网络连接**：如果使用分布式训练，确保集群之间的网络连接速度足够快，以免在数据传输时成为瓶颈。

### 6. **散热和电力**
- **有效的散热系统**：高性能的 GPU 和 CPU 在满负载下会产生大量热量，需要有良好的散热系统来维持硬件的稳定性。
- **充足的电力供应**：确保电源能够支持所有硬件满负荷运行，避免因电力不足导致的意外中断。

### 7. **软件环境**
- **深度学习框架**：如 TensorFlow 或 PyTorch ，这些框架都有优化的 GPU 加速支持。
- **驱动和库**：确保安装最新版本的 CUDA 、cuDNN 等驱动和相关库，以充分利用 GPU 性能。

### 8. **云计算资源**
- 如果本地硬件资源不足，可以考虑使用云计算服务如 AWS 、Google Cloud 或 Azure 来租用高性能 GPU 和其他资源。这些服务通常可以按需扩展，并且有较好的计算资源管理工具。

### 训练时间
训练时间可能从几小时到几天不等，具体取决于数据的复杂性和模型的大小。使用上述配置，可以有效地处理和训练 40 万条数据集。

准备好这些硬件资源后，你就可以开始模型的训练过程，并确保在训练中不断监控资源使用情况，以优化性能和效率。

用扣子平台，抖音旗下的，你试试。不是太难，可以傻瓜部署

这不是就是 LLM 最擅长的角色扮演吗？写个 prompt 调用各种 LLM 的 api 就行了，不需要自己调优，最多做一个 chatgpts 导入资料。

看完楼上大佬们，我还是太菜了。我想到第一个想法就是：直接找现成套 GPT 的程序- -。然后跑接口。

调优很简单的 网上租卡就搞了 效果比 prompt 好 小模型效果就可以了

但是说实话不知道你工资是不是匹配这个任务

楼上有推荐扣子的了，没问题。
rag 应该就能糊弄过去

@dabingbing 绝对是 1 吧 笑发财

2 块 4090 的建议靠谱

你觉得有啥纸面书是没喂给 AI 的，搞个 GPTs 这类的东西就行

你不是做开发的吗，怎么还不会修电脑呢。

这两天正在薅阿里云羊毛，我觉得 op 可以参考一下
https://help.aliyun.com/zh/model-studio/use-cases/?spm=a2c4g.11186623.0.0.25861078Rd36zZ

https://github.com/swuecho/chat 都做好了, 你只要写个 prompt.

感觉很简单啊, 你老板有 gpu 预算吗?买上服务器, 招个人把哲学书做做标签, 随便 tunetune 就完事了

肯定还是 2 块 4090 方案 靠谱

你竟然还接下了

先让他采购几块 H200 ，说跑模型

外包给我，给你 50%回扣

还是楼上的大佬懂得多

最简单的是搞个页面,每次把 40w 字的全文+指令都给 gpt,让 gpt 回复输出即可.更好一点的就是用做个 RAG,先检索一下向量数据库,再给大模型提问.
40w 的文本数据不多,应该不需要 LoRa

@oColtono #16 搜下 rag 吧 你这个实现应该还好