原视频: https://www.youtube.com/shorts/ygWC9GH3c0A
用了几个国产模型,做不出来这个效果
]]>现在需要检测漏水,水状态有 2 种:管道破裂喷再空中 、地面积水,主要就是这种异常图像太少,个位数级别
用了 yolo 检测模型+图像整个画面和基准图的判别,发现漏判严重, 主要是摄像头不时对焦+有窗户、光斑会映射到地面上+其他异常情况
有没有其他思路 指导一下。
]]>需要支持服务器算力、模型版本、训练、测试分析、数据集等等这类的管理
看了一下 kubeflow 、腾讯的 cube-studio ,感觉内容有点大又复杂
因为我不是搞 AI 的所以不太懂,有大佬在用的或是了解这块的吗?是否还有其他推荐的一些易于使用的框架或平台
]]>https://lima-vm.io/docs/faq/colima/ Colima is a third-party project that wraps Lima to provide an alternative user experience for launching containers.
]]>如果使用 diffusion 进行生成,它的过程可能是这样的
但已知的是 gpt4o 图像生成(似乎)已经转向 autoregressive(自回归模型)+transformer
目前外网也对 gpt4o 的技术进行了猜测,但也没讨论出个结果来(大多是认同转向了 ar 模型)
自回归模型是要打败 diffusion ,并在多模态领域又好用起来了吗?
另外,目前开源界似乎还没有什么动静,国内的字节跳动在 ar 的图像生成领域探索得还挺多(发了不少 paper )
]]>WHAT: 介绍并复现 DeepMind 的一篇关于 LLM Speculative Sampling 的论文:Accelerating large language model decoding with speculative sampling. 我们将用不到 100 行代码来复现这篇论文,并得到 2 倍以上的速度提升。
亮点:基于 GPT2, 代码,模型权重全部可以下载并本地运行;只需要 16GB 的显存即可完整本地复现。
公众号文章(内容同博客,便于收藏): https://mp.weixin.qq.com/s/3rFk8cgJuxjW30A4-emhEA
代码: https://github.com/ai-glimpse/toyllm/tree/master/toyllm/sps
即使没有编程基础,只要怀揣独特创意,MCP+Unreal 也能助你将想象变为触手可及的精品良作
想必关注游戏开发领域的独立游戏开发者已经注意到了 blender-mcp 这个项目 它允许 Blender 连接到 Claude AI ,允许 Claude 直接与 Blender 交互和控制,使即时辅助 3D 建模、场景创建和操作成为可能。
现在,通过 UnrealMCP 插件和 Python Editor Script 插件,控制虚幻引擎制作游戏场景 POC 也成为了可能。
唠唠嗑就能生成游戏关卡,谁能不爱😘?
白色的小不点是小狗🐕哦
从地面下看看~
打开 Settings/Plugins
搜索并勾选 Python Editor Script Plugin
UnrealMCP 是一个非官方的虚幻引擎插件,旨在通过人工智能工具控制虚幻引擎。它在虚幻引擎内部实现了一种机器控制协议 (MCP),允许外部人工智能系统以编程方式与虚幻环境进行交互和操作
在项目根目录下创建 Plugins 插件
在 Plugin 目录下打开命令行并运行
git clone <https://github.com/kvick-games/UnrealMCP>
确保在 Plugins\UnrealMCP 目录下包含 GitHub 上的文件
重启虚幻引擎编辑器,在 Settings/Plugins 中搜索并勾选 UnrealMCP 插件(同第一步)
Plugins\UnrealMCP\MCP 中运行 setup_unreal_mcp.bat 脚本
这一步主要是为了编译第二步下载的插件,不需要真的去写 C++
新建一个 C++ class 即可,后续根据 UI 创建一个默认类即可
关闭虚幻引擎编辑器,编译项目
重新打开虚幻引擎编辑器,点击工具栏最右侧的图标打开 MCP Server Control Panel
点击 Start Server
Server Status 变成 Running 说明 Unreal MCP Server 可以运行了
打开 Cursor Settings
点击 + Add new global MCP server
在“mcpServer”中加入配置
"unreal": { "command": "powershell", "args": ["<YOUR_GAME_ROOT>/Plugins/UnrealMCP/MCP/run_unreal_mcp.bat"] }
在 Cursor Settings 中出现下图说明添加成功
之后就可以愉快的在 Chat 中愉快的让 AI 帮我们在虚幻引擎中创建 POC 场景啦~~~
由于 UnrealMCP 插件项目还在非常早期的阶段,现在仅可支持有限的基本操作:获取场景基本信息,Python 脚本运行,基础材质操作等。而且就算使用了顶尖的大语言模型也不能一次性生成正确的 MCP Server 调用,需要反复修正。
虽然目前 UnrealMCP 插件还有诸多限制,但是 MCP 还是为虚幻引擎打开了一句话生成游戏的大门!
试想一下,未来 UnrealMCP 支持了更多的 Unreal 操作:动画、地形、AI 、PCG 等等,并且能支持蓝图或第三方游戏开发可热更脚本(例如腾讯的 PuerTS ),那么不论是游戏场景制作还是 gameplay 逻辑编写,都可以通过在 Cursor/Cluade/Windsurf/VSCode 等编辑器中通过自然语言描述生成游戏。
这不仅能将游戏开发、原型制作的效率大大提高,更能将游戏开发门槛大大降低!
也许在未来某一天,这样的场景会变成现实:借助 MCP+游戏引擎,零基础创作者也能将灵感轻松转化为专业级品质的游戏作品。
微信号:游戏碰碰 扫码关注 了解更多
LLM 相关
DL 相关
求玩过的老哥说下经验
]]>如果你让 GPT 背诵红楼梦全文,它会回答它无法逐字逐句背诵,因为超过它的生成容量限制,但是如果你需要某一部分的内容(比如某一回的片段、某个经典场景或对话),它可以根据你的需求生成相应的段落或章节。
所以它的数据库里面是真的录进去全文了吗?红楼梦全文 80 万字,当我们说到某个模型要多少 Billion 参数时,这 80 万字能否理解为其中的一部分参数?
我问了 GPT ,它回答它通过学习这些文本的规律和模式,能够在需要时生成相应的内容。总之无法理解...
]]>这张图片中是静态 batch 的示意图,但我的理解似乎有所偏差,希望有大佬能答疑解惑。
问题 1:对于静态 batch 场景,同一个 batch 中不同的 sample 的 prefill 是同时完成的吗?
我的理解: 对于一个单独的短 prompt ,prefill 阶段肯定是一个比很长的 prompt 快的。但是当这 2 个长度不同的 sample 经过 padding 然后拼成了一个静态 batch 之后,也就是维度变成了 [batch_size, ..] (当然这里可能不止 2 个 sample )。在 prefill 阶段,他们肯定是同时开始的,因为 transformers 内部是很多的矩阵乘法。并且要经过很多层,比如:
emb = layer1(emb) emb = layer2(emb) ...
上面的 emb 的维度应该也都会是 [batch_size, ....]
虽然同一个 batch 之间不同 sample 单独做 prefill 需要的时间不同,但是当他们成为一个 batch 之后,变成了一个大矩阵,他们在经过不同的 layer 的时候,都是一起一层一层过的,也就相当于他们同时开始 prefill 阶段,然后同时完成 layer1, 同时完成 layer2, ......。最后一起完成最后一层,获得第一个预测的 new_tokens ( batch 中每个 sample 都有一个 new_token)。所以,在我的理解中,prefill 阶段应该是左右对齐的。
问题 2: 以下我对 Continuous Batch 的理解是否正确?
我的理解:
以上是我的理解,不知道有多少错误的内容,希望有大佬指正。我的描述可能有点啰嗦,抱歉。
]]>但目前遇到几个问题:管理这些训练样本很麻烦。
我现在的操作是,搞一个文件夹收集原始数据,然后统一规划这些数据用于训练。
[原始数据目录] ---->> {使用 python 统一格式、裁剪、缩放大小} --->> [存放到用于训练的新目录]
去重问题,图片来源比较分散,有可能数据会被重复放进 [原始数据目录] 可能是文件名重复(这个还好说),也可能是图片本身是重复的
每次搞到新的图片数据,我得打开 Finder 一层一层找到归类子文件夹放进去 感觉比较繁琐
以上,有没有什么管理软件能让我更轻松管理这些数据集合
]]>认识朋友,交流技术,互相学习,一起搞一些有趣的项目(水论文?),创业,以及推荐工作机会等等。。。
包括不限于: cv/nlp/大模型/aigc/自动驾驶/rl/各种奇奇怪怪的方向,这些。。。
感兴趣加我 wx-base64:cmF2ZW4zMTY=
]]>TL;DR: ChatGPT 的成功离不开 RLHF 和人类的标注数据(Scale AI),那么如何从人类标注数据得到可用于模型训练的标签就成为了一个关键的问题,这就是标签聚合/真值推断算法要解决的问题。这篇博客就介绍了标签聚合/真值推断领域一个非常经典的算法: Dawid-Skene.
Details: EM 算法,DS 算法,DS 算法编程实践,DS 算法在工业环境的改进。
诉求
感谢
]]>