关于摄像头动作捕捉的方案选择 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
cocoZombie
V2EX    程序员

关于摄像头动作捕捉的方案选择

  •  
  •   cocoZombie 2023 年 9 月 13 日 2561 次点击
    这是一个创建于 861 天前的主题,其中的信息可能已经有所发展或是发生改变。

    兄弟们,我今天接到公司的需求,头大。 公司要搞一套动作捕捉方案,但是我对动捕完全不懂啊,领导让我找解决方案,所以来这里想询问一下大家的意见。

    业务描述:
    必须使用摄像头录像,并在画面中捕捉特定人的骨骼信息,比如头部,手肘,大腿等。优先选择普通的 webcam

    基本需求:

    1. 基于摄像头的动作捕捉方案。
    2. 只捕捉一个人,如果出现多人则会忽略多出来的人。
    3. 能获取特定部位的二维坐标信息,比如大腿在平面坐标系中的位置。
    4. 获取关节的夹角。
    5. 判断当前的姿态,比如:走路,下蹲,跳跃等。
    6. 能获取人的位置信息,看他走到了哪里。

    有朋友有这方面的经验吗?
    领导说是找一下开源的 SDK 。
    我今天搜了下,发现可以使用第三方的 RGB-D 深度摄像头并配合其 SDK 进行开发,比如奥 bi 的一些摄像头,他们有现成的解决方案。
    开源 SDK 的话我搜到了 openPose ,不过我们的需求需要我们自己再开发。

    求大佬们指点迷津

    16 条回复    2023-11-01 16:29:46 +08:00
    codeself
        1
    codeself  
       2023 年 9 月 13 日
    你啥技术栈?这属于自己是谁都没介绍明白
    israinbow
        2
    israinbow  
       2023 年 9 月 13 日
    纯视觉动补 mediapipe 一把梭, 你举得问题都是业务, 动不出来的数据看一眼就知道怎么处理了, 剩下的自己琢磨去.
    kera0a
        3
    kera0a  
       2023 年 9 月 13 日 via iPhone
    可以用 OpenPose ,1 、2 、3 、4 都非常简单。5 、6 估计得琢磨下不好搞
    Bown
        4
    Bown  
       2023 年 9 月 13 日
    开源的话 Google 的 Mediapipe 还不错,可以直接体验 Web 端 Demo 看是否满足需求 https://mediapipe-studio.webapps.google.com/home
    israinbow
        5
    israinbow  
       2023 年 9 月 13 日
    @kera0a #3 相机标定个坐标系, 纯肢体坐标判断就能实现.
    cocoZombie
        6
    cocoZombie  
    OP
       2023 年 9 月 13 日
    @codeself 我们的项目最终是要嵌入到 HTML 中。
    cocoZombie
        7
    cocoZombie  
    OP
       2023 年 9 月 13 日
    @israinbow 好的,谢谢
    cocoZombie
        8
    cocoZombie  
    OP
       2023 年 9 月 13 日
    @Bown 明白了,谢谢,我去琢磨一下
    KaliZ
        9
    KaliZ  
       2023 年 9 月 13 日
    我试图把需求分个类:
    2:目标跟踪
    3 、4:姿态估计
    5:行为识别

    19 年使用 OpenPose 和图卷积网络做过 3 、5 ,精度不大符合预期
    ysc3839
        10
    ysc3839  
       2023 年 9 月 14 日 via Android
    要嵌入网页的话,基本就只有 Tensorflow 相关的可用了,其他框架似乎都得在 native 应用跑的
    ysc3839
        11
    ysc3839  
       2023 年 9 月 14 日 via Android
    模型大概可以选 MoveNet ,搜了下有现成的项目 https://github.com/szczyglis-dev/js-ai-body-tracker
    cocoZombie
        12
    cocoZombie  
    OP
       2023 年 9 月 14 日
    @KaliZ 好的,谢谢。openpose 的优先级降低了
    cocoZombie
        13
    cocoZombie  
    OP
       2023 年 9 月 14 日
    @ysc3839 非常感谢,其实也不是非 html 不可。我们的项目是基于 electron 框架的 PC 桌面端应用。
    Winner4good
        14
    Winner4good  
       2023 年 9 月 14 日
    可以看看是否符合你的需求,
    cocoZombie
        15
    cocoZombie  
    OP
       2023 年 11 月 1 日
    @Winner4good 谢谢,确实可以,不过我最终选择了 MediaPipe
    cocoZombie
        16
    cocoZombie  
    OP
       2023 年 11 月 1 日
    一个半月过去了,更新一下近况
    我们最终选择了 MediaPipe ,目前基本符合我们的需求。
    MediaPipe 可以提供所有的关节点信息,并且我们可以根据这些信息计算出夹角,根据夹角可以计算出姿态。
    位置信息也会在 MediaPipe 的返回信息中呈现,可以根据这些信息计算位移。
    不过位置信息我们目前不是很需要,我个人感觉位置信息计算位移并不精确,等待后续开发时再更新此贴。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2477 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 35ms UTC 15:44 PVG 23:44 LAX 07:44 JFK 10:44
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86