尝试入门 ARKit 和 Metal,我上架了一个 app。 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
boringnoah
V2EX    分享创造

尝试入门 ARKit 和 Metal,我上架了一个 app。

  •  2
     
  • /div>   boringnoah 2022-04-13 11:25:04 +08:00 4535 次点击
    这是一个创建于 1283 天前的主题,其中的信息可能已经有所发展或是发生改变。

    这一切起源于 WWDC 2019 ,当时苹果发布了 ARKit 3 ,支持人像分割( person segmentation ),相比于过去 AR 内容都只能浮在画面上,支持人像分割之后,AR 体验变得真实很多,这引起了我非常大的兴趣。

    ARKit 3 的发布,也引起了很多开发者的关注,不过大多是 Unity 开发。一开始我也准备使用 Unity 来进行开发,不过很快就放弃了。除了实现最核心的效果功能,还有 UI ,内购,录制等等,对于我来说难度太大。但是退回原生,也没有使事情简单很多,我完全没有做过图形渲染相关的开发,开发基本上靠着不停地查资料。经过一段时间的努力,最终还是完成了这个 app 。

    CUBE 是一款结合了 ARKit 和 Metal 能力的 app ,可以让你创造出具有实时效果的有趣视频和照片。

    当你使用 CUBE 时,你可以

    • 实时切换各种效果
    • 将效果应用于人像、背景,或者整个画面
    • 通过调整多种参数自定义效果
    • 捕捉全高清和高比特率视频

    在完成了几个平面效果之后,我又尝试把 LiDAR 获取的深度信息也加入进来,完成了 LiDAR 扫描效果。

    采样实时图像与 LiDAR 扫描仪生成的深度图,生成 3D 粒子(点云)。

    将生成的 3D 粒子与现实世界的场景混合在一起,让你感觉身处超现实世界。

    在 CUBE 这个 app 里,我尝试完成了我看到过觉得非常有趣的效果,希望你也能从其中获得乐趣。

    可以从这个链接直达 App Store:

    https://apps.apple.com/app/cube-%E8%A7%86%E9%A2%91%E7%89%B9%E6%95%88/id1597612606

    或者在 App Store 里搜索 CUBE - 视频特效。

    App Store 内购限时半价中。( 3 元)

    当然如果可以帮我打个五星的话,那会是非常大的帮助。

    人像分割( person segmentation )仅支持在 iPhone XR/XS ( A12 ) 及以上机型运行。

    LiDAR 扫描仅支持在配备有 LiDAR 扫描仪的机型上运行。

    第 1 条附言    2022-04-16 16:19:51 +08:00
    已入选 App Store 编辑推荐。
    感谢大家的支持,真的感谢。
    24 条回复    2022-04-22 11:07:01 +08:00
    outtime
        1
    outtime  
       2022-04-13 13:32:05 +08:00   1
    试玩了一下,打开应用玩的不是很懂,部分特效伸手就有效果,只不过感觉都没有特别令我眼前一亮的..
    设置里面有个会呼噜的猫咪,震动好好玩哈哈哈哈
    不过内购特效是一个三块钱?就目前的使用体验,可能不值这个价
    marcong95
        2
    marcong95  
       2022-04-13 13:33:05 +08:00   1
    看着有点意思,感觉苹果配置了 LIDAR 这么旧,都没怎么听过有落地应用,用得最多的还是自带的测距仪。。
    marcong95
        3
    marcong95  
       2022-04-13 13:33:26 +08:00
    @marcong95 #2 更正:这么旧 -> 这么久
    boringnoah
        4
    boringnoah  
    OP
       2022-04-13 14:15:43 +08:00
    @marcong95 哈哈哈有还是有的,不过应该都是搞 AR 方面的开发者,本来就少。
        5
    boringnoah  
    OP
       2022-04-13 14:22:35 +08:00
    @outtime 只有两个内购,其他都是免费哈。震动是写代码调用的线性马达。
    Interstellar
        6
    Interstellar  
       2022-04-13 15:37:06 +08:00   1
    还蛮有趣的唉,支持一下。
    Bluecoda
        7
    Bluecoda  
       2022-04-13 15:40:10 +08:00   1
    支持一下,问一下有 lidar 开发的学习路线图吗?
    boringnoah
        8
    boringnoah  
    OP
       2022-04-13 16:20:55 +08:00 via iPhone
    @Bluecoda LiDAR 其实就是获取深度的能力,现在开发的话一般都得结合 Scenekit / RealityKit / Unity 之类的(好的我知道为什么应用这么少了),你可以直接搜一下官方 samples ,这样比较直观。
    ixoy
        9
    ixoy  
       2022-04-13 17:56:39 +08:00   1
    特效不错,来了一个无影神掌。哈哈,还有撸猫的彩蛋。
    boringnoah
        10
    boringnoah  
    OP
       2022-04-13 19:48:51 +08:00 via iPhone
    @ixoy 你可以把样式调成逐渐透明的那个,数量调到 8 ,就很像古早的武打片了哈哈哈哈。
    lk920724
        11
    lk920724  
       2022-04-13 23:07:03 +08:00   1
    挺不错的,内购已买。希望后续能发力,我也想做 ar 项目 [doge]
    lizhenda
        12
    lizhenda  
       2022-04-13 23:57:24 +08:00 via iPhone   1
    不错,下载看看
    boringnoah
        13
    boringnoah  
    OP
       2022-04-14 12:34:16 +08:00 via iPhone
    @lk920724 你有兴趣可以在推上以 ARKit ARFoundation 之类的关键词搜索,看看大家都在做什么。
    lk920724
        14
    lk920724  
       2022-04-14 21:24:29 +08:00
    @boringnoah 感谢~我看看
    lanbatian
        15
    lanbatian  
       2022-04-15 14:00:54 +08:00   1
    买了个 matrix 特效
    boringnoah
        16
    boringnoah  
    OP
       2022-04-15 15:22:39 +08:00 via iPhone
    7gugu
        17
    7gugu  
       2022-04-16 10:05:16 +08:00 via iPhone   1
    boringnoah
        18
    boringnoah  
    OP
       2022-04-16 11:15:05 +08:00 via iPhone
    lanbatian
        19
    lanbatian  
       2022-04-16 13:01:33 +08:00
    相机可以调焦距就更好了。
    boringnoah
        20
    boringnoah  
    OP
       2022-04-16 16:18:15 +08:00 via iPhone
    @lanbatian 我也希望能调其他摄像头哈哈哈,ARKit 只能调主摄。
    lmshsqlc
        21
    lmshsqlc  
       2022-04-18 16:39:02 +08:00
    这个会呼噜的猫咪好爽,下载来撸撸
    boringnoah
        22
    boringnoah  
    OP
       2022-04-18 17:36:52 +08:00
    @lmshsqlc 哈哈哈哈哈哈哈重点是对的吗?
    feizhai
        23
    feizhai  
       2022-04-20 13:44:46 +08:00
    学习了
    xzh654321
        24
    xzh654321  
       2022-04-22 11:07:01 +08:00
    只有苹果吗
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     956 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 28ms UTC 19:28 PVG 03:28 LAX 12:28 JFK 15:28
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86