做了个二次元低配数字人口语对话应用 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
margoxlive
V2EX    分享创造

做了个二次元低配数字人口语对话应用

  •  1
     
  •   margoxlive 2024-05-06 20:29:25 +08:00 2591 次点击
    这是一个创建于 523 天前的主题,其中的信息可能已经有所发展或是发生改变。

    一直想做一个基于 LLM 和 TTS 的口语学习 App ,市面上确实也有不少,但是总感觉同质化很严重,想自己亲自开发一款更酷的产品,试试和二次元纸片人老婆聊天学口语? 开搞!花了几个月,调研各种技术方案,终于上架啦!

    角色卡片 角色卡片
    角色卡片 角色卡片

    特点:

    • 视频连线 支持英式英语、美式英语、日语、法语等,目前可以和 5 个二次元角色“视频连线”
    • 情景对话 IM 聊天式的交互,上百种真实场景模拟,还可以一句话创建即兴情景
    • 实用工具 啊这,设想过要做很多口语学习相关的小工具,不过一个人精力有限,慢慢上吧,暂时只有单词本、自然翻译、听故事这仨工具~,后面争取一周上一个看看吧

    产品名字叫好说,目前上架了 App Store ,安卓版还在开发中(主要是需要准备软著等资质会需要一些时间之类的)。

    欢迎各位安装体验~

    28 条回复    2024-05-13 22:43:46 +08:00
    margoxlive
        1
    margoxlive  
    OP
       2024-05-06 21:12:49 +08:00
    对了,各位在邀请好友界面绑定邀请人,输入 88888888 ,可以得到一大波点数~
    Mantext1989
        2
    Mantext1989  
       2024-05-06 22:26:49 +08:00 via iPhone
    好有意思,居然连总结都有哦,这个是怎么做到的
    margoxlive
        3
    margoxlive  
    OP
       2024-05-06 22:39:30 +08:00
    @Mantext1989 把聊天记录塞给 chatgpt 之类的,LLM 天生就是干这事儿的哈哈
    Tyler1989
        4
    Tyler1989  
       2024-05-06 23:26:15 +08:00 via Android
    期待 Android 版
    IvanLi127
        5
    IvanLi127  
       2024-05-07 00:37:04 +08:00
    看起来不错,等 android 版本+1
    ifzm
        7
    ifzm  
       2024-05-07 09:10:34 +08:00
    看起来很不错啊
    40kecedwixyCdM81
        8
    40kecedwixyCdM81  
       2024-05-07 09:59:10 +08:00
    不错,做的比我司的好~
    纠正个错别字,回复建议里,"长安发送" -> "长按发送"
    Billdex
        9
    Billdex  
       2024-05-07 10:07:25 +08:00
    好棒的感觉,期待安卓版
    Symbo1ic
        10
    Symbo1ic  
       2024-05-07 10:07:29 +08:00
    刚刚下载,晚上回家试试!
    margoxlive
        11
    margoxlive  
    OP
       2024-05-07 11:37:19 +08:00
    @SlYyWc 啊哈,感谢感谢~
    huzhizhao
        12
    huzhizhao  
       2024-05-07 13:51:12 +08:00 via iPhone
    三次元人路过,有没有御姐啥的
    margoxlive
        13
    margoxlive  
    OP
       2024-05-07 13:53:53 +08:00
    @huzhizhao 有一个叫 Zoe 的角色是国风御姐形象,而且她的配音应该是所有角色里面最自然的一个
    huzhizhao
        14
    huzhizhao  
       2024-05-07 13:54:32 +08:00 via iPhone
    @margoxlive good 我去下一个支持一下
    cnyballk
        15
    cnyballk  
       2024-05-07 15:23:10 +08:00
    强啊哥们,这是用什么技术栈?我之前也想整一个数字人到手机上,不过不会,哈哈
    margoxlive
        16
    margoxlive  
    OP
       2024-05-07 15:29:39 +08:00
    @cnyballk ChatGPT + 自然语音合成 + Live2D ,App 是 RN 做的
    cnyballk
        17
    cnyballk  
       2024-05-07 15:52:44 +08:00
    @margoxlive 谢谢
    drymonfidelia
        18
    drymonfidelia  
       2024-05-07 16:40:31 +08:00
    和我想做的东西一样,不过最近公司出了一些问题快倒闭了裁了一堆人,我要干好几个人的活,一直没时间开始做
    感觉你这个有戏
    建议加入养成系统提高用户粘性
    margoxlive
        19
    margoxlive  
    OP
       2024-05-07 16:43:16 +08:00
    @drymonfidelia 嗯,这个其实也只能算是一个技术验证 Demo ,最终目标是做一个泛二次元 AI 社交应用,细化人设,增加交互性和表现力,增加装扮和场景等,应该要比现在市面上一大堆纯文字 + AI 静态图片的虚拟社交应用更有产品力~ 不过我这个也是业余兼职做,精力实在是太不够用了
    DevHuaJi
        20
    DevHuaJi  
       2024-05-07 16:49:26 +08:00
    看起来不错,有计划上 Android 版么?
    margoxlive
        21
    margoxlive  
    OP
       2024-05-07 16:56:33 +08:00
    @DevHuaJi 在开发中,技术问题不大,不过要准备软著那些,很头疼哈哈
    teaegglove
        22
    teaegglove  
       2024-05-08 10:18:50 +08:00 via Android
    Android +1
    teaegglove
        23
    teaegglove  
       2024-05-09 21:37:33 +08:00 via Android
    请问自然语音合成部分用的什么软件?
    mistsobscure
        24
    mistsobscure  
       2024-05-10 01:19:05 +08:00 via iPhone
    老哥这个项目,可以开一个根据项目的空 rn 项目结构放到 github 吗 0.0 最近在学 rn ,项目结构有点小纠结
    margoxlive
        25
    margoxlive  
    OP
       2024-05-10 21:47:26 +08:00
    @teaegglove 用的微软的 tts
    margoxlive
        26
    margoxlive  
    OP
       2024-05-10 21:49:47 +08:00
    @mistsobscure 这个和个人习惯相关,没有什么严格的规范,一般来说,我会分下面这些目录来存放文件:
    pages 、components 、helpers 、store 、utils 、api
    on1snow
        27
    on1snow  
       2024-05-13 18:31:01 +08:00
    用起来非常丝滑啊,一个人搓出来真厉害!
    请教个技术问题:音频对口型是怎么做的 @margoxlive ,我搞了个数字人是用 sd 重绘头部,可慢了啊
    margoxlive
        28
    margoxlive  
    OP
       2024-05-13 22:43:46 +08:00
    @on1snow 其实就是计算音频的 RMS ,使用绝对音量来控制嘴型大小~比较 Low ,所以也只能用在二次元的角色上面,哈哈哈哈
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     895 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 19:43 PVG 03:43 LAX 12:43 JFK 15:43
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86