分享一个音频 AIGC 开源项目,适合想要转行 AIGC 方向的同学 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
gues
V2EX    程序员

分享一个音频 AIGC 开源项目,适合想要转行 AIGC 方向的同学

  gues 2023-12-25 10:02:37 +08:00 3410 次点击
这是一个创建于 705 天前的主题,其中的信息可能已经有所发展或是发生改变。

Amphion:一个开源的音频、音乐和语音生成项目。由大名鼎鼎的 OpenMMLab 联合香港中文大学(深圳)联合推出的。硅谷大佬也给这个项目带货,打了 A+++级: https://www.bilibili.com/video/BV18w411V7iq/

支持如下功能:

  • 文本转语音( TTS ):高性能,支持主流模型及架构,可生成自然的声音。
  • 歌声转换( SVC ):可将某人歌声转换成其他人歌声,内置张学友、陈奕迅、王菲等已训练好的声音。
  • 文本转音频( TTA ):可通过文本提示,生成逼真的声效、语音以及音乐,类似于 AudioLDM 。

GitHub:github.com/open-mmlab/Amphion

以上功能均可在 HuggingFace 上使用。

地址:huggingface.co/amphion

17 条回复    2023-12-27 13:49:07 +08:00
raycool
    1
raycool  
   2023-12-25 10:22:19 +08:00
不错,现在 TTS 的研究也越来越多了
对 openai 的 TTS 效果还是蛮感兴趣的,感觉是目前天花板。
wswlaz
    2
wswlaz  
   2023-12-25 10:22:37 +08:00
TTS 不支持中文吗
gues
    3
gues  
OP
   2023-12-25 10:53:01 +08:00
@wswlaz 可以提要求来支持中文
gues
    4
gues  
OP
   2023-12-25 10:53:32 +08:00
@raycool 是的,现在 TTS 和音效生成、音乐生成都很火,很多应用场景和工作机会,还没那么卷
yao978318542
    5
yao978318542  
   2023-12-25 10:57:04 +08:00
好像不支持中文啊
flyqie
    6
flyqie  
   2023-12-25 11:53:55 +08:00 via Android
@raycool #1

目前 tts 天花板应该是微软吧?
gues
    7
gues  
OP
   2023-12-25 12:02:30 +08:00
@yao978318542 有兴趣的话,可以上手来加一下。我去反馈给开源团队
capgrey
    8
capgrey  
   2023-12-25 13:34:29 +08:00
GitHub 仓库演示的《稻香》,我哭死
qW7bo2FbzbC0
    9
qW7bo2FbzbC0  
   2023-12-25 13:47:25 +08:00
顺路问下,声音模型怎么训练?我看 github 上 svc 项目很多都声明不适用声音模型训练,而国内很多文章或者教程都是用 sovit 或者 svc 来出效果?
Pepega
    10
Pepega  
   2023-12-25 14:44:13 +08:00
很感兴趣,我目前看到的 tts 最赚钱的例子是直播打赏,请问训练出个性化声音的 tts 成本高吗,让用户自己训练自己的 tts 呢?
link:dHRzLm1vbnN0ZXI=
dorm
    11
dorm  
   2023-12-25 14:58:32 +08:00
适用了一下,声音非常沙哑,就像是嗓子有痰似的
AdminRoot123
    12
AdminRoot123  
   2023-12-25 15:19:42 +08:00
用了一下中文效果贼差 文字读的都不正确很长的噪音
gues
    13
gues  
OP
   2023-12-25 21:38:51 +08:00
@AdminRoot123 模型应该还没有用中文数据训练过
gues
    14
gues  
OP
   2023-12-25 21:39:02 +08:00
@dorm 哪个声音?
dorm
    15
dorm  
   2023-12-26 09:37:37 +08:00
@gues singing_voice_conversion 上传了一个《向天再借五百年》 target Singer 随便选一个都是很沙哑的
gues
    16
gues  
OP
   2023-12-27 09:58:11 +08:00
@dorm 音频可以私信发给我一下嘛? 我们看看。系统还在升级,1 月份会有一个更有的版本
dorm
    17
dorm  
   2023-12-27 13:49:07 +08:00
关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     985 人在线   最高记录 6679       Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 24ms UTC 18:39 PVG 02:39 LAX 10:39 JFK 13:39
Do have faith in what you're doing.
ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86