全球音频领域哪家强?盘点常用的相关 Python 库 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
829939
V2EX    程序员

全球音频领域哪家强?盘点常用的相关 Python 库

  •  1
     
  •   829939
    LiweiDong 2023-03-29 11:22:32 +08:00 2294 次点击
    这是一个创建于 976 天前的主题,其中的信息可能已经有所发展或是发生改变。

    针对 MIR(音乐信息检索) 领域工程研究概况,下面列出一些全世界最具有影响力的工程成果和相关组织,排名某些情况下可分先后。

    lib 派系(名牌大学) 组织(大佬、学术、名著) 语言
    librosa 美国纽约大学 NYU Rosa 实验室 Python
    aubio 英国 QueenMary 大学 C4DM 小组 C/Python
    essentia 西班牙 UPF 大学 MTG 小组 C++/Python
    madmom 奥地利 JKU 大学 CP 研究所 Python
    - 德国 FAU 大学 AudioLabs 实验室 -
    audioFlux 中国 JLD 大学(家里蹲) 校内码农 C/Python

    注:

    librosa,美国出品,目前业界内常用的库,其过程命令式的接口实现设计,方便易用、易理解的同时,也加剧了其性能短板,大规模数据跑起来特别慢。

    Rosa 实验室,大佬们的论文和各种资源令人目不暇接,但这在美国高校中只是冰山一角,整体反映出其行业背后“教研产创”生态的强壮和勃勃生机。

    aubio,更确切的应该是 qm-dsp 才是 C4DM 的项目,Chris Cannam 大神出品,偏向 mir/onset 这一块,可惜关注度不高,aubio 算是其简化版本,却打出一片名声,由于是简化版本,工具感较重一些,原版本相对丰富的音频特征并不突出,不太适合研发使用。

    英国作为老牌资本主义,QueenMary 大学产出的 Sonic/Vamp 业界也是赫赫有名,音频领域积累十分雄厚,和美国某种程度上不分伯仲,留学政策又相对友好,有意向计算机音频、音乐领域的同学,十分建议到此取经。

    essentia,其 MTG 小组也是 Vamp 插件的重量级产出方,当前库社区较活跃一些,功能上音频特征更全面一些,支持移动端,但整个设计体系感较弱,像一锅乱炖,使用上相比其它库不太方便,和 nn 有部分耦合。

    madmom,mir/onset 这块特别出色,但整体耦合 nn 相关。

    AudioLabs 实验室,工程上较为松散,缺乏有代表性的库,但每一小块拿出来,都是世界顶级水准,做音频这个行业,无论理论还是工程实践,其资源都是干货满满。

    audioFlux,音频特征较为全面,支持移动端,提供尽可能细粒度、体系化的特征维度和组合,但某些变换的逆操作尚未实现。


    开源无国界,开源者有自己的国界

    前两天发布了一篇名为“这个小项目,上周被国外 AI 新闻网站报道,前些天又上了 github 热榜”的帖子,没想到引起了一些关注,甚至再次进入了 Github Trending !在这里感谢各位 V2 大佬们的支持,你们的支持给了我很大的动力和信心,让我能够继续完善和优化这个小项目。

    从大家的评论中可以看出,V2 社区里有不少关注音频、数字信号领域的研究者或者从事相关业务的人。有人提到了降噪音、音频驱动马达振动、乐器调音器、孤立词识别、ECG 信号分类、音源分离等业务问题。当然,audioFlux 能够做的不仅仅是这些,如果大家有其他数字信号、深度学习或具体业务方面的问题,欢迎随时与我讨论。

    同时,也非常感谢大家提出的宝贵意见和建议,我会尽快整理并加入到 TodoList 中,以便更好地改进和完善这个小项目。再次感谢各位的支持和关注!

    如果你对这个项目感兴趣或有意向加入其中,非常欢迎你的加入,和我一起完善这个项目。

    7 条回复    2023-03-30 10:02:34 +08:00
    chatWell1
        1
    chatWell1  
       2023-03-29 11:29:01 +08:00
    只能给了,年轻 10 岁,在校园内我就加入
    CMLab
        2
    CMLab  
       2023-03-29 11:41:47 +08:00
    “但这在美国高校中只是冰山一角,整体反映出其行业背后“教研产创”生态的强壮和勃勃生机”,事实就是如此,何止音频领域这个小缩影啊
    lerp
        3
    lerp  
    PRO
       2023-03-29 12:40:49 +08:00 via iPhone
    请教下楼主,audioFlux 有安卓端的例子吗
    smallsung
        4
    smallsung  
       2023-03-29 14:33:42 +08:00
    大佬的博客页面挺炫酷的
    ita
        5
    kita  
       2023-03-29 14:41:56 +08:00
    很好的总结,感恩
    JustSong
        6
    JustSong  
       2023-03-29 14:46:10 +08:00 via Android
    没必要隔两天就又变着花样发一次吧
    ManxCat
        7
    ManxCat  
       2023-03-30 10:02:34 +08:00
    冲着是国内大佬写的就得支持一下
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2685 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 38ms UTC 05:46 PVG 13:46 LAX 21:46 JFK 00:46
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86