又发现了一个巨人的肩膀:auraloss:Audio-focusedlossfunctionsinPyTorch
又发现了一个巨人的肩膀:auraloss:Audio-focusedlossfunctionsinPyTorch
起源
最近在恶补enhancement模型训练,觉得loss是重要的一个课题,搜索资源的时候就发现了auraloss,论文在2020年写的,似乎有点朴素,但github和pypi上的库可以现成的用起来,这个就厉害了。pypi上有下列loss可以选择

One more
在 auraloss 之外,音频深度学习领域近年涌现了许多同样出色甚至更具突破性的损失函数研究成果。它们主要沿着感知驱动和表示学习两大方向演进,旨在解决传统损失函数与人类听觉感知不够匹配的问题

除了具体的成果,近年来的一些研究和观点也揭示了该领域的发展趋势:
对现有损失的反思:一项名为“I’m Sorry for Your Loss”的研究发现,许多常用的频谱损失函数在音高(Pitch)感知方面存在严重缺陷,这促使研究者开发更符合听觉感知的损失函数。
多尺度与可微分信号处理:auraloss 中备受推崇的多尺度频谱损失(Multi-Scale Spectral Loss) 也被其他研究深入分析。同时,整个可微分数字信号处理(DDSP) 领域都在探索如何将更多传统信号处理知识(如MP3编码器的心理声学模型)设计为可微分的损失函数。
针对特定场景的优化:为了解决会议场景中单人/多人交替发言的问题,研究者提出了源聚合信噪比(SA-SDR)。此外,还有针对双耳音频空间感知的专用损失函数研究。
那么下面是有完整损失函数的loss可以参考学习

DEEPSEEK 建议
端侧(轻量化)单通道回声消除,这意味着你的模型需要在算力受限的设备上实时运行,并且要同时处理噪声抑制和回声消除两个问题

总结
起步基线:使用 SI-SDR Loss + Multi-Resolution STFT Loss 的组合,这是最稳妥、最高效的选择。
感知优化:若基线在听感上不理想,可引入 TAPLoss 或 PESQ Loss 作为辅助。
解决特定问题:若模型出现明显失真,可尝试 NAALoss 或 NDA Loss。
回声消除专项:在损失函数中加入针对残留回声的惩罚项,或引入多任务学习。
附录
@inproceedings{steinmetz2020auraloss,
title={auraloss: {A}udio focused loss functions in {PyTorch}},
author={Steinmetz, Christian J. and Reiss, Joshua D.},
booktitle={Digital Music Research Network One-day Workshop (DMRN+15)},
year={2020}
}
auraloss
auraloss 0.2.2
auraloss:Audio-focusedlossfunctionsinPyTorch
更多推荐


所有评论(0)