【精华】AIGC之文生音乐及实践应用
AIGC之文生音乐及实践应用
（一）序言
近期 AIGC 如同上了热搜一般，火热程度居高不下，当然除了名头格外响亮，突破也是绝对斐然：输入自然语言就可自动生成图像、视频甚至是 3D 模型，你说意不意外？
但在音频音效的领域，AIGC 的福利似乎还差了一些。主要由于高自由度音频生成需要依靠大量文本 - 音频对数据，同时长时波形建模还有诸多困难。目前主流解决思路是将自然语言描述作为输入，而且是任意模态（例如文本、音频、图像、视频等）均可，同时输出符合描述的音频音效，广大网友很难不为其可控性以及泛化性点赞。
可以预见的是，音频合成 AIGC 将会在未来电影配音、短视频创作等地方发挥重要作用，而借助 Make-An-Audio 等模型，或许在未来人人都有可能成为专业的音效师，都可以凭借文字、视频、图像在任意时间、任意地点，合成出栩栩如生的音频、音效。但现阶段 Make-An-Audio 也并不是完美无缺的，可能由于丰富的数据来源以及不可避免的样本质量问题，训练过程中难免会产生副作用，例如生成不符合文字内容的音频，Make-An-Audio 在技术上被定位是 “辅助艺术家生成”，可以肯定的一点，AIGC 领域的进展确实令人惊喜。
（二）常见算法框架
（1）Mubert
- 官网： https://mubert.com/
- GitHub：https://github.com/MubertAI/Mubert-Text-to-Music
（2）Make-An-Audio
- 论文链接： https://arxiv.org/abs/2301.12661
- 项目链接： https://text-to-audio.github.io
（三）研究里程碑
| 时间 | 所属机构 | 描述 |
|---|---|---|
| 2022年10月 | Mubert | 推出Mubert-Text-to-Music API |
| 2023年1月 | 浙大+北大+火山语音 | 推出模型 Make-An-Audio，共同提出了Distill-then-Reprogram 文本增强策略，即使用教师模型获得音频的自然语言描述，再通过随机重组获得具有动态性的训练样本。 |
（四）当前挑战
（1）高自由度音频生成需要依靠大量文本 - 音频对数据
（2）长时波形建模存在诸多困难
（五）最新研究进展
- AIGC基于文本生成音乐，现在压力来到配乐行业这边
- 这段音频火爆外网！文字、图片一键生成逼真音效，音频界AIGC来了
