「阶跃星辰与ACE Studio发布音跃大模型ACE-Step:开源音乐生成新纪元」

游戏 (3) 2025-05-08 02:04:06

在数字音乐创作的浪潮中,人工智能的力量日益显现。近日,人工智能基础大模型公司阶跃星辰携手数字音乐ACE Studio,隆重推出了开源音乐生成大模型“ACE-Step”(音跃)。这一具有里程碑式意义的大模型不仅在算法上实现了重大突破,还为音乐创作者和开发者提供了全新的工具,开启了开源音乐生成的新纪元。

「阶跃星辰与ACE Studio发布音跃大模型ACE-Step:开源音乐生成新纪元」 (http://www.eczero.cn/) 游戏 第1张

ACE-Step的参数量达到了3.5B,具备快速高质量生成、强可控性以及易于拓展等诸多特点。令人兴奋的是,该模型支持生成多种语言的音乐作品,涵盖中文、英文、日文、韩文、西班牙文、俄语等多达19种语言。这种多语种的支持,不仅令全球音乐创作者倍感宽广,也为不同文化背景下的音乐交流搭建了桥梁。

在音乐生成领域,技术的发展常常面临生成速度、音乐连贯性和可控性之间的权衡。许多基于深度学习的音乐生成模型,尽管在某些特定任务上表现优异,但仍存在推理速度慢、音质欠佳等问题。以Yue和SongGen等LLM模型为例,它们在歌词生成时虽然能够实现较好的对齐效果,却在生成速度和音乐质量上显得捉襟见肘。而扩散模型如DiffRhythm则能快速合成,但缺乏全球结构的连贯性,常常让人遗憾。

ACE-Step的出现,正是为了解决这些矛盾。该模型创新性地结合了扩散生成、Sana深度压缩自编码器(DCAE)与轻量级线性Transformer架构,大幅度提升了生成速度和音乐连贯性。根据实验数据,ACE-Step在A100 GPU上仅需20秒即可生成一首长达4分钟的音乐,这个速度比基于LLM的其他模型快了整整15倍,更在旋律、和声和节奏的维度上展示出显著的优势和更优的歌词对齐效果。

更为出色的是,ACE-Step在训练阶段应用了MERT和m-hubert实现语义表征对齐(REPA)技术,极大提高了模型的收敛速度。这一创新性方法不仅确保了生成音乐的高质量和连贯性,也为后续的开发与应用奠定了坚实的基础。

此外,ACE-Step支持多种灵活的微调方式,使其不仅是一个简单的音乐生成器,更是一个全能的音乐编辑器。创作者可以使用该模型的“Edit”功能,在不改变旋律的情况下,精确调整已经生成歌曲的歌词内容、语气或情感表达,确保每一行歌词与整体的音乐风格完美契合。如果生成的作品与创作需求不完全一致,创作者还可以利用“Retake”功能重新生成一首风格相似、结构相近的作品,或通过“Repaint”功能对特定部分进行局部调整,进一步优化音乐。

值得一提的是,ACE-Step模型开放了GitHub代码库及API接口,这意味着全球的开发者可以在此基础上构建出AI作曲、智能配乐、虚拟歌手等多种应用。而对音乐人ACE-Step不仅仅是一个工具,它代表了从创意灵感到混音母带制作这一全过程的AI辅助,再次将音乐创造的边界推向更远。

随着ACE-Step的正式推出,开源音乐生成的新纪元正悄然开启。无论是初学者还是资深音乐人,都能够凭借这一强大的工具,实现对音乐的全新探索和创造。未来,音乐与人工智能的进一步融合将为我们带来怎样的惊喜?让我们拭目以待。

THE END