AI Chinese Songs Finally Listenable: Billion-Parameter Model Pre-Trained from Scratch Eliminates Robotic Sound

Full text · 原文 3,776 字

Jay 发自凹非寺 量子位 | 公众号 QbitAI AI华语音乐，终于能听了。 母语羞耻、咬字飘忽、人机味…… 没有。 全都没有。 这首歌，是我让它以一首我特别喜欢的Jazz Hiphop为灵感，给定歌词，zero-shot生成的。 命名为——《关于小羊》（doge）。 说实话，太灵了。 特别是verse第四句歌词开头那个「塞」的咬字，我很少听到AI国语音乐注意到这个细节，像s、c这种舌尖前音，其实是特别适合用带停顿的短促发音来制造律动的。 还有Pre-Hook前bridge结尾那个转音，我反复拉了无数遍进度条…… 当然，最让我惊喜的还是最后一遍Hook。我歌词里明明没写，结果—— 它自己即兴发挥加了段哼唱？？ 这首《Coco》的结尾也用了这种手法。 另一个版本的《关于小羊》我也蛮满意的，大家可以边读文章边当bgm挂着。 上面这些音频丢给身边几位音乐发烧友听了下，得到的评价大多三个字： 很清爽。 说实话，我已经很久没有用「清爽」这个词来形容任何一首AI歌曲了。 这个清爽的模型，叫歌歌AI。 他们只做一件事—— 让AI音乐，听起来像中国人写的歌。 重做AI音乐模型 听起来挺简单对吧。 但为了这一句话，他们从零预训练了一个十亿参数的模型。 端到端那种，用户输入歌词、风格情绪描述与指定歌手，模型一次性直接生成长达3分钟、人声与伴奏俱全的完整立体声歌曲，还能同步输出独立的人声分轨与伴奏分轨。 我猜你看到「预训练」这三个字的第一反应，应该和我最开始一样： 哈？为啥不直接微调？？ 这事吧，得先从一个更本质的问题聊起—— 为什么以前的AI唱不好中文歌？ 现在市面上的主流AI音乐模型，从出生的第一天起就是为英语准备的。 但汉语的演唱逻辑完全不同。 1、固定声调。 中文每个字本身带音高走势，四声之别，「妈」和「骂」就是完全不同的两个字。 2、音节边界。 英语里一个词可能有多个音节，而且弱读、连读、吞音很多，比如I wanna know，唱起来可以糊成一串，也能听懂。 但中文是一个字一个音节，边界很清楚，一旦连得太厉害，基本听不懂。 这也是为什么，YouTube英文播客基本无自带字幕，但在中文社区，内嵌字幕是必备的。 3、字音对齐逻辑。 简单来说就是，模型得知道哪个字落在哪个拍子上，哪个字可以拖，哪个字不能乱拖。 英语是重音计时型语言，一个音节可以拉多长都行，无所谓；中文歌词和旋律、节拍之间的对应关系会更难把握。比如爱可以拖成「爱～～」，但如果把「的」「了」「着」这种轻声助词拖得特别长，会巨奇怪。 总而言之就是，基于英语AI音乐模型做本土化，无异于强行让外国人唱京剧。 结果就是—— 人声机械生硬、情感表达空洞干瘪，对国风、华语流行、民谣等国民主流曲风适配度极低。 问题根本不在参数上。 在架构。 这也是为什么歌歌AI选择从零开始，为华语音乐重新设计一套技术栈。 主要有三层—— 双流独立生成架构 一首AI音乐，人声和伴奏是怎么组合起来的？ 传统AI音乐的做法是「事后对拍」。人声和伴奏各自生成完毕，再像两个图层一样硬叠在一起。 拆开做当然技术难度更低，但总会觉得人声和伴奏之间隔了一层什么东西。各唱各的，没有呼吸感。 真人歌手在录音棚里是什么状态？ 他听着伴奏的律动，感受着鼓点的推进，然后决定——这个气口落在哪里，这个音要怎么咬，这段尾音该收还是该放。 这是一个和伴奏「对话」的心流过程。 歌歌AI做的事情，正是把种「心流」，搬进了模型里。 原生双流设计——人声一条通路，伴奏一条通路，各走各的生成链路。两条线并行往下跑，中间通过跨流注意力机制，实时完成节奏与和声的精准对齐。 音素时序软对齐 咬字一直是个大坑。 模型如果搞不清每个字在时间轴上的精确位置、发音时长，就会出现音节错位、字音模糊。听着像嘴里含着糖在唱歌…… 正常聊天无所谓，音乐是有「节奏」限制的，人耳在这种场景下非常敏锐，模型即便每句歌词只有一个字没咬对，那就是灾难。 怎么让AI维持更稳定的咬字？ 歌歌AI的解法是：先画一张地图。 在模型「开嗓」之前，先告诉它每个字的拼音在时间轴上大致落在哪个位置。这张“地图”作为先验知识，直接注入到生成过程中。 按图索骥——每个字什么时候起、什么时候落，有这套上下文后会稳定很多。 分层多维条件控制 最后，也是我觉得最能体现他们野心的。 情绪。 亚洲和欧美所有文化作品（小说、电影、音乐……）的差异，几乎都能收缩到一个第一性原理——情感表达。 老外要直抒胸臆点。情情爱爱啥的很正常，歌词本里love you、baby当标点符号用。 老中含蓄得多。更喜欢用意象做暗示，说月光不说想你，说落叶不说离别，巴拉巴拉。 演唱方式同样也是这种理念的一个抽象。我们更偏爱细腻的人声处理——华语流行乐坛的黄金时代，从邓丽君到四大天王，几乎全是这个路子。时间也证明了，这类风格就是比爵士、福音（gospel）啥的更受市场欢迎。 但「细腻」这个概念，太难了。 音乐是千人千面的。你很难用一句自然语言描述，去如此高颗粒度地对齐人声的情绪。 大学时去过不少次录音棚，我常能听到这类云里雾里的对话： 好听的兄弟，唱得再伤感一点就更好了，但不要太沉了，有空气感一点。 ？？？ 为了更好地翻译这类抽象需求，歌歌AI的解法是——一套分层多维条件控制体系。 情绪、曲风、调性这些全局风格信息，通过一个叫AdaLN-Zero的机制，去逐层调制模型的生成行为。从第一层到最后一层，情绪基调始终贯通，不会唱着唱着就「跑调」。 更关键的是，他们在不同条件维度上，各自装了独立的引导强度旋钮。比如你可以让模型「贴紧歌词情绪」，同时让「旋律自由发挥」。 是的，就跟个混音台一样。 只不过这次你混的不是音轨，而是情绪本身。 王炸！AI音乐+抖音 聊了这么多技术，你可能会问一个问题。 技术确实看着挺厉害。但AI写歌，会员买了，Token也烧了，然后呢？ 确实，这正是目前AI音乐赛道最尴尬的地方。 市面上的AI音乐工具一抓一大把。你花五分钟做了一首歌，觉得挺好，发个朋友圈，收获几十个赞—— 然后……就没有然后了。 没有分发渠道的AI音乐，本质上只是高级玩具，纯自嗨。 歌歌AI显然不想只做一个玩具。他们在商业闭环这件事上，直接找到了一张王牌——跟字节跳动签了版权分成合作。 是的，你用歌歌AI生成的原创歌曲、录音制品、MV版权内容，全部可以合规上架抖音、剪映、汽水音乐、西瓜视频、今日头条……整个字节系全家桶。 什么意思？ 数以亿计的创作者，他们可以直接从歌歌AI的版权曲库里选歌，拿去做短视频配乐、直播间BGM、翻唱二创。 AI音乐，不再只是躺在云盘上的音频文件。 歌曲在汽水音乐的会员付费、数字专辑、单曲售卖、平台广告分成，以及番茄系平台有效播放产生的收益，全部按照合同约定，真金白银地分成结算。 更关键的是，后续歌歌AI新生成的非独家版权曲目，会自动纳入授权曲库。你每多做一首歌，这个正版曲库就厚一分。 这就是常说的飞轮效应。 这，是最好的传承 好，技术和商业都讲完了。 最后，是这篇文章我最想聊的部分。 「歌歌AI正式启动了民乐专属AI模型的研发项目。」 大家应该知道我想说什么。 我太清楚现在的AI生成的国风音乐是什么样子了—— 古筝弹得像电子琴，戏曲能比念稿还令人母语羞耻…… 绝大多数AI模型，根本没听过真正的中国民乐。它们训练用的素材，大多是从网上扒来的、经过二次加工的电子音源。骨子里的韵味和灵气，在一遍遍电子化的过程中，早就被滤干净了。 这不是一个可以通过调参来解决的问题。 训练数据里没有真正的民乐，模型就永远生成不出真正的民乐。 这也是为什么，歌歌AI决定自己补上这块数据空缺。 他们要去陕西的老戏台找秦腔老艺人、去江南水乡录评弹琵琶、去云南的村寨采葫芦丝和芦笙、去陕北的黄土高坡听唢呐……请那些守了一辈子的非遗传承人、民间老艺人，在他们最熟悉的角落里打开录音机，录下那些指尖自然流淌出来的声音。 这些一手采集的原声，全部会完成正版版权归档，用来训练一个真正的民乐AI模型。 说实话，我难以想象内部在头脑风暴时会是个什么场景。 诶，我有个好主意，要不咱直接去录吧？ 对，就是背上录音机走到黄土高坡去。跟《海上钢琴师》里，唱片公司到船上找1900录音一样。 （doge） 不开玩笑了，讲讲为什么我对这件事特别有感概。 传统民乐这些年在中国的处境，说实话，不太好。 你在街上随便拉住一个00后，他大概率说不全五种传统民族乐器。再问他，上次听秦腔是什么时候，他可能歪头一愣。 这些声音，正在从日常生活中消失。 不是没有人想保护它们。有非遗项目，有纪录片，有各种各样的文化保护行动。 但传播太难了。 你让一个不看纪录片、不听戏曲频道的年轻人，主动去接触秦腔、评弹、葫芦丝，几乎不可能。 但这是个幸运的时代，我们有AI。 如果神经网络的权重记住了这些声音，它就可以把它们融进任何一首新创作的歌里。 而这些歌，可以轻易生成数十首类似的，投放到抖音上。只要有一首中了，就有可能被千万人刷到，被用来做短视频配乐，甚至走在路上就无意识哼唱出来…… 这就是最好的传承。 我们不需要只被供在博物馆里的传承。 歌歌AI官网：https://gegemusic.cn/

Site key	qbitai
Policy area	人工智能
Category	report

AI Chinese Songs Finally Listenable: Billion-Parameter Model Pre-Trained from Scratch Eliminates Robotic Sound

AI华语歌，终于能听了！从零预训练十亿参数，告别「人机味」