现在，你打的音游曲谱，还真有可能是 AI 生成的！像下面这些根据节拍生成音符的操作，也就是谱面 （chart），现在 AI 也能搞出来了:

这是发生在著名偶像音游 Love Live! 系列上的真事儿。开发它的音游工作室 KLab 联合九州大学，搞出了一个名叫 GenéLive! 的“AI 谱面协作工具”，已经生成了 110 首曲子。

作者之一高田敦史（Atsushi Takada）对此表示:

原本我们给一首曲子制作谱面大约需要 40 小时，现在能节省大约 50% 的时间。

毕竟对于音游玩家来说，谱面确实非常影响体验。即使是音乐团队，一不留神也会做出非常卡手的谱面，也就是玩家们调侃的“粪谱”。

让 AI 来协助参与的话，究竟能不能提升效率？

增加 AI 对节拍和乐曲的理解

在了解谱面 AI 协助工具之前，先简单看看音游的谱面都有哪些常见参数。例如，一分钟节拍数 （BPM，Beats per minute）。这是一个乐曲的属性，数值越大，代表这首乐曲的速度越快。又例如，音符 （Note），包括各种不同种类的音符。

更具体来说，音符又分为两个属性，一个是起点（onset），决定音符生成的速度；另一个是类型（sym），决定了音符的操作方式（例如点按、长按等）。

在 GenéLive! 出现之前，业内其实已经有一个叫做 DDC（Dance Dance Convolution）的谱面 AI 模型。这个模型结合了 RNN 和 CNN 架构，能够自动生成音游谱面。

然而 DDC 存在一个问题，也就是当谱面难度增加的时候，AI 就容易生成低质量的谱面。针对这一问题，GenéLive! 做了两方面的改进:

利用卷积堆栈（conv-stack）进一步提取音频特征，加深 AI 对乐曲本身的理解

增加专门用于分析节拍等信息的 Bi-LSTM，以便于 AI 生成更能表达情绪的谱面

具体来说，改进后的 AI 模型细节如下:

那么，这样的效果在评估中的质量如何呢？

已生成 110 首曲子，其他音游也通用

事实上，据 KLab 透露，从 2020 年 7 月开始，团队就已经在用这个 AI 工具生成谱面了。截至 2022 年 1 月，他们一共用 AI 生成了 110 首曲目！其中的 82 首还是已经发行的。

也就是说，玩《LoveLive！》系列音游的玩家们，很可能已经玩过 AI 生成的作品了，尤其是低难度的关卡。

具体到生成质量上，作者们先是将 GenéLive! 和 DDC 进行了对比。结果显示，无论是低难度还是专家难度上，GenéLive 谱面的评分都要比 DDC 更高。

据作者表示，他们在 Utapri 等其他音游上试了试，表现出来的效果也非常不错:

至于操作上，也比较简单。作者们给这个工具做了个操作界面，即使制作者不会 AI，也能用它自动生成谱面:

由于 GenéLive! 主要是作为 AI 协助工具，因此音乐团队也会在 AI 生成的基础上进行微调。目前，从难度较高的曲目来看，需要微调的地方已经很少了（红色是 AI 生成，绿色是微调过后的）:

搞出这个论文的机构之一 KLab，是日本有名的游戏工作室。即使你没有听过偶像游戏 Love Live! 系列，也可能见过这个家喻户晓的鬼畜偶像角色矢泽妮可:

△“妮可妮可妮”

这样看来，音游里一些“反人类”的关卡，说不定真是用 AI 做的……（手动狗头）

论文地址:

/abs/

DDC 项目地址:

/chrisdonahue/ddc

参考链接:

[1].jp/news/articles/2108/30/

[2]/topic/

[3]/pdf/