最新中文语言理解领域权威榜单 CLUE，诞生了一项新的纪录:

来自阿里达摩院的大模型，获得了超越人类成绩的 高分。

这是该榜单诞生近三年以来，首次有 AI 超过人类得分。

这也意味着 AI 理解中文的水平又达到了一个新的高度。

那么，创下这一纪录的 AliceMind，是如何做到的？

4 项任务超人类水平，同时实现总榜平均分首次超越

作为业界最权威的中文自然语言理解榜单之一，CLUE 从文本分类、阅读理解、自然语言推理等 9 项任务中全面考核 AI 模型的语言理解能力。

过去三年，该榜单吸引了众多国内 NLP 团队的参与，尽管榜首位置多次易主，但参评 AI 模型一直未能超越人类成绩。

本次，这个来源于阿里通义大模型系列的 AliceMind，一举在 4 项任务中超过了人类水平，并实现总分的首次超越。

据介绍，AliceMind 一共靠下面两个关键技术获得这一成绩。

首先，基础模型迭代升级

AliceMind 的基础模型在通用语言预训练模型 （入选 ICLR 2020）之上，进行了迭代升级。

此前 的工作聚焦于通过在句子级别和词级别引入两个新的目标函数，相当于给机器内置一个“语法识别器”。

这使机器在面对语序错乱或不符合语法习惯的词句时，仍能准确理解并给出正确的表达和回应，大大提高机器对词语、句子以及语言整体的理解力。

本次，达摩院通过使用此前团队用于 PLUG / 中文 GPT-3 等超大规模模型训练所使用的海量高质量中文文本，以及近两年训练技术的经验，进行了以下改进:

替换激活函数，用 GLU 替换 GeLU；

使用更大规模的字 / 词混合的词表，替换了原始的字级别词表；

使用相对位置向量替代绝对位置向量；

选取 5 亿规模的模型，在增加约 60% 模型参数和计算量的前提下，获得性能显著提升。

此外，阿里达摩院配合 AliceMind 在大规模预训练领域训练端和推理端的加速技术的积累，利用 StrongHold (SuperComputing 2022) 等技术实现了在 16 卡 A100 上用 14 天时间完成超过 500B tokens 的训练。

其次，Finetune

预训练模型是语义理解的重要基础，但是如何将其应用于下游任务同样也是一项重要的挑战。

达摩院 NLP 团队面对语义相似度、文本分类、阅读理解等下游任务，从迁移学习、数据增强、特征增强等方面进行了一系列的探索，来提升下游任务的性能表现。

以 CLUE 榜单中的 WSC 任务为例:

{

“target”: {

“span2_index”: 25, “span1_index”: 14,

“span1_text”: “小桥”，“span2_text”: “它”

},

“idx”: 14,

“label”: “true”，

“text”: “村里现在最高寿的人，也不知这小桥是什么年间建造的。它年年摇摇欲坠，但年年都存在着。”

}

输入样本构建方式:

村里现在最高寿的人，也不知这 <名词> 小桥 </名词 > 是什么年间建造的。< 代词 > 它 </代词 > 年年摇摇欲坠，但年年都存在着。

在常规的分类方法中，一般使用 [CLS] 标签的最后一层隐藏状态作为输入分类器的特征，要求模型通过标记隐式地学习指代任务。

为了加强分类器的输入特征，阿里达摩院从编码器最后一层隐藏状态中提取出指代词和名词所对应的向量表示并进行 mean pooling。

随后将名词和代词的向量表示进行拼接，并用分类器进行 0-1 分类。在加入增强输入特征后，在 dev 集上，模型表现从 提升至 (+)。

通过分析 structbert 的预训练任务，我们也可以发现，这种特征构建的方式，更符合 structbert 预训练任务的形式，缩短了 Pretrain 阶段和 Fine-tune 阶段的 gap，从而提高了模型表现。

△structbert 预训练任务关于 AliceMind

阿里达摩院历经三年研发出阿里通义 AliceMind。

该模型体系涵盖预训练模型、多语言预训练模型、超大中文预训练模型等，具备阅读理解、机器翻译、对话问答、文档处理等能力。

并先后登顶了 GLUE、CLUE、XTREME、VQA Challenge、DocVQA、MS MARCO 在内的自然语言处理领域的的六大权威榜单，斩获 36 项冠军。

AliceMind 已于去年 6 月开源。

本次在 CLUE benchmark 上首超人类中所使用的 backbone 模型，已经在达摩院此前发布的 ModelScope 平台中开放。

开放地址:

/models/damo/nlp_structbert2_fill-mask_chinese-large/summary

本文来自微信公众号:量子位 （ID:QbitAI），作者:丰色