像苹果Siri这样的个人助理通过自然语言命令来完成任务。然而，它们的底层组件通常依赖于监督机器学习算法，这些算法需要大量手工注释的训练数据。为了减少收集这些数据的时间和精力，苹果的研究人员开发了一个框架，利用用户参与下的信号，来自动创建增强数据的标签。他们的报告中表示，当使用诸如多任务学习和外部知识库验证等策略时，带注释的数据显著提高了生产深度学习系统的准确性。

“我们认为，这是首次使用用户参与信号来帮助大规模生成序列标记任务的训练数据，并可应用于实际设置中，在几乎没有人工注释数据的情况下加快新功能的部署，”研究人员在一篇待出版的论文中写道。“此外，用户参与信号可以帮助我们从数字助理自身的错误中吸取教训，从而确定其需要改进的地方。”

研究人员使用了一系列启发式方法来识别，可以表明积极参与或消极参与的行为。其中一些包括点击内容来进一步参与（积极的回应），长时间听一首歌（另一个积极的回应），或者打断智能助手提供的内容，手动选择不同的内容（消极的回应）。这些信号被选择性地以“隐私保护方式”获取，以自动生成基本的具有真实性的注释，随后它们与人类注释者提供的粗粒度标签相结合。

为了将粗粒度标签和推断出的细粒度标签合并到人工智能模型中，论文的合作者设计了一个多任务学习框架，将粗粒度和细粒度实体标签作为两个任务处理。此外，它们还合并了一个由实体及其关系组成的外部知识库验证器。假设预测“something”作为一个音乐标题，“the Beatles”作为一个音乐艺术家，我们可以查询“Play something by the Beatles”，验证器将展开对一级标签的备选方案的查找，并将它们发送到一个组件，该组件将对预测重新排序，并返回最佳备选方案。

研究人员利用两个独立的测试集来评估多任务模型所执行的任务，他们从生产系统中随机抽取样本，并对基础的真实标签手工标注。他们表示，在21次模型运行中，添加的26万个训练示例，与所有数量的人工注释数据的基线相比，“一致地”降低了预测任务中的粗粒度实体错误率。此外，他们还报告说，当有相对少量的人工注释数据（5000个示例）时，添加弱监督的细粒度数据会产生更大的影响。最后，他们报告说，对于任何顶级模型假设通过知识库验证器的例子，细粒度实体错误率下降了大约50%。

在另一个实验中，团队试图确定用户意图的更细微标注，是否会增加系统选择正确操作的可能性。他们采集了大约5000个“播放音乐”命令，其中包含对多个乐队、艺术家和歌曲的引用，并通过一个包含其框架的系统将其发送出去，之后，他们要求注释者将系统返回的响应分为“满意”或“不满意”。研究人员报告说，增强后的系统产生的结果相对任务错误率降低了%。

他们将继续探索如何利用个人用户的参与行为来提升个性化。

“我们观察到，我们的模型改进了用户最终接收的结果，特别是对于包含困难或不寻常语言模式的请求，”论文合作者写道。“例如，增强后的系统可以正确处理诸如‘你能播放Miley Cyrus新专辑中的Malibu吗’和‘播放Kendrick Lamar的Humble’之类的查询。此外，增强后的模型还能识别出用户在遇到真正的语言歧义时更有可能引用的实体。例如，在Play one by metallica中，one可以是一个非实体标记（意为播放metallica的任何歌曲），也可以特指metallica一首名为One的歌。由于大多数用户在说‘Play One by metallica’时都会听metallica乐队的‘One’这首歌，所以我们的模型会根据用户参与注释的数据来预测‘One’到底指什么，从而更好地捕捉用户群体的趋势和偏好。”

此前，有一篇论文描述了苹果的人工智能开发工具Overton，该工具的模型处理了“数十亿”个查询。另外，苹果最近研究了用户是否更喜欢与“健谈”的人工智能助手交谈。