您的位置:首页 > 行情 > 正文

谷歌的人工智能语言模型改革者可以处理小说的整体

发布时间:2020-05-29 14:20:50  编辑:  来源:

无论是语言、音乐、语音还是视频,序列数据都不容易被人工智能和机器学习模型理解——尤其是当它依赖于广泛的周边环境时。例如,如果一个人或一个物体在视频中消失,但很久之后又重新出现,许多算法就会忘记它的样子。谷歌的研究人员开始用Transformer解决这个问题,Transformer是一种扩展到数千个单词的架构,它极大地提高了歌曲创作、图像合成、逐句文本翻译和文档摘要等任务的性能。

但是Transformer并不是完美的——将它扩展到更大的上下文中就会发现它的局限性。使用大窗口的应用程序需要的内存大小从gb到tb不等,这意味着模型只能读取几段文本或生成一小段音乐。这就是为什么谷歌今天引入了Reformer,它是Transformer的一种改进,设计用于处理最多100万字的上下文窗口。通过利用位置敏感的散列(LSH)和可逆剩余层等技术来有效地使用内存并降低长序列的复杂性,它能够在一个仅使用16GB内存的AI加速芯片上运行。

代码和几个示例应用程序都是开源的,这是在改革者的论文于4月在埃塞俄比亚首都亚的斯亚贝巴举行的2020年学习表示国际会议上发表之前。

与所有的深度神经网络一样,变压器包含神经元(数学函数),神经元排列在相互连接的层中,传输输入数据的信号,并缓慢地调整每个连接的突触强度(权重)。所有的人工智能模型都是这样提取特征并学习做出预测的,但Transformer的独特之处在于,它将每个输出元素都连接到每个输入元素。实际上,它们之间的权重是动态计算的。

正如我的同事哈里·约翰逊(Khari Johnson)所指出的,2019年最大的机器学习趋势之一是基于这种转换器设计的自然语言模型的持续增长和扩散。2018年,谷歌开源BERT,一种基于变压器的模型。根据glue排行榜,今年发布的一些表现最好的模型——包括Nvidia的威震天,谷歌的XLNet,微软的MT-DNN和Facebook的RoBERTa——都是基于变形金刚。XLNet 2将于本月晚些时候发布,一位公司发言人最近告诉VentureBeat。

上图:顶部:用作转化炉输入的图像片段。底部:“完成”全帧图像。

Reformer然后计算哈希函数(用于将任意大小的数据映射到固定大小的值的函数)来匹配类似的向量(代数结构用于表示机器学习中人类可读的数据),而不是搜索所有可能的向量对。(例如,在翻译任务中,来自网络第一层的每个向量表示一个单词,不同语言中相同单词对应的向量可能得到相同的哈希。)当分配哈希值时,序列被重新安排,以将具有相同哈希值的元素组合在一起,并划分为多个段,以支持并行处理。然后将注意力放在这些更短的段及其相邻的段中,从而大大减少了计算负载。

Reformer还可以按需重新计算每个层的输入,而不是将其存储在内存中,这要归功于前面提到的可逆内存。激活——决定网络输出、准确性和计算效率的函数——用于从任何中间层恢复激活,每个中间层使用两组激活。一个层被逐步地从一个层更新到下一个层,而另一个层只捕获对第一个层的更改。

“既然改革者有如此高的效率,它可以直接用于数据和上下文窗口远远大于几乎所有当前最先进的文本域(数据集),“特约研究员Łukasz Kaiser写道,谷歌员工研究科学家,尼基塔Kitaev,伯克利加州大学的学生在一篇博客文章中。“也许Reformer处理如此庞大数据集的能力将刺激社区创建它们。”

研究团队对基于改革者的图像和文本模型进行了实验,利用它们生成图像中缺失的细节,处理整部小说《罪与罚》(包含211591个单词)。结果表明,该方法能逐像素生成全帧图像,并能在单轮训练中获得小说长度的文本。

作者将该技术应用于更长的序列并改进其位置编码的处理,留到以后的工作中。Kaiser和Kitaev补充说:“我们相信Reformer为Transformer模型的未来使用提供了基础,无论是用于长文本还是自然语言处理之外的应用程序。”

在去年年底的一次采访中,谷歌人工智能首席执行官杰夫·迪恩告诉VentureBeat,更大的背景将是谷歌今后工作的主要焦点。他说:“我们仍然希望能够建立更多情境化的模型。”“就像现在,伯特和其他模型可以很好地处理数百个单词,但不是10,000个单词作为上下文。所以这是一个有趣的方向。”

版权声明:转载此文是出于传递更多信息之目的。若有来源标注错误或侵犯了您的合法权益,请作者持权属证明与本网联系,我们将及时更正、删除,谢谢您的支持与理解。
版权声明: 本站若有来源标注错误或侵犯了您的合法权益,请作者持权属证明与本网联系,我们将及时更正、删除,谢谢您的支持与理解。转载文章是出于传递更多信息之目的。
版权所有: 阜新生活网 ·(2019-2020) .备案号:闽ICP备20009870号-2. 联系QQ:173 0547 905 .