论文太多读不完?AI化身阅读小助手,可一键生成文章摘要!
每位科学作者都需要阅读充斥着专业术语集的期刊论文,还需要想办法用科普性的语言,让没有科学背景的读者也能够理解文章的内容。现在这种苦恼有望得到缓解。
由麻省理工学院和其他机构人员组成的科学家团队已经开发出一种神经网络,这种人工智能(AI)的形式可以在有限范围内做到:阅读科学论文,并用一两句话呈现简单的英语摘要。尽管形式有限,但这样的神经网络可以帮助编辑、作者和科学家扫描大量论文,以便对其内容有一个初步了解。除了语言处理,这个团队开发的方法还可以应用于其他领域,包括机器翻译和语音识别等。该研究发表在《Transactions of the Association for Computational Linguistics》杂志上。
图片来源:123RF 从物理到自然语言的 人工智能
有趣的是,这项工作源于一个不相关的项目——涉及开发基于神经网络的新的人工智能方法,以解决物理学中的某些棘手问题。然而,研究人员很快意识到, 同样的方法可以用于解决其他困难的计算问题,包括 自然语言处理,其性能可能超过现有的神经网络系统。
“我们在人工智能领域做各种各样的工作已经持续几年了,” 麻省理工学院物理学教授Marin Soljačić说:“我们使用人工智能来协助研究,基本上是为了更好地研究物理学。随着我们对人工智能越来越熟悉,我们注意到,每隔一段时间,在该领域,来自物理学的知识就会带来某个机遇,包括某种数学结构或某种物理定律。我们发现如果我们使用它,实际上可以改进某个特定的人工智能算法。"
他表示,这种方法可以用于各种特定类型的任务,但不是所有的。“我们不能说这对所有的人工智能都有用,但在一些例子中,我们可以利用物理学的洞察力来改进给定的人工智能算法。”
神经网络通常是一种模仿人类学习某些新事物的方式的尝试:计算机检查许多不同的例子并“学习”潜在的关键模式是什么。这些系统被广泛用于模式识别,例如学习识别照片中描述的物体。但是神经网络通常很难从一长串的数据中获得相关的信息,比如在解释一篇研究论文时。 研究人员表示,人们已经使用了各种技巧来提高这种能力,包括被称为长期短期记忆(LSTM)和门控循环单元(GRU)的技术,但是这些技术仍然远远不能满足真正的自然语言处理的需要。
研究小组提出了一种替代系统,它不像大多数传统的神经网络那样基于矩阵的乘法,而是基于在多维空间中旋转的向量。关键的概念是他们所说的旋转存储单元(RUM)。从本质上讲,系统用多维空间中的一个向量来表示文本中的每个单词——一条指向特定方向、特定长度的线。接下来的每个单词都朝着某个方向摆动这个向量,在一个理论空间中表示,这个空间最终可以有数千个维度。在过程结束时,最终的向量或向量集被转换回相应的字符串。
“RUM帮助神经网络很好地完成两件事,” HBKU卡塔尔计算研究所高级科学家 Preslav Nakov说:“那就是帮助他们更好地记忆,并使他们能够更准确地回忆信息。”
开发了RUM系统来帮助解决某些棘手的物理问题,例如复杂工程材料中光线的行为之后,“我们意识到这种方法可能应用的地方之一是自然语言处理,”Soljačić说。他回忆起与Tatalović的一次谈话,Tatalović指出这样的工具对他的工作很有用,作为一个编辑,他需要决定写哪些论文,他当时正在科学杂志探索人工智能技术,这也是他的研究员项目。
“所以我们尝试了一些自然语言处理任务,”Soljačić说:“我们尝试的一种方法是对文章进行总结,看起来效果不错。”
证据就在阅读之中
他们通过一个传统的基于LSTM的神经网络和基于RUM的系统提供相同的研究论文。结果得出的总结大相径庭。LSTM系统产生了这个高度重复和相当技术性的总结。而且在同一篇论文的基础上,RUM系统提出了一个更具可读性的摘要,其中不包括不必要的重复短语。而基于虚拟现实的系统得到了扩展,它可以"阅读"整个研究论文,而不仅仅是摘要,以产生对其内容的总结。研究人员甚至尝试在他们自己的研究论文中使用该系统来描述这些发现。
没有参与这项研究的英国人工智能公司Google DeepMind的研究科学家Çağlar Gülçehre表示,这项研究解决了神经网络中的一个重要问题,涉及到在时间或空间上相隔很远的信息片段。“这个问题一直是人工智能中一个非常基本的问题,因为序列预测任务需要对长时间延迟进行推理,”他说:“虽然我不认为这篇论文完全解决了这个问题,但是它在问题回答、文本摘要和联想回忆等长期依赖性任务上显示了可喜的结果。”
Gülçehre补充说:“由于本文中提出的实验和模型在Github上以开放源码的形式发布,因此许多研究人员将有兴趣在他们自己的任务上进行尝试。更具体地说,本文中提出的方法可能会对自然语言处理和强化学习领域产生非常大的影响,因为长期的依赖关系在这些领域非常关键。”
参考资料:
[1] Can science writing be automated? A neural network can read scientific papers and render a plain-English summary. Retrived April 18, 2019 from https://www.sciencedaily.com/releases/2019/04/190418105730.htm
作者暂无likerid, 赞赏暂由本网站代持,当作者有likerid后会全部转账给作者(我们会尽力而为)。Tips: Until now, everytime you want to store your article, we will help you store it in Filecoin network. In the future, you can store it in Filecoin network using your own filecoin.
Support author:
Author's Filecoin address:
Or you can use Likecoin to support author: