|
2012年，人工智能研究人员发明，通过给神经网络提供数百万张名为ImageNet的图像图像，计较机识别图像的本领有了很大的提高。它为计较机视觉带来了一个冲感人心的阶段，因为很明明，利用ImageNet练习的模子可以辅佐办理各类图像识别问题。六年后，这项技能也为自动驾驶汽车在都市街道和Facebook社交媒体上自动标志照片铺平了阶梯。 在人工智能研究的其他规模，好比领略语言，雷同的模子已经被证明是难以捉摸的。可是最近快速的研究。人工智能、OpenAI和Allen人工智能研究所提出了一个潜在的打破，利用更强大的语言模子来辅佐研究人员办理一系列尚未办理的问题。个中一款新车型的研究员塞巴斯蒂安·鲁德尔（Sebastian Ruder）称其为“ImageNet时刻”。 这些进步看起来是极具戏剧性的。到今朝为止，最遍及测试的模子被称为语言模子的嵌入，可能叫做ELMo。本年春天，艾伦研究所宣布了这项技能，ELMo迅速推翻了之前的一系列挑战，好比阅读领略，人工智能答复了关于一段文字的问题，以及情绪阐明。在一个希望趋向于增量的规模，ELMo的技能让识别结果提高了25%。本年6月，该公司在一次大型集会会议上得到了最佳论文奖。 加州大学伯克利分校的计较机科学传授丹克·莱恩（Dan Klein）是早期回收者之一。他和一名学生正在研究一个选区理会器，这是一个面包和黄油的东西，涉及到一个句子的语法布局。通过添加ELMo，克莱因溘然拥有了世界上最好的系统，最准确的是惊人的宽。他说：“假如几年前你问我是否有大概到达这么高的程度，我就不确定了。”
像ELMo这样的模子办理了一个有问题的语言学家的焦点问题：缺乏标签的数据。为了练习神经网络做出决定，很多语言问题都需要手工标志的数据。可是，出产这些数据需要时间和款子，甚至很大都据都无法捕获到我们措辞和写作的不行预测的方法。对付除英语之外的其他语言，研究人员凡是没有足够的标志数据来完成根基的任务。 “我们永远无法得到足够的标签数据，”艾伦研究所的研究科学家马修·彼得斯说，他率领了ELMo团队。“我们真的需要开拓出一种模子，这些模子可以处理惩罚杂乱的、没有标签的数据，并尽大概多地从中进修。” 幸运的是，多亏了互联网，研究人员从维基百科、书籍和社交媒体等来历收集了大量混乱的数据。我们的计策是将这些单词输入到一个神经网络中，并答允它本身识别模式，即所谓的“无监视”要领。人们但愿这些模式可以或许捕获到语言的一些一般方面，一种对词语的领略，可能是语法的根基表面。就像利用ImageNet练习的模子一样，这样的语言模子可以被准确地调解以把握更详细的任务，好比总结一篇科学文章，将电子邮件归类为垃圾邮件，可能甚至为一个短篇故事生成一个令人满足的末了。 这种根基的直觉并不新鲜。连年来，研究人员利用一种叫做“单词嵌入”的技能，深入研究了未标志的数据，该技能按照它们在大量文本中呈现的方法，将单词之间的干系映射到一起。这些新模子的目标是要深入研究，获取从文字到高级语言观念的信息。Ruder曾写过关于这些更深条理的模子对各类语言问题有用的大概性，他但愿这些模子能成为一个简朴的词嵌入的替代品。 譬喻，ELMo通过整合更多的上下文，在句子的范畴内，而不是单词来调查语言，从而改造了单词的嵌入。这种特另外上下文使模子可以或许很好地理会“五月”和“May”这个动词之间的区别，但也意味着它进修了语法。ELMo通过得到对单词的子单位的领略，如前缀和后缀，得到了特另外晋升。正如彼得斯的团队所做的那样，给神经网络提供10亿个单词，而这种要领长短常有效的。 今朝还不清楚这个模子在阐明所有这些词的进程中到底学到了什么。由于深层神经网络的事情方法不透明，这是一个很难答复的问题。研究人员对图像识别系统为什么事情得如此之好仍然有一种恍惚的领略。在10月份的一次集会会议上，彼得斯采纳了一种履历主义的要领，在各类软件设计和差异的语言任务中试验了ELMo。“我们发明这些模子进修语言的根基属性，”彼得斯说。但他告诫说，其他研究人员将需要测试ELMo来确定模子在差异任务之间的强洪流平，以及它大概包括的埋没的惊喜。 一种风险是：对用于练习它们的数据举办编码毛病，因此大夫被贴上男性的标签，护士作为女性，譬喻，就像之前所做的那样。克莱因说，固然操作ELMo和其他模子发生的最初功效令人欢快，但今朝还不清楚这些功效能在多洪流平上敦促，也许是通过利用更多的数据来练习模子，可能通过增加约束来迫使神经网络更有效地进修。从久远来看，像我们这样阅读和攀谈的人工智能大概需要一种全新的要领。 |
