首页 > 财经 > 正文
Qzone
微博
微信

2018机器学习最大进展:炒作和恐惧情绪回归理性 自然语言处理夺得大满贯

财经 前瞻网 2019-01-16 15:06

 

2018机器学习最大进展:炒作和恐惧情绪回归理性 自然语言处理夺得大满贯

当问道2018年机器学习/人工智能最重要的进步是什么?

前机器学习研究员,目前领导Engineering团队的Xavier Amatriain在Quora总结了2018年最重要的机器学习亮点有以下几方面:

人工智能的炒作和散播恐惧情绪有所降温。

更多地关注诸如公平、可解释性或因果关系等具体问题。

深度学习在实践中不仅仅适用于图像分类,自然语言处理取得巨大突破。

人工智能框架的战场正在升温,如果你想想一举成名,你最好要发布一些自己的框架。

以下是具体细节:

人工智能的炒作和散播恐惧情绪有所降温

如果说2017年可能是人工智能恐惧散布和炒作的顶峰,那么2018年似乎是理性回归的一年。诚然,一些人仍在继续宣扬他们对人工智能的恐惧,但是他们并没有把这一点作为他们议程上的一个重要议题。与此同时,媒体和其他人似乎已经接受了这样一个观点:尽管自动驾驶汽车和类似的技术正照进现实,但它们在短时间内不会实现。尽管如此,仍有一些声音在为我们应该监管人工智能、而不是专注于监管其成果的坏主意辩护。

更多地关注诸如公平、可解释性或因果关系等具体问题

不过,令人高兴的是,今年的重点似乎已转向可以解决的更具体的问题。例如,已经有很多关于公平的讨论。

按照这些思路,今年被广泛讨论的其他问题包括可解释性、解释和因果关系。先说说因果关系,主要是因为Judea Pearl的《The Book of Why》一书的出版,因果关系似乎又吸引了广泛的关注。该作者不仅决定写他的第一本“通俗易懂”的书,还在Twitter上推广了关于因果关系的讨论。事实上,就连大众媒体也认为这是对现有人工智能方法的“挑战”。实际上,即使是ACM Recsys会议上的最佳论文奖,也颁给了一篇关于如何在嵌入中包含因果关系的论文。尽管如此,许多其他作者认为因果关系在某种程度上是一种理论上的干扰,我们应该再次关注更具体的问题,如可解释性或解释。说到解释,这方面的重点之一可能是论文和Anchor代码的发布。

自然语言处理取得巨大突破

虽然仍然存在一些有关最通用的深度学习人工智能模式的问题,但是更具体地说,2018年以来,深度学习方法在从自然语言到医疗保健等不同领域取得了前所未有的成功。

事实上,我们在2018年看到的最有趣的进展出现在NLP(自然语言处理)领域。如果我必须选择今年最令人印象深刻的AI应用,那非谷歌NLP莫属。第一个是谷歌非常有用的智能组合,第二个是他们的Duplex对话系统。

使用语言模型的想法加速了这些进步,这种想法在2018年受到了Fast.ai的UMLFit推广。我们还看到了其他(和改进的)方法,比如艾伦的ELMO, Open AI的语言转换器,或者最近谷歌的BERT。谷歌AI团队新发布的BERT模型,在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩:全部两个衡量指标上全面超越人类,并且还在11种不同NLP测试中创出最佳成绩。毋庸置疑,BERT模型开启了NLP的新时代!除了语言模型,还有许多其他有趣的进步,比如Facebook的多语言嵌入,这只是其中的一个例子。有趣的是,我们也看到了这些方法和其他方法是如何快速地集成到更通用的NLP框架中,比如AllenNLP或Zalando的FLAIR。

“AI框架之战”愈演愈烈

说到框架,今年的“AI框架之战”愈演愈烈。令人惊讶的是,就在Pytorch 1.0发布时,Pytorch似乎正在赶上TensorFlow。虽然在生产中使用Pytorch的情况仍不够理想,但似乎Pytorch在这方面的进展要快于Tensor Flow在可用性、文档和教育方面的进展。

有趣的是,框架空间中另一个有趣的发展是强化学习。虽然强化学习的研究进展不像前几年那样令人印象深刻(除了DeepMind最近的进展),但令人惊讶的是,在短短一年时间里,我们看到所有主要AI参与者都发布了强化学习框架。谷歌发布了Dopamine研究框架,而Deepmind(谷歌的一个部门)则发布了与之竞争的TRFL框架。Facebook不甘落后,也发布Horizon框架,而微软则发布了TextWorld(更擅长培训基于文本的代理)。

深度学习似乎最终消除了对数据的智能要求,但事实远非如此。围绕着改善数据的想法,该领域仍有非常有趣的进展。例如,虽然数据增强已经存在了一段时间,并且对于许多深度学习应用程序来说非常关键,但是今年谷歌发布了自动数据增强方法,这是一种用于自动扩充训练数据的深度强化学习方法。一个更极端的想法是用合成数据来训练深度学习模型。这种模型已经付诸实践一段时间,被许多人视为人工智能未来的关键。英伟达在使用合成数据纸的深度学习训练中提出了有趣的新颖想法。在“向专家学习”中,还展示了如何使用专家系统生成合成数据,这些数据可以用于训练深度学习系统。最后,还有一个有趣的方法,即使用“弱监管”来减少对大量手工标记数据的需要。Snorkel是一个非常有趣的项目,旨在通过提供一个通用框架来促进这种方法。

至于人工智能领域的更多基础性突破,但目前看到的比较少。有人认为,缺乏创新是因为这个领域有“一些年长人士和太多缺乏经验的年轻人”,尽管科学领域确实有一种趋势,即突破性的研究是在较晚的年龄进行的。但Xavier Amatriain认为目前缺乏突破的主要原因是,现有方法和变体仍然有许多有趣的实际应用,因此很难冒险采用可能不会立即生效的方法。当该领域的大多数研究都是由大公司赞助时,这一点就更加重要了。无论如何,也出现了一些具有突破性的论文:一篇挑战某些假设的论文《An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling》。虽然它是高度经验主义的,使用已知的方法,但它打开了发现新方法的大门,因为它证明了通常被认为是最优的方法实际上不是最优的。另一篇具有高度探索性的论文是最近的NeurIPS最佳论文奖得主《Neural Ordinary Differential Equations》,它挑战了深度学习中的一些基本内容,包括层本身的概念。

本文来源前瞻网,转载请注明来源。本文内容仅代表作者个人观点,本站只提供参考并不构成任何投资及应用建议。(若存在内容、版权或其它问题,请联系:service@qianzhan.com)

 

责任编辑: 4002YHQ

责任编辑: 4002YHQ
人家也是有底线的啦~
广告
Copyright © 2018 TOM.COM Corporation, All Rights Reserved 雷霆万钧版权声明
违法信息/未成年人举报:010-85181169     举报邮箱/未成年人举报:jubao@tomonline-inc.com