https://arxiv.org/ftp/arxiv/papers/1801/1801.00631.pdf
摘要:尽管深度学习在许多方面取得了成功,但是依旧有一些局限性,需要其他技术的补充才能达到强人工智能。
1、是否深度学习达到了瓶颈?
尽管深度学习可以追溯到几十年前,但最近的兴起还是开始于2012年AlexNet论文的发表,在ImageNet上达到了最好的性能,从而引发了许多实验室的研究,训练多层神经网络的想法并不新颖,只是由于计算能力的局限导致一直不可行。
深度学习在很多领域取得了成功,如语音识别,文字翻译,自然语言处理,计算机视觉等,但是可能遇到了一堵墙。
什么是深度学习,它揭示了什么样的智能的本质?我们可以期望它做什么,哪里可以做出突破?我们距离强人工智能还有多近,远?机器在解决不相似问题上能达到什么程度的接近人的灵活性?这篇论文的目的是缓和一些非理性的狂热同时也要考虑我们作为一个领域继续前进可能需要的东西。
2.什么是深度学习,它在哪些方面能做的出色
本质上是一种统计技术,基于大规模的采样数据,使用多层的神经网络来学习处理问题的模式。
大多数深度学习网络都大量使用一种叫做卷积的技术(LeCun,1989年),它限制了网络中的神经连接,使它们天生就有
捕获一种称为平动不变性的性质。这本质上就是物体可以在图像周围滑动,同时保持它的身份;左上角的圆圈可以被假定,即使没有直接经验)与底部的圆圈相同。
深度学习可以自动生成中间层表示,比如说中间的隐藏层可能代表水平线,或抽象体系结构中更复杂的元素。
深度学习学习输入到输出的映射,理论上,若有无穷多的数据,它可以学习到任意复杂的映射。
3.局限性
深度学习的局限性源自它的逆否命题:我们居住在一个数据有限的世界。
依赖于深度学习的系统常常得泛化用于一些从未见过的数据,比如一个单词的新发音或一个与系统之前见过的图片均不同的新图片,数据是有限的,而保证高质量性能的正式证明的能力更有局限性。
3.1 数据
深度学习目前缺乏一种通过显式的语言定义来学习抽象的机制.
杰夫.辛顿在它的胶囊网络工作中也提出了对于大量标签数据的依赖的担忧:CNN对于物体的新视角的泛化困难可能是导致指数级低效的一个原因。
4.过度炒作的潜在风险
5.放眼未来