Deep Learning大概是现在的机器学习算法里最接近人脑思维的一种,因为人脑的神经网络就是非常深层的。为什么需要Deep?因为据说人脑对问题的认识和分类就是非常深的层级结构。
举两个例子:
看一幅图时对特征的提取大概是:像素–>边缘–>基本形状–>纹理–>各种复杂–>各种复杂。
对于一句话:音节–>单词–>分句–>句子–>各种复杂–>各种复杂。

显然,传统神经网络算法两三层那样是不行的,而传统神经网络往往两三层就能解决大多数问题(理论上三层网络可以逼近任意函数),当网络层数多了的情况下反而训练误差又难以接受。不够Deep,另外一些比如有阵子很流行的SVM,不仅不够Deep,还有很严重的Local Generalization的问题(因为support vector本质是某个training data)。

所以能够解决Deep Architecture和对特征的有效表征,大概就是在语音识别领域和图像识别领域,相对于其他办法,取得巨大进展最主要的原因吧。

这背后的一些特点比如分布式的表征(不知道是不是这么翻译,Distributed Representation),无监督学习的应用,也使得特征的提取和容错都变得更好,打个比方”He is good”, “You are better”,这种在传统的办法里是非常localized的(Markov Chain和一些相关性模型),也就是说“xx is/are xxx”这种模式不容易学习,而对于deep learning就相对容易。具体的可以参考06年的三篇让deep learning崛起的paper(见链接),以及他们作者的一些文档。

Introduction to Deep Learning Algorithms

— 完 —

本文作者:達聞西

【知乎日报】
你都看到这啦,快来点我嘛 Σ(▼□▼メ)

此问题还有 13 个回答,查看全部。
延伸阅读:
Siri 属于语音识别还是人工智能?
Siri 通过语音识别提供智能助手服务,这样一个产品的技术挑战在哪里?

分享到