Deep Learning读书笔记(1)【开篇】

1,026 阅读10分钟

前言

“深度学习”的概念萌芽于2006年,2010年以后逐渐兴起,到2015,2016年达到顶峰,尤其是2016年,感觉各种IT网站,业界公号,微博等等都充斥着”深度学习”这个词语,论文数量急剧增加,盛况空前。到现在,2017年上半年,火热之势不减,诸多meetup,讨论会,交流会,分享会此起彼伏,人头攒动,业界大牛则在展望未来,规划前程或是默默做着前沿探索。
初次接触深度学习是在去年做一个NLP比赛的时候,尝试了深度学习的方法,效果确实不错,未加集成,融合的单模型就能表现出很好的效果,于是入坑,,直至遇到Bengio,Goodfellow,Courville合著的这本《Deep Learning》,想把它啃下来,陆陆续续看了一些,前几章还好,越到后面会难一些,借着这个机会,分享下自己的阅读心得,也督促自己继续把它啃完。

智能机器

人类一直以来都有一个梦想,就是制造出能够思考的机器。可是一直到近代,计算机的发明,才使得这一梦想有了巨大的推进。再到今天,人工智能(Artificial Intelligence),起源于1956年夏季”达特茅斯会议”的这门学科,经过1997年IBM DeepBlue战胜国际象棋大师卡斯帕罗夫,再到2016年3月AlphaGo战胜李世石,到最近的Master,已经成为了最蓬勃发展的一个领域之一,此时,我们重新问自己这个问题: “人类能否制造出有智能的机器?”。诚然,”智能”的定义又有许多种,有人说,通过图灵测试的机器就具有智能,有人说,有自我意识,会思考的机器才算具有智能,总的来说没有一致公认的定义。于是观点逐渐分为两派,一个是强AI观点,一个是弱AI观点,强AI观点认为人类有可能制造出能推理和解决问题,并具有自我意识和直觉的机器,弱AI观点则认为不能。

但是,纠结于智能的标准,以及能不能使机器达到智能对我们并无太大助益,我们现在所希望的是制造出更加”聪明”一点的机器,帮我们做很多事情。这是好的,但是”人工智能威胁论”也随之应运而生,客观来说,人工智能真正能够对人类产生威胁还有很长的路要走,但是不得不承认,很多机械性的工作,机器拿手的问题很可能会逐渐被机器人取代,从而会加高工作的知识壁垒,也会使一些工人失业,这是大势,阻挡不了。

深度学习

那么哪些问题是机器拿手的,哪些问题又是人类拿手的呢?

我们知道,早期计算机在处理问题时,需要人类把问题,规则,策略描述给它,硬编码到系统中,然后交给计算机去做,但是人们逐渐遇到了依赖硬编码的系统带来的许多困难与问题,也让人们意识到,必须要让AI系统具有获得他们自己知识的能力。计算机在复杂计算,规则明确的策略搜索(如棋类),大规模存储记忆等方面的处理能力远超人类,这些问题对于机器来说,无非是执行规则而已,但是人的直觉是很难被机器学到的,包括物体识别,观察判断和听说读写等等,这些问题很难形式化地描述给计算机,但是这些问题我们仍想去解决,仍然需要被解决。

本书就集中描述一种解决方案,它让计算机从经验中学习,按照概念的层级(Hierarchy of Concepts)来理解世界,其中每个概念定义在比它更简单的概念之上,从而避免让人类去指定计算机需要的知识。这种方法我们称之为深度学习。深度学习只是机器学习领域的一个很小的课题,从下图可以看出,但是由于它解决了许多以前无法解决的问题,提升了以前解决得不好的问题,从而名声大噪,进入了大众的视野。

给一个较明确的定义如下:

“深度学习是一种表示学习方法,把原始数据通过一些简单的非线性模型转变为更高层次的,更加抽象的表达。通过足够多的转换的组合,非常复杂的函数也可以被学习。”

深度学习处在什么位置?

从上图我们看出,我们首先聚焦AI领域,AI包括基于知识的AI(类似以前的专家系统),另外还包括机器学习,机器学习又分为几类,一类如SVM,LR等传统的分类回归方法,另一类即表示学习,传统的机器学习方法意图学习一个表示->输出的映射 F " role="presentation" style="position: relative;">F F,其中表示往往需要做特征工程,人工指定数据的表示方法,表示的选择对机器学习的性能有着巨大的影响,而表示学习的精髓在于,它不仅学习表示->输出的映射,还学习表示本身,即学习更好的对输入数据的表示,表示学习就像一个端到端的过程,直接得出输入到输出的一系列映射关系,表示学习包括浅层的自动编码器(autoencoders),意在学习出输入到另一个表示的尽可能降低信息损失的映射,意在得到一个具有输入不具有的良好性质的表示。表示学习的另一大类就是深度学习,深度学习,在于一个深字,也称为深度神经网络,因为这种深度通过多层的神经网络来组成,比如多层感知机(MLP)就属于深度学习范畴。说白一点就是,深度学习就是很多层神经网络组合而成,利用深度和非线性单元的一起作用,更多的学习函数或者概念的组合,使得机器能够学习到更加复杂的映射,解决那些更加复杂的问题,一般认为,有某些因素在背后影响着我们具体问题中的观察数据,深度学习的目的就是学习出这种因素及这种因素是如何变化的。至于多深才算深,也没有统一的意见。
书上这张图更加清晰地阐明了深度学习的方法。

历史与趋势

深度学习在历史进程中总的来说有几大趋势:

  • 深度学习有着很长很丰富的历史,但是许多反映着不同哲学观点的人的名字已经消逝,不被人记起
  • 随着训练数据的增多,深度学习的效果变得更好了
  • 软件和硬件的迅速提升给深度学习提供了物质基础
  • 深度学习有了更高的准确率,逐渐在解决日益复杂的问题。

可能有很多人认为神经科学是对大脑的模拟,确实,脑神经科学的研究给予了神经网络重大的启示,但是深度学习,或者神经网络,更多的是受到多个其他领域的启发,比如应用数学基础,信息论和数值优化等等,我们甚至可以直接说,神经网络是一个数学问题。

深度学习的历史要追溯到上个世纪40年代,40年代是神经网络的萌芽期,1943年McCulloch-Pitts Neuron的发明,控制论(Cybernetics)的兴起,和1945年Hebb学习规则的提出,逐渐萌生了神经网络这门学科。到后来,1950年代到60年代末,期间有1958年感知机的提出,1960年ADALINE(Adaptive Linear Element)的提出,促使了这段时间的逐渐繁荣。但是,以上模型终究只是线性模型,无法解决更复杂的问题,甚至无法学习异或(XOR)操作,这让人们很失望,于是知道70年代末期,整个领域陷入了一片沉寂。到80年代,联结主义和并行分布式计算的浪潮掀起,1986年著名的后向传播算法(BP, Back Propagation)的发明,分布式表示(Distributed Representation)的提出,以及序列建模,LSTM都相继提出,构成了另一波的繁荣期。联结主义是统合了认知心理学、人工智能和心理哲学领域的一种理论,认为”大量的简单计算单元相互联结时能够达到智能行为”。繁荣了不久(很可能当时也是如现在一般火热),许多创业者纷纷涌入,为了获得投资,鼓吹之风逐渐升起,导致最后许诺的效果无法兑现,投资者逐渐丧失信心,加之当时数据少,层数浅,训练慢,很容易造成过拟合或者欠拟合的问题,以及SVM和图模型的巨大成功,使得神经网络再次被压了下去,陷入沉寂,而此事,有一个名为CIFAR(Canadian Institute for Advanced Research)的学术组织,成员包括现在大家耳熟能详的LeCun,Bengio,Hinton等人,没错,就是本书作者Bengio,他们一直在坚持神经网络的研究。到了2006年,Hinton发表著名论文,表明深度信念网络可以采用Greedy Layer-wise Pretraining的策略高效地训练,后来人发现这种方法在其他深度网络上作用也很大,从此以后,深度学习开始在各领域大放异彩,2006年也因此被称为”深度学习元年”。

目前深度学习作用最为显著的领域当属计算机视觉,语音识别和自然语言处理了。

为什么是深度学习?

很简单,从以下几个方面可以一窥究竟

  • 数据集规模:如今越来越数字化,数据量成爆炸式增长,使得人们想从巨量的数据中挖掘各种各样的模式和价值
  • 计算能力和模型大小:计算能力的提升使得我们能够训练越来越大的模型,提高了模型大小,也就增加了能解决的问题的复杂度
  • 准确率,问题复杂性:深度学习在诸多领域表现出色,在某些识别问题上甚至超过人类,解决着越来越复杂的问题
  • 实际应用:深度学习的落地,解决了人们很多需求,带来了很多价值,让人们逐渐对他倾心。

弱点?

可是,深度学习就没有一点缺陷么?不是的,辩证法来说,事物总是具有两面性,深度学习的一些弱点如下:

  • 很多时候,初始数据表示就已经很合适了
  • 需要大量的数据
  • 巨大的计算开销,小的机构有点虚
  • 容易陷入局部最优
  • 难以解释,“玄乎”

最后

本文取材自本书第一章导引部分,第一章介绍了深度学习的概念,以及深度学习在整个领域中所处的位置,然后交代了深度学习的历史发展与趋势,以及能够站上如此高的舞台的内在外在原因。再加上自己的一些理解,促成了本文。笔者才疏学浅,如果不妥之处,还望不吝指出,感谢阅读到最后的朋友们。
另附上笔者在一次Talk中的演讲PPT,也有很大一部分取材于本书第一章,可以尝试下载观看。

浅谈深度学习.PDF

References

  • 《Deep Learning》GoodFellow, Bengio etc.
  • 《Deep Learning Revew》LeCun, Bengio, Hinton
  • 《Deep Learning学习笔记整理系列》zouxy