Deep Learning algorithm¶
About History¶
- 80年代末期，发明了 反向传播算法 （Back Propagation算法或BP算法）应用于人工神经网络，但实际上是多层感知机（Multi-layer Perception），是有一层隐层节点的 浅层模型 。
- 90年代，各种 浅层模型 如SVM（Support Vector Machines）、Boosting、最大熵方法（如LR、logistic Regression）等。这些浅层模型应用成功，相比之下，这个时期浅层人工神经网络相对沉寂。
（但是在 图像识别领域 ，早在1989年， Yann Lecun 提出的 CNN （Convolutional Neural Network）是真正训练多层网络结构的算法，应用于 识别手写数字 效果显著，但 难以应用于大型图像处理 ，故一直没有得到
CV界的重视。）
- 2000年代，对大数据的分析需求，各种 浅层模型 应用广泛如网页排序、邮件过滤系统、推荐用户喜好等。
- 2006年， Geoffrey Hinton 基于 深度置信网（Deep Belief Net：DBN） ——其由一系列受限波尔兹曼机（Restricted Boltzmann Machine：RBM）组成，提出 非监督贪心逐层训练（Layerwise Pre-Training）算法 ，应用效果才取得突破性进展。 至此深度神经网络的研究才重新掀起热潮 。
总结来说，Hinton的两个观点：1）多隐层网络对于分类更准确；2） 深度神经网络训练的难度 ，可通过“逐层初始化”(layer-wise pre-training)来克服。¶
- 后来各种NET模型层出，如2012年-- AlexNet ，2014年-- GoogLeNet