CNN、RNN、DNN区别

感知机（perception），包含输入层，输出层，和一个隐藏层；

输入的特征向量通过隐藏层变换达到输出层，由输出层得到分类结果。

多层感知机，多个隐藏层；

神经网络NN，使用连续函数模拟神经元对激励的响应，在训练算法上使用反向传播算法；

1、神经网络的层数直接决定了它对现实的刻画能力----利用每层更少的神经元拟合更加附加的函数。

2、神经网络层数加深，优化函数越容易陷入局部最优解，并且越来越偏离全局最优

3、利用有限的数据训练深层的网络，性能还不如浅层网络

4、网络层数的不断增加，“梯度消失”的现象更严重

2006年，Hition提出深度学习，利用预训练的方式缓解局部最优解问题，将隐藏层增加到了7层

图像中存在固有的局部模式，故将图像处理和神经网络结合引出卷机神经网络CNN（Convolutional Neural Networks），通过卷积核将上下层进行链接

因每层神经元的信号智能向上一层传播，样本的处理每个时刻独立，又被称为前向神经网络（Feed-forward Neural Networks）。

广义上分为：

狭义上分为：

循环神经网络