卷积神经网络算法的一个实现

　　从理解卷积神经到实现它，前后花了一个月时间，现在也还有一些地方没有理解透彻，CNN还是有一定难度的，不是看哪个的博客和一两篇论文就明白了，主要还是靠自己去专研，阅读推荐列表在末尾的参考文献。目前实现的CNN在MINIT数据集上效果还不错，但是还有一些bug，因为最近比较忙，先把之前做的总结一下，以后再继续优化。卷积神经网络
　　卷积神经网络CNN是DeepLearning的一个重要算法，在很多应用上表现出卓越的效果，〔1〕中对比多重算法在文档字符识别的效果，结论是CNN优于其他所有的算法。CNN在手写体识别取得最好的效果，〔2〕将CNN应用在基于人脸的性别识别，效果也非常不错。前段时间我用BP神经网络对手机拍照图片的数字进行识别，效果还算不错，接近98，但在汉字识别上表现不佳，于是想试试卷积神经网络。
　　1、CNN的整体网络结构
　　卷积神经网络是在BP神经网络的改进，与BP类似，都采用了前向传播计算输出值，反向传播调整权重和偏置；CNN与标准的BP最大的不同是：CNN中相邻层之间的神经单元并不是全连接，而是部分连接，也就是某个神经单元的感知区域来自于上层的部分神经单元，而不是像BP那样与所有的神经单元相连接。CNN的有三个重要的思想架构：
　　局部区域感知
　　权重共享
　　空间或时间上的采样
　　局部区域感知能够发现数据的一些局部特征，比如图片上的一个角，一段弧，这些基本特征是构成动物视觉的基础〔3〕；而BP中，所有的像素点是一堆混乱的点，相互之间的关系没有被挖掘。
　　CNN中每一层的由多个map组成，每个map由多个神经单元组成，同一个map的所有神经单元共用一个卷积核（即权重），卷积核往往代表一个特征，比如某个卷积和代表一段弧，那么把这个卷积核在整个图片上滚一下，卷积值较大的区域就很有可能是一段弧。注意卷积核其实就是权重，我们并不需要单独去计算一个卷积，而是一个固定大小的权重矩阵去图像上匹配时，这个操作与卷积类似，因此我们称为卷积神经网络，实际上，BP也可以看做一种特殊的卷积神经网络，只是这个卷积核就是某层的所有权重，即感知区域是整个图像。权重共享策略减少了需要训练的参数，使得训练出来的模型的泛华能力更强。卷积神经网络
　　采样的目的主要是混淆特征的具体位置，因为某个特征找出来后，它的具体位置已经不重要了，我们只需要这个特征与其他的相对位置，比如一个8，当我们得到了上面一个o时，我们不需要知道它在图像的具体位置，只需要知道它下面又是一个o我们就可以知道是一个’8了，因为图片中8在图片中偏左或者偏右都不影响我们认识它，这种混淆具体位置的策略能对变形和扭曲的图片进行识别。
　　CNN的这三个特点是其对输入数据在空间（主要针对图像数据）上和时间（主要针对时间序列数据，参考TDNN）上的扭曲有很强的鲁棒性。CNN一般采用卷积层与采样层交替设置，即一层卷积层接一层采样层，采样层后接一层卷积这样卷积层提取出特征，再进行组合形成更抽象的特征，最后形成对图片对象的描述特征，CNN后面还可以跟全连接层，全连接层跟BP一样。下面是一个卷积神经网络的示例：
　　卷积神经网络的基本思想是这样，但具体实现有多重版本，我参考了matlab的DeepLearning的工具箱DeepLearnToolbox，这里实现的CNN与其他最大的差别是采样层没有权重和偏置，仅仅只对卷积层进行一个采样过程，这个工具箱的测试数据集是MINIST，每张图像是2828大小，它实现的是下面这样一个CNN：
　　2、网络初始化：
　　CNN的初始化主要是初始化卷积层和输出层的卷积核（权重）和偏置，DeepLearnToolbox里面对卷积核和权重进行随机初始化，而对偏置进行全0初始化。卷积神经网络
　　3、前向传输计算：
　　前向计算时，输入层、卷积层、采样层、输出层的计算方式不相同。
　　3。1输入层：
　　输入层没有输入值，只有一个输出向量，这个向量的大小就是图片的大小，即一个2828矩阵；
　　3。2卷积层：
　　卷积层的输入要么来源于输入层，要么来源于采样层，如上图红色部分。卷积层的每一个map都有一个大小相同的卷积核，Toolbox里面是55的卷积核。下面是一个示例，为了简单起见，卷积核大小为22，上一层的特征map大小为44，用这个卷积在图片上滚一遍，得到一个一个（421）（421）33的特征map，卷积核每次移动一步，因此。在Toolbox的实现中，卷积层的一个map与上层的所有map都关联，如上图的S2和C3，即C3共有612个卷积核，卷积层的每一个特征map是不同的卷积核在前一层所有map上作卷积并将对应元素累加后加一个偏置，再求sigmod得到的。还有需要注意的是，卷积层的map个数是在网络初始化指定的，而卷积层的map的大小是由卷积核和上一层输入map的大小决定的，假设上一层的map大小是nn、卷积核的大小是kk，则该层的map大小是（nk1）（nk1），比如上图的2424的map大小24（2851）。斯坦福的深度学习教程更加详细的介绍了卷积特征提取的计算过程。
　　3。3采样层（subsampling，Pooling）：
　　采样层是对上一层map的一个采样处理，这里的采样方式是对上一层map的相邻小区域进行聚合统计，区域大小为scalescale，有些实现是取小区域的最大值，而ToolBox里面的实现是采用22小区域的均值。注意，卷积的计算窗口是有重叠的，而采用的计算窗口没有重叠，ToolBox里面计算采样也是用卷积（conv2（A，K，’valid’））来实现的，卷积核是22，每个元素都是14，去掉计算得到的卷积结果中有重叠的部分，即：
　　4、反向传输调整权重
　　反向传输过程是CNN最复杂的地方，虽然从宏观上来看基本思想跟BP一样，都是通过最小化残差来调整权重和偏置，但CNN的网络结构并不像BP那样单一，对不同的结构处理方式不一样，而且因为权重共享，使得计算残差变得很困难，很多论文〔1〕〔5〕和文章〔4〕都进行了详细的讲述，但我发现还是有一些细节没有讲明白，特别是采样层的残差计算，我会在这里详细讲述。卷积神经网络
　　4。1输出层的残差
　　和BP一样，CNN的输出层的残差与中间层的残差计算方式不同，输出层的残差是输出值与类标值得误差值，而中间各层的残差来源于下一层的残差的加权和。输出层的残差计算如下：
　　公式来源
　　这个公式不做解释，可以查看公式来源，看斯坦福的深度学习教程的解释，http：deeplearning。stanford。eduwikiindex。php反向传导算法。
　　4。2下一层为采样层（subsampling）的卷积层的残差
　　当一个卷积层L的下一层（L1）为采样层，并假设我们已经计算得到了采样层的残差，现在计算该卷积层的残差。从最上面的网络结构图我们知道，采样层（L1）的map大小是卷积层L的1（scalescale），ToolBox里面，scale取2，但这两层的map个数是一样的，卷积层L的某个map中的4个单元与L1层对应map的一个单元关联，可以对采样层的残差与一个scalescale的全1矩阵进行克罗内克积进行扩充，使得采样层的残差的维度与上一层的输出map的维度一致，Toolbox的代码如下，其中d表示残差，a表示输出值：
　　1：hrnet。layers｛l｝。d｛j｝net。layers｛l｝。a｛j｝。（1net。layers｛l｝。a｛j｝）。expand（net。layers｛l1｝。d｛j｝，〔net。layers｛l1｝。scalenet。layers｛l1｝。scale1〕）
　　扩展过程：
　　利用卷积计算卷积层的残差：
　　4。3下一层为卷积层（subsampling）的采样层的残差
　　当某个采样层L的下一层是卷积层（L1），并假设我们已经计算出L1层的残差，现在计算L层的残差。采样层到卷积层直接的连接是有权重和偏置参数的，因此不像卷积层到采样层那样简单。现再假设L层第j个mapMj与L1层的M2j关联，按照BP的原理，L层的残差Dj是L1层残差D2j的加权和，但是这里的困难在于，我们很难理清M2j的那些单元通过哪些权重与Mj的哪些单元关联，Toolbox里面还是采用卷积（稍作变形）巧妙的解决了这个问题，其代码为：