1 引言

近年来，深度学习因其强大的信息处理能力成为学术界的研究热点.它起源于人工神经网络，并利用逐层自主学习思想，克服传统神经网络的梯度弥散问题[1,2]，在图像处理、自然语言处理等多个领域取得巨大成功.Bengio[3]提出用自编码器初始化每一层神经网络的想法，后Bengio和Ranzato等人利用这种想法提出了稀疏自编码神经网络(Sparse Auto-Encoder,SAE)[4,5]，实现对数据的深层挖掘，进一步扩充深度神经网络的应用范围.稀疏自编码网络是目前应用最广泛的一类自编码网络，在病理图像分析[6]、表情图像识别[7]和高光谱图像分类[8]等领域都取得了不错的表现.

理论表明神经网络中隐含层节点数越多，网络的处理效果越好[9].但隐含层节点的增多会导致网络参数规模增大，进而使网络的训练时间大幅增加，甚至导致硬件储存空间不足等问题，因此，不少学者就如何快速训练网络进行了大量研究.Hiton等人提出利用补充的先验知识构造快速的深度信念网络，从而消除深度网络的训练困难，缩短网络的训练时间[10]，然而该方法需要使用大量的人工标注.赵由等人通过改变网络调节参数时使用的梯度下降方法，提出使用不同步平均随机梯度下降的方法训练深层网络[11]，此方法可使参数在梯度下降时快速收敛，从而加速网络的训练，但由于每次网络训练的参数初始值都为随机选取，导致该方法不能确保网络每次训练耗时都减少.Chandra等人则提出通过为网络参数建模[12]，以基向量表示参数矩阵，避免计算大量参数，此方法和其他的降维方法[13]虽能减少网络训练时间，但实际操作过于复杂.

本文提出一种基于特征聚类的稀疏自编码快速算法.首先对已有特征进行K均值聚类来降低特征冗余度，并选择聚类最佳分类数作为网络的本质特征个数，重新训练获取网络本质特征，再对本质特征进行旋转和弹性扭曲，扩充特征多样性，保证网络处理效果.实验证明该算法可在保证网络分类准确率有所提升的同时，减少大量网络训练耗时.

2 稀疏自编码网络

2.1 自编码网络

自编码器是由编码器和解码器共同构成，结构如图1所示，通常输入数据x通过编码器f的编译，得到用以表示输入数据的编码h，再将编码数据通过解码器g重构输入数据x′.原始数据通过自编码器的处理，可得到用以表达它的编码.

将自编码器思想应用于神经网络上就构成了自编码网络，自编码网络是一种3层神经网络，但其输入数据与期望输出相同.网络隐含层的计算公式如下：

(1)

其中x1,x2,…xn是输入数据，ωij和bj分别是连接每个输入层和隐含层神经元之间的权值和阈值，Hj是隐含层第j个神经元的激活值，f(x)是网络的激活函数，通常选择sigmoid函数作为激活函数，其表达形式如下：

其中α是弹性形变参数，控制弹性扭曲程度，f*(x,y)表示图像在坐标点为(x,y)处的新像素值，c1和c2为大小-1到1之间的随机数.弹性扭曲操作第二步则是对上一步得到结果进行高斯模糊，图4为普通数字图像经弹性扭曲两个步骤的处理结果对比，由图4知若仅仅对图像进行随机映射，图像数字边缘呈锯齿状，与原图像差别过大，所以扭曲操作的第二步，可使数据的边缘趋于平滑.

(2)

织RKIP蛋白相对表达为(0.64±0.11)显著低于癌旁组织(1.12±0.22)，差异有统计学意义(P<0.05)。

2.2 稀疏自编码网络

稀疏自编码网络是深度神经网络的形式之一，它在自编码网络基础上，对隐含层增加稀疏性限制，并将多个自编码网络进行堆叠.图2即堆叠两个自编码网络的稀疏自编码网络结构，第一个自编码网络训练好后，取其隐含层h1作为下一个自编码网络的输入与期望输出.如此反复堆叠，直至达到预定网络层数.最后进入网络微调过程，将输入层x、第一层隐含层h1、第二层隐含层h2以及之后所有的隐含层整合为一个新的神经网络，最后连接一个数据分类器，利用全部带标数据有监督地重新调整网络的参数.

由于网络常用的激活函数为sigmoid函数，其输出范围是0到1，所以使第i层隐含层所有神经元激活平均值pi，接近一个比较小的实数p，就可保证网络隐含层的稀疏性.为使两值尽量接近，网络引入Kullback-Liebler散度(KL散度)，稀疏自编码网络的目标函数为式(3)所示：

(3)

其中yk为网络输出层第k个神经元的值，ok为网络第k个神经元的期望输出，l为输出数据的维数，L为网络中隐含层的层数，ps为第s层隐含层神经元的激活平均值，m为第s层隐含层神经元个数.当ps很接近p时，网络的KL散度会接近于0.

稀疏自编码网络的处理能力已在多个领域得到展现，但使用稀疏自编码网络处理数据时，需要消耗大量的训练时间，特别是当数据的维数和数量增大时，网络不仅需要长时间训练，还对计算机的储存硬件要求过高，所以如何在保证网络处理效果的同时加快网络的训练尤为重要.

通过校内实训室、校外实训基地2个实践教学环境，学校、政府、企业3层实践教学平台，为本门课程的实践教学提供有力保障。除了通过课堂实训、教学实习等多种方式进行实践教学之外，还经常组织学生参与礼SHOW社团活动、学校各种礼仪接待活动、酒店礼仪展示观摩、行业礼仪风采大赛、地市大型节事礼仪志愿服务等。例如，带学生到校外实训基地中乐百花酒店，对酒店前厅部、餐饮部、客房部进行观摩学习及实地练习，组织学生参与学校运动会、大科节、美食文化节及信阳市环南湾湖自行车赛、茶文化旅游节的一系列礼仪志愿服务等等，让学生通过真实体验、参与、分析、感悟礼仪在不同场合、不同岗位的运用，寻找自身差距、主动学习。

3 基于特征聚类的稀疏自编码快速算法

可视化的网络特征中计算出部分特征的相似度较高，表明一般网络训练的特征冗余度大.因此本文提出对已有特征进行K均值聚类来降低特征冗余度，并选择最佳分类后的个数作为网络的本质特征个数，将本质特征进行旋转和弹性扭曲操作扩充其多样性.

3.1 特征重复现象

为探究网络学习到的信息，可按照模最大化的方式[14]将网络隐含层学习到的特征可视化，其主要原理是求解使隐含层节点响应最大的输入模式并可视化.在处理手写体数字图像数据时，经典稀疏自编码网络的196个初级特征可视化结果为图3，图3显示网络初级特征为输入数据的边缘信息，且其中多处特征相似度高，图3中框出的便是相似度高的一类特征.大量的实验都能证实这种特质冗余现象是普遍存在的，且在文献[15]中也有相关说明，则可通过适当缩减网络中隐含层的节点个数，降低特征的冗余性、缩短训练时间.

在调整网络参数或多次重复实验时，需要不断初始化网络进行重复训练，若利用K均值聚类方法确定网络的本质特征个数，则可直接使用本质特征个数初始化网络的隐含层神经元个数，而本质特征个数远少于一般网络隐含层神经元个数，所以待训练的特征个数大幅减少，使得网络训练耗时下降.

试验数据采用SPSS 19.0软件进行单因素方差分析法，Duncan新复极差法进行差异显著性检验，用Excel 2010制图。

3.2 特征聚类

为降低特征的冗余度，可对已有特征进行K均值聚类，得到最佳类别数也称为网络本质特征个数.由于数据进行最佳分类后，同类数据之间聚合性强，不同类别数据间距离大，所以可按照类间距与类内距比值最大原则选择最佳分类数[16].

求取最佳聚类数的算法：首先设定最大类别数为kmax，再使类别数从1遍历到kmax，对每个类别数求取以下数值：

(4)

4.2.1 数据库介绍

3.3 增加特征多样性

而根据图3的结果可知，相似特征之间存在细微差别，这种差别构成了特征的多样性.一般扩充图像特征多样性时，可采取旋转操作丰富特征图像的方向性[15]，也可采取对图像数据的扭曲增加图像的多样性[17,18].

PIVKA-II为维生素K缺乏或拮抗剂-II诱导蛋白,1984年首次对肝癌患者血清PIVKA-II水平进行研究,90%左右的肝癌患者PIVKAII水平呈现不同程度升高,应用放免法对照,91%的患者出现AFP升高[3]。随着对PIVKA-II研究的不断深入,PIVKA-II易被证实为肝癌血清肿瘤标志物,目前已被欧美国家认定为肝癌诊断重要指标[4]。

思想隐藏在人的心灵深处，但同时也反映在人的语言与行为中。在新媒体下辅导员要做好思想教育工作，就必须对学生的思想动态进行全面的监测和分析，尤其要学会借助新媒体了解学生在学习、娱乐、生活、社会事务等方面的言行。对于高校辅导员来说，只有成为一个良好的观察者，才能做一个成功的教育者。

对特征图像旋转不同角度以增加特征图像的方向性，而对旋转后的部分特征进行弹性扭曲则可进一步增加特征的图像多样性.弹性扭曲操作的第一步是对图像进行随机映射，利用双线性差值法计算坐标为为(x+c1,y+c2)处的像素值，然后利用式(5)更新坐标为(x,y)的像素值：

天很快亮起来。修车铺始终没有开门，街上人群开始密集，人们一副精神模样，左小龙疲惫不堪，眼看怀里的泥巴还长睡不醒，只得再等。新到来的一天是一个阴天，因为阳光丝毫没有要洒下的摸样，风把春天吹得像秋天一样，连嫩绿的叶子都落下几片，老天就像打了很厚的粉底。左小龙本来很想嘘嘘，泥巴的脑袋又压在他的膀胱位置，让他更加难受，但他见泥巴睡的投入，实在不忍心叫醒，而且觉得把泥巴叫醒后第一句话就是“我要嘘嘘”显得自己毫无英雄气概，思前想后，一筹莫展。

f*(x,y)=f(x+α·c1,y+α·c2)

(5)

教育学生讲究时机。这就要求教师在教育教学中用细心去发现时机，用耐心去等待时机，用爱心去创造时机，要了解和研究学生身上的“闪光点”，抓住有利时机对学生进行教育，只要时机得当、方法得当，定能很好地促使学生养成良好行为习惯。

本文提出的基于特征聚类的稀疏自编码快速算法具体算法步骤如下：

图6、图7分别为含砂流对窄8贴片(外拱璧处)和窄10贴片(外拱璧处)冲蚀后的损伤形貌。图6中可观察到若干条较长的犁沟型划痕，图7中既有犁沟型划痕，也有较多的串坑。外拱璧处附近的流场为高压区，流动在弯管横断面处呈对称的旋涡流，沿着流向呈螺旋流动[17,19]，故外拱璧附近流场中的固相颗粒携带着较高的动量多次撞击和切削外拱壁，导致其具有较严重的疲劳损伤和质量损失。

3.4 具体算法步骤

网络的本质特征经过旋转扭曲操作后，其多样性会得到很大的优化，网络特征丰富的多样性可以防止网络的过拟合，使网络特征在原特征图像基础之上增加新的信息，从而得到更高的分类准确率.

(1)随机选取数据的一部分作为训练数据输入自编码网络，并设置网络层数和每层网络节点数等超参数，通过LBFGS梯度下降法[19]训练网络；(2)对训练好的个自编码网络特征进行K均值聚类，并得到最佳聚类个数k；(3)构造一个新的自编码网络，设置网络的隐含层结点个数为k，提取训练好的隐含层特征；(4)对k个特征进行扭曲和旋转，扩充特征；(5)构造第二个自编码网络，以步骤(4)获得的特征为输入，训练学习网络；(6)重复步骤(2)～(5)直至达到初始设置的网络层数,并利用全部数据对网络进行微调.

4 实验

实验采用L-BFGS梯度下降法调整网络参数，且为增加特征的鲁棒性，添加Dropout算法以提高网络泛化能力.实验1中，迭代次数为400次，Dropout操作系数为0.5，网络稀疏系数为0.05.特征聚类时，最大类别数均设置为带聚类特征个数的1/3，实验重复次数为15次；实验2中，LBFGS梯度下降法迭代次数为300次，其他参数同实验1.为方便比较实验结果，本文均默认将本质特征扩充到与原特征同等规模.实验所用计算机CPU为Intel(R) Core(TM) i5-2450M.

4.1 实验1

4.1.1 数据库介绍

实验1采用MNIST手写体识别数据库，该数据库中的数据均为大小为28×28的手写体数字图像.数据库中共有60000个训练数据，10000个测试数据.本文实验仅在全部训练数据中，随机选取30000个训练数据训练网络，5000个测试数据测试网络.

4.1.2 特征聚类

实验首先对已训练好的网络初始特征进行K均值聚类，得到最优聚类数k，再采用旋转和弹性扭曲增加特征.使用不同聚类数的优化网络在分类准确率和耗时上的对比结果如表1所示，表1中网络结构784-196(n1)-196-10的含义是，先构造结构为784-n1-784的稀疏自编码网络，即网络输入层与输出层节点数为784(输入数据维数)，隐含层节点数为n1(特征聚类个数)，再将训练好的n1个特征通过旋转和弹性扭曲增多至196个，然后利用196个初级特征重新构造下一层自编码网络，获取深层的196个特征，最后将196个深层特征输入softmax分类器，分为10类(数据类别数).

表1 不同特征聚类数的快速网络准确率与耗时对比结果

网络结构分类准确率训练耗时(s)784-196(1)-196-1095.13%1436784-196(10)-196-1095.84%1615784-196(20)-196-1096.15%1740784-196(50)-196-1096.28%1831784-196(54)-196-1096.38%1870784-196(80)-196-1096.38%2157784-196(100)-196-1096.40%2488

使用聚类最优数确定网络本质特征，并扩充本质特征的多样性，可利用这种优化算法对不同规模的稀疏自编码网络进行加速优化.经过多次实验可知，当网络不同的隐含层神经元个数相同时，它们聚类得到的本质特征个数相近，所以实验中均取为同一最佳类别数.实验在3个不同规模稀疏自编码网络上进行优化，并与原网络在分类准确率和耗时上进行对比，对比结果如表2.

4.1.3 快速稀疏自编码网络

网络的输出层则可将式(1)中的输入数据换成隐含层输出数据，计算所得即为网络的输出值，网络会利用实际与期望输出的误差来反向传播，重复地信息正向传播和误差反向传播直至迭代终止.

表1结果显示，特征聚类个数越多，网络的分类准确率越高，但同时其训练耗时越长.表1中倒数第二行的网络，在分类准确率和训练耗时上都有良好的表现，其中的54即196个特征进行K均值聚类时的最佳聚类个数，也即网络的本质特征个数.当聚类类别数比54大时，网络的准确率虽能进一步提升，但提高幅度不明显，且会消耗大量计算时间，所以利用本质特征个数优化的网络在准确率与训练耗时上均能达到不错效果.图5为网络的54个本质特征可视化图，对比图3看出54个本质特征很好地保留了原196个特征的多样性，虽仍有少量重复，但已很大程度减少了原特征的冗余性.

表2结果显示优化网络相比于原网络，在保证分类准确率小幅增长的同时，缩短了至少50%的训练时间.因快速算法对每层特征都进行旋转扭曲操作时，在不增加网络训练时间的条件下，强制性丰富了每层特征的多样性，所以优化网络较原网络在分类准确率上会有小幅增长.

表2 实验1优化网络与原网络的准确率与耗时对比结果

网络结构分类准确率耗时(s)784-100-100-1094.98%2801784-100(25)-100(25)-1095.28%1194784-196-196-1096.22%3876784-196(54)-196(54)-1096.27%1689784-300-300-1097.30%5599784-300(84)-300(84)-1097.44%2677

4.2 实验2

其中a(i)为样本xi与同类中其他样本的平均距离，ni为样本xi所在类别中样本的总个数；b(i)为样本xi与其他类别中心样本的最小距离，pi表示样本xi所在类别，mp为第p类数据的中心样本，k为样本划分的类别数；Sk即样本分为k类的聚合效果指标，n为样本的总量，S越大则表示分类结果的聚合性越好.试验遍历类别数后，得到Sk值最大对应的类别数k，再通过多次重复试验，选取结果中出现次数最多的类别数做为最佳分类个数，得到本质特征个数后，可将自编码网络隐含层节点个数初始化为本质特征个数，重新构造自编码网络训练得到数据的本质特征.网络在使用本质特征时减少了特征冗余度，但同时也会小幅降低网络的分类准确率，因此还需通过旋转扭曲操作增加特征的多样性.

实验2采用CMU-PIE人脸数据库，该数据库包含68位志愿者的41,368张多姿态、光照和表情的面部图像.由于计算机硬件和时间限制，实验二仅选择数据库中尺寸为32×32的30种人脸图像进行分类，其中每种人脸均有170张不同的数据，即共有5100个带标数据，随机选取4500个作为训练数据，其余600个数据作为测试数据.

4.2.2 快速稀疏自编码网络

实验在3个不同规模的稀疏自编码网络上进行加速优化，在尺寸为32×32的人脸数据上，优化网络与原网络在分类准确率与耗时上的对比结果如表3所示.

企业重组业务是指企业法律结构或经济结构发生重大改变的非日常经营活动，主要包括企业法律形式改变、合并、分立、股权收购、债务重组、资产收购等方式。企业重组涉及的税务处理分为一般性税务处理和特殊性税务处理两种。其中，特殊性税务处理需要同时满足五个条件：重组后连续十二个月不改变重组资产原本的实质性经营活动；重组时取得股权支付的主要原股东在重组后连续十二个月内不得转让该股权；重组具有合理的商业目的且不以免除、减少或推迟缴纳税款为主要目的；重组交易对价的股权支付比例要达到规定比例；被收购、合并、分立部分股权或资产比例达到规定要求。

表3对比结果显示，本文优化算法在处理人脸数据时，能达到缩短训练时间约50%的效果，同时优化网络的准确率较原网络有约1%的提升.由于实验2中网络提取的特征较实验一更为复杂，采用旋转扭曲操作可使特征的多样性得到更大程度的丰富，对比实验1和实验2的优化效果可看出，在复杂数据上优化网络在分类准确率上的优化效果更加突出.

表3 实验2优化网络与原网络的准确率与耗时对比结果

网络结构分类准确率耗时(s)1024-100-100-3096.17%6751024-100(29)-100(29)-3097.33%3891024-300-300-3097.67%16981024-300(60)-300(60)-3098.50%6691024-500-500-3098.17%25931024-500(98)-500(98)-3098.83%1062

如图6所示，图6(a)为经典网络提取的100个初级特征可视化图像，图6(b)为快速算法优化网络的100个本质特征.由于特征中线条越清晰，说明网络对训练数据的学习越充分，则该网络会由于过拟合问题，出现对测试数据分类效果差的现象.因此，认为特征中线条相对模糊的特征，鲁棒性更好.而对比图6的两个结果图可以看出，图6(b)中快速算法优化网络的特征图像线条较模糊，表明其鲁棒性和多样性更丰富，所以优化网络的网络分类预测效果更佳.

4）师生关系、同学关系更加融洽。在“任务型”教学模式的实施中，教师频繁参与任务的各环节，与学生之间的沟通交流明显增多，师生之间的感情得到了升华。此外，小组成员之间为了更好地完成任务展示，聚在一起讨论交流的时间也增加了，同学之间的关系更加融洽。

5 结论

针对网络学习中特征冗余高的特点，提出一种基于特征聚类的稀疏自编码快速算法.首先对原特征进行K均值聚类得到最佳聚类个数，即网络的本质特征个数，再对本质特征进行旋转扭曲增加多样性.实验结果表明，大量网络特征并非只能通过扩大网络规模来获取，对本质特征进行扩充同样可得到较好的特征，而采用优化操作提取的特征较原特征有更好的分类效果，且这种优化操作能至少为网络缩短约50%的训练耗时.在处理高维复杂大数据量的数据、多次重复实验和训练深度多层网络的情况下，本文的优化方法效果尤为明显.

吕凌子八点不到就去物业公司找陈主任，物业办公室还没开门。为打发要死不活的时间，吕凌子进了小区外的一家拉面馆。开拉面馆的是来自兰州的一对夫妇，男的正在靠门边的案桌前拉面，一块和好的面团在他手中三下两下地变成了千丝万缕，就跟玩魔术似的；女的在收银台后站着，头上扎着一方蓝底白圈的头巾，沧桑的脸上看不出任何表情。吕凌子没有在外吃早餐的习惯，并非拉面馆里的常客，之前只来过两次，每次都有丈夫陪着。

本文提出的快速算法基本可适用于大部分深度网络方法，同时还可用于处理非二维的语音数据或信号数据，只需改变其扩充多样性的方法即可.文中为方便实验比较，扩充本质特征的规模与原特征规模一致，但如何获得最佳的隐含层节点个数，仍需进行大量对比实验确定，目前暂无理论方法直接求得最佳隐含层节点个数，所以如何获取使准确率和时间双重目标达到最佳的隐含层节点个数是接下来的研究重点.

参考文献

[1]Hinton G,Salakhutdinov R.Reducing the dime-nsionality of data with neural networks[J].Science,2006,313(28):504-507.

[2]Kolen J,Kremer S.A Field Guide to Dynamical Recurrent Networks[M].Hoboken:Wiley-IEEE Press,2001.237-243.

[3]Bengio Y,Lamblin P,Popovici D,et al.Greedy layer wise training of deep networks[A].The 19th International Conference on Neural Information Processing Systems[C].Massachu-setts,USA:MIT Press,2007.153-160.

[4]Ranzato M,Poulthey C,Chopra S,et al.Efficient learning of sparse representations with an energy-based model[A].The 19th International Conference on Neural Information Processing Systems[C].Massachusetts,USA:MIT Press,2007.1137-1144.

[5]Bengio Y.Learning deep architectures for AI[J].Foundations and Trends in Machine Learning,2009,2(1):1-127.

[6]Xiaofan Zhang,Hang Dou,Tao Ju,et al.Fusing heterogeneous features from stacked sparse autoencoder for histopathological image analysis[J].IEEE Journal of Biomedical and Health Informatics,2015,20(5):1377-1383.

[7]Binbin Huang,Zilu Ying.Sparse autoencoder for facial expression recognition[A].2015 IEEE 12th Intl Conf on Ubiquitous Intelligence and Computing and 2015 IEEE 12th Intl Conf on Autonomic and Trusted Computing and 2015 IEEE 15th Intl Conf on Scalable Computing and Communications and Its Associated Workshops (UIC-ATC-ScalCom)[C].Piscataway:IEEE Press,2015.10-14.

[8]Chao Tao,Hongbo Pan,Yansheng Li,et al.Unsupervised spectral spatial feature learning with stacked sparse auto-encoder for hyperspectral imagery classification[J].IEEE Geoscience and Remote Sensing Letters,2015,12(12):2438-2442.

[9]Coates A,Ng A,Lee H.An analysis of single layer networks in unsupervised feature learning[J].Journal of Machine Learning Research,2011,15:215-223.

[10]Hinton G,Osindero S,Teh YW.A fast learning algorithm for deep belief nets[J].Neural Computation,2006,18(7):1527-1554.

[11]Zhao You,Bo Xu.Improving training time of deep neural network with asynchronous averaged stochastic gradient descent[A].The 9th International Symposium on Chinese Spoken Language Processing[C].Piscataway:IEEE Press,2014.12-14.

[12]Chandra B,Sharma R.Fast learning in deep neural networks[J].Neurocomputing,2016,171(C):1205-1215.

[13]Xiang Li,Ge Wang.Optimal band selection for hyperspectral data with improved differential evolution[J].Journal of Ambient Intelligence and Humanized Computing,2015,6(5):675-688.

[14]Erhan D,Bengio Y,Courville A,et al.Visualizing higher layer features of a deep network[R].University of Montreal,2009.

[15]Yuxi Luo,Yi Wan.A novel efficient method for training sparse auto-encoder[A].International Congress on Image and Signal Processing[C].Piscataway:IEEE Press,2013.1019-1023.

[16]Yijing Chong,Hong Sun,Peiwen Zhang.A clustering algorithm applying to transportation market segment[J].Applied Mechanics and Materials,2014,505(3):735-739.

[17]Simard P,Steinkraus D,Platt J.Best practices for convolutional neural networks applied to visual document analysis[A].The 7th International Conference on Document Analysis and Recognition[C].Piscataway:IEEE Press,2003.958-963.

[18]Chaoqun Li,Victor S.Sheng,Liangxiao Jiang,et al.Noise filtering to improve data and model quality for crowdsourcing[J].Knowledge-Based Systems,2016,107:96-103.

[19]Liu D,Nocedal J.On the limited memory BFGS method for large scale optimization[J].Mathematical Programming,1989,45(3):1503-1528.