基于集成深度学习的时间序列预测模型

基于高斯过程的条件受限玻尔兹曼机(GCRBM)时序模型可以很好的预测单一种类时序数据,但是该模型难以预测多类别的真实高维数据。针对这个问题,提出基于集成深度学习的时间序列预测模型,对多类时序对应训练多个深可信网络(deep belief networks, DBN)模型来学习低维特征,利用低维特征对应训练多个GCRBM时序模型。预测时序时先通过训练出的一组DBN模型对目标数据进行降维并通过重建误差识别类别,然后通过识别到的类别所对应的GCRBM模型预测目标数据的后期时序。在CASIA-A步态数据集上的试验结果表明:本方法能够准确识别出步态序列,而且预测结果能够模拟出真实的步态序列,证实了本模型的有效性。     

深度置信网络对孤立性肺结节良恶性的分类

针对肺部CT图像中孤立性肺结节(SPN)良恶性分类问题,寻求能够有效表示SPN图像的特征,通过适合的分类器实现对SPN良恶性的准确判别。由SPN图像的多分辨率直方图得到768维的特征空间,并将该类特征用于支持向量机(support vector machine,SVM)分类器进行训练,最后取得了令人满意的分类效果。结合深度学习领域中相关知识,将深度置信网络(deep belief network,DBN)用于SPN良恶性分类任务当中。将从肺部CT图像中分割出的SPN图像规整化作为DBN的输入,进行无监督训练;用带有良恶性类标的SPN图像对网络进行微调得到最终的DBN模型;用训练好的DBN模型在测试图像集上进行分类。在实验中选择肺结节患者480例,提取600个SPN图像作为实验数据。将新提出的DBN模型与基于纹理特征和多分辨率直方图特征的SVM模型进行对比,在不考虑医学象征的情况下,DBN模型的识别准确率高达86%,较SVM分类器的分类性能有了显著提升。     

结合灰度预测特征与CNNs的信息服务体育成绩预测

针对大数据体育成绩预测存在精度较低的缺陷,提出一种结合灰度预测特征与CNNs的体育成绩预测算法.通过等维动态GOM模型提取灰度特征,并构建CNNs模型完成对体育成绩时间序列的回归与预测.以百米赛跑体育成绩为研究目标,完成了体育达标人数预测和体育成绩预测两个对比实验.结果表明,等维动态GOM模型以及相应的CNNs模型分别在达标人数和成绩预测中获得了最优的预测结果.提出的算法显著优于传统算法,分别在平均精度和极端数据中获得了更好的预测结果.     

结合灰度预测特征与CNNs的信息服务体育成绩预测

针对大数据体育成绩预测存在精度较低的缺陷,提出一种结合灰度预测特征与CNNs的体育成绩预测算法.通过等维动态GOM模型提取灰度特征,并构建CNNs模型完成对体育成绩时间序列的回归与预测.以百米赛跑体育成绩为研究目标,完成了体育达标人数预测和体育成绩预测两个对比实验.结果表明,等维动态GOM模型以及相应的CNNs模型分别在达标人数和成绩预测中获得了最优的预测结果.提出的算法显著优于传统算法,分别在平均精度和极端数据中获得了更好的预测结果.     

基于分数本征特征的手写数字识别

特征提取是手写体数字识别研究中的重要问题,有效、稳定的特征是提高识别率和识别精度的关键。该文提出了一种基于分数本征特征和核非线性分类器的手写数字识别方法,首先找到时频平面的一个轴进行分数傅里叶变换,使不同类别样本在这个轴上最大限度地分开,然后用主元分析进行降维,得到比较稳健的低维特征,再将常用分类器用于特征分类,实现对手写数字的识别。对实际数据进行实验,结果表明上述本征特征与核非线性分类器相结合有较高的识别率和训练、分类效率。     

基于CNN、SVM和迁移学习的轮胎花纹分类

轮胎花纹图像分类在交通事故及刑侦破案取证中具有重要的作用。为了准确地分类轮胎花纹图像,提出了一种基于卷积神经网络(convelutional neural network,CNN)、支持向量机(support vector machine,SVM)和迁移学习的轮胎花纹分类算法。首先对辅助数据库ImageNet进行CNN训练得到初始CNN模型;其次,基于迁移学习思想,利用轮胎花纹图像数据库对初始CNN模型的分类层进行微调训练,得到用于轮胎花纹图像分类的CNN模型;最后,从所得CNN模型的第二个全连接层提取输出的4 096维特征,用该特征对轮胎花纹图像进行基于SVM的图像分类。使用轮胎花纹图像数据库进行分类实验,结果表明,提出算法的分类精度达到93.1%。说明提出算法能够提高轮胎花纹图像的分类准确率。     

基于深度置信网络的时间序列预测

针对传统计算机神经网络存在梯度弥散、局部最小值、非线性时间序列长期预测性能不佳和高维序列数据复杂度高等问题,提出时序深度置信网络模型(timing deep belief network model,T-DBN).该模型预训练阶段采用改进的贪婪预训练算法,在预训练过程中使用梯度修正并行回火(gradient fixing parallel tempering,GFPT)算法,采用重构误差确定网络深度,在反向调整阶段采用拟牛顿法(BFGS算法),以获得更加准确的预测精度.结合相空间重构理论和BP (back propagation)神经网络,对中国江西省2016—2020年农业机械总动力进行了预测.针对高非线性的股票数据,提取同花顺软件1990-12-20—2018-03-30时间段内的上证指数特征信息,分别采用T-DBN、DBN和长短期记忆(long short-term memory,LSTM)模型进行股票预测,预测准确率分别为79. 3%、77. 9%和74. 6%,T-DBN模型的预测准确率高于DBN和LSTM模型.     

一种随机隐退DBN的脑电信号识别方法

针对DBN处理小样本脑电信号训练时间长且存在过拟合的问题,提出基于随机隐退的DBN算法对左右手运动想象脑电信号进行分类识别.先对原始脑电数据进行降维预处理,然后输入到随机隐退DBN模型中进行训练,得到最优参数值后进行分类识别.实验结果表明:与CSP、PCA、单一DBN网络等方法相比,基于随机隐退的DBN算法在保持较高识别率的同时,降低了对数据集的训练处理时间,证明了该方法的有效性.最后在智能轮椅平台上验证了该算法的可行性.     

混合采样与遗传算法相结合的垃圾网页检测

垃圾网页检测存在数据不平衡、特征空间维度较高的问题,为此,提出一种基于随机混合采样和遗传算法的集成分类算法.首先,使用随机混合采样技术,通过随机抽样,减少多数类样本数量,用少数类样本合成过采样技术方法生成少数类样本,获得多个平衡的训练数据子集;然后使用改进的遗传算法对训练数据集进行降维,得到多个具有最优特征的训练数据子集;使用极端梯度算法（XGBoost）作为分类器,训练多个平衡数据子集,用简单投票法对多个分类器进行集成,得到新的分类器;最后对测试集进行预测,得到最终预测结果.实验结果表明,提出算法的分类结果与XGBoost的结果相比,准确率提高了约19.25%,且减少了建立学习模型的时间,提高了分类性能,是一种较好的分类算法.     

基于聚类特征及优化网络的非侵入式负荷分解

非侵入式负荷分解可以通过总表负荷数据,识别不同电器的运行情况,对需求侧用电实现有效管理.针对多电器同时运行时负荷数据相似导致的识别正确率低的问题,提出基于特征聚类及优化时序卷积网络的非侵入式负荷分解模型.首先对用电器的负荷数据进行非负矩阵分解提取特征数据,之后使用高斯混合模型识别用电器的运行状态并进行编码,最后将多个用...     

基于梯度提升树的飞机机身对接状态识别

为了实时监控飞机机身的对接过程,针对机身对接数据没有标注和样本不平衡的特点,提出基于梯度提升树（GBDT）的机身对接状态识别方法. 通过定位器及定位器上的载荷传感器,实时获取机身对接过程中的位移和载荷数据. 结合飞机部件对接的工艺流程对历史对接数据进行状态标注,提出准确、高效的对接状态自动标注方法. 在经过标注的对接数据上训练基于GBDT的机身对接状态识别模型,通过该模型可以获得各个特征的重要性. 与长短期记忆网络（LSTM）、卷积神经网络（CNN）以及一些传统机器学习方法相比,该方法对接状态识别的宏F₁（macro_F₁）指标高达0.998,能够精准地识别每一种对接状态且训练速度较快.     

基于CNNs的两次训练融合的分类方法

该文基于卷积神经网络（CNNs）模型，提出一种模型融合的图像分类方法，将原图像经过图像增强和数据标准化后获得的数据作为原始数据，将原始数据取反后作为映射数据，分别使用原始数据和映射数据训练CNNs模型，通过融合训练后的两组CNNs模型获得改进的CNNs模型。通过假设、验证、理论推导步骤证明了该方法在简单模型上的有效性，进而推广到更复杂的卷积神经网络模型。实验结果表明，改进的CNNs模型与原始CNNs模型分类精度对比，在CIFAR-10和CIFAR-100数据集上分别提升了1%和3%，有效提升了模型的分类精度。     

半径间隔界驱动卷积神经网络模型的图像识别

基于支持向量机（SVM）的卷积神经网络（CNN）模型结合了大间隔原理,在图像识别中表现出了优异的泛化性能。然而,该方法忽视了一个关键:SVM的泛化性能不仅取决于不同类之间的间隔,还与所有样本的最小包含球（MEB）的半径有关。针对这一事实,文章提出一种基于半径间隔界（RMB）驱动的CNN模型的图像特征提取和识别的方法。与传统CNN模型相比,该模型采用基于SVM泛化误差界的策略来指导CNN深度模型学习和相应分类器构建,不仅考虑了不同类别之间的间隔,还考虑了MEB的半径。该模型能提高深度卷积模型的泛化能力而不会额外增加网络的复杂度,还能够应用于不同的深度模型中而不受限于某一特定的网络结构。在多个数据集上的实验结果表明,相比于基于Sofmax损失的CNN模型、基于中心损失的CNN模型以及基于 SVM 的 CNN 模型,该模型能够提取到鉴别性更强的图像特征,取得更高的识别率。     

基于滤波器裁剪的卷积神经网络加速算法

针对卷积神经网络（CNN）模型的压缩和加速问题,提出基于滤波器裁剪的新型卷积神经网络模型加速算法. 通过计算卷积层中滤波器的标准差值衡量该滤波器的重要程度,裁剪对神经网络准确率影响较小的滤波器及对应的特征图,可以有效地降低计算成本. 与裁剪权重不同,该算法不会导致网络稀疏连接,不需要应用特殊的稀疏矩阵计算库. 基于CIFAR-10数据集的实验结果表明,该滤波器裁剪算法能够对VGG-16和ResNet-110模型加速30%以上,通过微调继承的预训练参数可以使结果接近或达到原始模型的精度.     

一维卷积神经网络实时抗噪故障诊断算法

针对旋转机械智能诊断方法计算量大和抗噪能力差的问题,在经典模型LeNet-5的基础上提出基于一维卷积神经网络的故障诊断算法.采用全局平均池化层代替传统卷积神经网络中的全连接层,在降低模型计算量的同时,降低模型参数数量和过拟合的风险;利用随机破坏后的时域信号进行训练以提高其抗噪能力;采用改进后的一维卷积核和池化核直接作用于原始时域信号,将特征提取和故障分类合二为一,通过交替的卷积层和池化层实现原始信号自适应特征提取,结合全局平均池化层完成故障分类.利用轴承数据和齿轮数据进行实验验证并对比经典模型LeNet-5、BP神经网络和SVM.结果表明:采用全局平均池化层可有效降低模型计算量,提高模型在低信噪比条件下的诊断精度,采用随机破坏输入训练策略可显著提升模型的抗噪诊断能力;改进后的模型可以实现噪声环境下准确、快速和稳定的故障诊断.通过t-SNE可视化分析说明了模型在特征学习上的有效性.     

基于卷积神经网络的多OAM态识别方法

针对不同轨道角动量（OAM）叠加的涡旋光束探测问题,提出了基于机器学习的模式识别技术,为OAM叠加光束的检测提供了一个新思路.基于修正的von Karman功率谱模型,利用功率谱反演法生成随机相位屏,应用多步衍射法数值模拟拉盖尔高斯叠加光束在大气湍流信道的传输.研究了不同波长、传输距离和大气湍流信道条件下训练的卷积神经网络（CNN）分别对各种湍流强度测试集的识别正确率.结果表明：对于较弱的湍流、波长较长的OAM光束和较短的传输距离条件,基于CNN的OAM模式识别正确率较高;对于各种湍流条件的测试数据,使用强湍流训练集训练得到的模型与使用弱湍流训练集训练得到的模型相比识别正确率更高;利用混合训练集进行训练有利于提高识别正确率.这些结果对OAM光束解复用系统的实现具有一定的参考价值.     

Transferring deep neural networks for the differentiation of mammographic breast lesions

Machine learning can help differentiating benign and malignant lesions seen on mammographic images. Conventional models require handcrafting features for lesion representation. Due to insufficient medical instances, the performance of convolutional neural networks(CNNs) can be further increased. This study makes use of transfer learning for mammographic breast lesion diagnosis and deep neural network(DNN) models pre-trained with large-scale natural images are employed. The diagnosis performance is evaluated with the prediction accuracy(ACC) and the area under the curve(AUC) on average. A histologically verified database is analyzed which contains 406 lesions(230 benign and 176 malignant). Involved models include transferred DNNs(GoogLeNet and AlexNet), shallow CNNs(CNN2 and CNN3) that are fully trained with medical instances and boosted by support vector machine(SVM), and two conventional methods which combine handcrafted features and SVM for lesion diagnosis. Experimental results indicate that GoogLeNet achieves the best performance(ACC=0.81, AUC=0.88), followed by AlexNet(ACC=0.79, AUC=0.83) and CNN3(ACC=0.73, AUC=0.82). Knowledge transfer can improve the mammographic breast cancer diagnosis, while its wide application still requires further verification in medical imaging domain.     

基于EEMD-CNN-GRU的短期风向预测

为了提高短期风向的预测精度,提出一种基于集合经验模态分解（Ensemble Empirical Mode Decomposition,EEMD）、卷积神经网络（Convolutional Neural Network,CNN）和门控循环单元网络（Gated Recurrent Unit,GRU）的混合模型：EEMD-CNN-GRU.针对风向序列的随机性和不平稳性等特点,先利用EEMD将数据分解成多个分量;再运用CNN的局部连接和权值共享来提取分量中的潜在特征;最后,使用GRU对CNN所提取的潜在特征进一步构建特征,叠加各分量的预测值,得到最终预测结果.实验结果表明：相对于BP神经网络和长短期记忆网络（Long Short-Term Memory,LSTM）等其他模型,本文所提出的预测方法取得了良好的性能.     

基于马尔可夫过程和深度神经网络的TBM围岩识别

为了实现隧道围岩的实时识别,基于马尔可夫过程和深度神经网络模型,提出将先验围岩信息和掘进参数结合,作为深度神经网络输入的隧道掘进机（TBM）围岩实时识别方法. 根据施工现场地质勘探资料,用马尔可夫过程的隧道围岩分类方法预测隧道沿线的围岩分布概率;将该围岩分布概率作为先验围岩信息,结合TBM掘进参数作为神经网络输入,真实围岩类别作为输出,训练深度神经网络以实现对TBM前方围岩的实时识别. 使用工程现场数据进行对比实验,结果表明,所设计的深度神经网络模型的围岩总体识别率高于96%. 相比于仅将掘进参数作为输入,当结合先验围岩信息和掘进参数作为输入时,模型围岩识别率提高6%以上.