基于主动深度学习的高光谱影像分类

针对当前高光谱遥感影像分类人工标注样本费时费力,大量未标注样本未得到有效利用以及主要利用光谱信息而忽视空间信息等问题,提出了一种空-谱信息与主动深度学习相结合的高光谱影像分类方法。首先利用主成分分析对原始影像进行降维,在此基础上提取像素的一正方形小邻域作为该像素的空间信息并结合其原始光谱信息得到空谱特征。然后,通过稀疏自编码器得到原始数据的稀疏特征表达,并通过逐层无监督学习稀疏自编码器构建深度神经网络,输出原始数据的深度特征,将其连接到softmax分类器,利用少量标记样本以监督学习的方式完成模型的精调。最后,利用主动学习算法选择最不确定性样本对其进行标注,并加入至训练样本以提高分类器的分类效果。分别对PaviaU影像和PaviaC影像进行分类实验的结果表明,该方法在少量标记样本情况下,相对于传统方法能有效地提高分类精度。     

CHRIS 高光谱图像森林类型分类方法比较研究

以长白山为试验区,选择CHRIS/PROBA高光谱零度角遥感数据,在对其进行预处理的基础上,通过应用最大似然法(MLC)、最小距离法、支持向量机法(SVM)和光谱角填图法(SAM)等几种常用的高光谱遥感分类方法对影像进行森林类型分类。利用混淆矩阵对分类结果进行验证,结果显示:在高光谱遥感森林类型分类中,SVM总体分类精度最高,为84.60％;其次是MLC,为 83.53％,最小距离法73.81％,SAM 56.49％。Kappa系数从高到底为:SVM 0.78,MLC 0.77,最小距离法0.68,SAM 0.52。经过比较分析,得出SVM分类方法精度最高,这表明该方法用于高光谱遥感森林分类中的实用性和优越性。     

基于深度信念网络的命名实体识别

传统的命名实体识别方法是将大量手工制定的特征输入到统计学习模型中以实现对词语的标记,能够取得较好的效果,但其手工特征制定的方式增加了模型建立的难度。为了减轻传统方法中手工特征制定的工作量,首先对神经网络语言模型进行无监督训练以得到词语特征的分布式表示,然后将分布式的特征输入到深度信念网络中以发现词语的深层特征,最后进行命名实体识别。该方法在前人研究的基础上利用深度信念网络对神经网络语言模型进行了扩展,提出了一种可用于命名实体识别的深层架构。实验表明,在仅使用词特征和词性特征的条件下,该方法用于命名实体识别的性能略优于基于条件随机场模型的方法,具有一定的使用价值。     

利用深度特征融合进行高光谱遥感影像分类

针对卷积神经网络(convolution neural network,CNN)未能充分挖掘和利用遥感影像不同层次空-谱特征信息的问题,提出了一种多输入中高层特征信息融合方法对高光谱遥感影像进行分类.文章利用三维卷积神经网络(three dimensional convolution neural network,3D...     

高光谱影像光谱响应曲线分维计算

高光谱影像光谱响应曲线包含丰富的光谱特征,分形维值可以表征复杂光谱响应曲线特征,提出了步长测量法光谱响应曲线分形维值计算算法及高光谱分形特征影像的生成流程,对OMIS影像上不同类型地物样本的光谱曲线分维特征计算结果表明,分维是一种有效表达像元光谱信息的特征值。讨论了光谱响应曲线分维值对于高光谱数据处理的意义。     

基于深度信念网络的医院门诊量预测

有效的医院门诊量预测是现代医院对医疗资源实现智能化管理的重要前提之一。现有的医院门诊量预测方法大多针对的是单一的数据集,缺少对数据的充分挖掘和深入分析。为此,提出一种基于深度信念网络的医院门诊量预测方法,用深度信念网络对医院各科室的门诊量数据进行无监督学习,完成对门诊量数据的特征提取,挖掘各科室门诊量数据间的相互关系,在网络的顶层叠加一个逻辑回归层并将提取出的数据特征作为输入来预测各科室未来的门诊量。仿真实验结果表明,基于深度学习的预测模型可以得到较高的门诊量预测精度,是一种可行且有效的预测方法。     

一种新的基于瓶颈深度信念网络的特征提取方法及其在语种识别中的应用

在语种识别中,传统的MFCC特征由于每帧信号上的信息量不足,很容易受到噪声污染,且抗噪能力较弱。同时,目前普遍使用的SDC特征提取方法在参数选择上需要人为设定,这增加了识别结果的不确定性。针对上述不足,将深度学习方法引入特征提取之中,提出了基于瓶颈深度信念网络的特征提取方法。最后在NIST2007数据库上对瓶颈层的大小、隐层数目以及瓶颈层位置进行了相关的对比实验,结果表明,提出的方法相对于传统的特征提取方法能够取得更高的识别率。     

基于深度信念网络的湖羊维持行为识别

为提升湖羊的福利化养殖水平和推动动物福利事业健康发展,提出了基于深度信念网络(Deep Belief Network, DBN) 的湖羊维持行为识别方法。挑选6只湖羊佩戴装有姿态传感器的颈环,经数据采集和整理,构建了包括58680个样本的湖羊维持行为数据集,记录了湖羊卧息、采食、饮水、反刍4种维持行为,结合错误率和重构误差两项评价指标,构建了逐层贪婪二次划分算法的DBN识别模型,经训练后,在测试集上与传统的BP神经网络(BPNN)、随机森林(RF)、支持向量机(SVM)模型 进行对比分析?同时对湖羊进行分组识别对比分析,结果表明:本文方法明显优于其他三种方法,4种维持行为的平均识别精度和灵敏度分别为0.9916和0.9915,验证了该方法在湖羊维持行为识别上的有效性。本研究结果可为湖羊的福利化养殖、 行为学研究、异常行为识别及疾病预警提供技术支持     

深度信念网络研究进展

深度信念网络（Deep Belief Networks,DBN）作为深度学习（Deep Learning,DL）中的重要模型,目前已被成功应用于人脸识别、手写字体识别、医学图像分析处理等诸多领域。从深度信念网络出发,主要做了四个方面的工作：第一,从受限玻尔兹曼机以及深度信念网络的网络结构和学习过程两个方面阐述了深度信念网络的基本原理;第二,从网络结构和学习算法两个方面总结了深度信念网络的研究进展：在网络结构方面,从网络深度、RBM结构和DBN级联三个角度进行归纳;在学习算法方面,从基本算法、优化算法和融合方法三个方面进行梳理;第三,对深度信念网络在医学图像分析领域中的应用进行了总结;第四,总结了目前DBN存在的问题。     

改进的稀疏深度置信网络

深度学习作为近年热门研究领域,具有极大的应用前景,但存在过拟合、欠拟合、隐藏层数和节点数选取等诸多问题。针对深度置信网络存在的过拟合问题,借鉴压缩感知理论和零范数的数学性质,构建了一种基于无均值高斯分布函数的稀疏深度置信网络。通过在预训练阶段添加稀疏正则项,进一步改进深度置信网络训练过程的方法加以解决过拟合问题。利用ORL和MINIST两种公开数据集上对该改进方案进行验证分析,结果表明其比现有的改进方案在稀疏性和准确性上有较大提升。     

基于层次稀疏DBN的瓶颈特征提取方法

针对现有语音特征无法有效利用长时段语音和监督性类别信息,及现有瓶颈特征提取方法耗时过长等缺陷,提出基于层次结构稀疏深度可信神经网络的瓶颈特征提取方法.该方法将重叠组套索作为深度可信神经网络目标函数的稀疏正则项使用,从而构建训练速度更快的稀疏深度可信神经网络.然后利用层次结构的网络架构方式,将两个稀疏深度可信神经网络串联后使用,进一步增强瓶颈特征的判决能力.文中将此瓶颈特征应用于音素识别中,实验表明该特征的有效性.     

DBN在蛋白质编码区识别问题中的应用研究

针对真核生物DNA序列中蛋白质编码区的识别问题,提出基于深度置信网络（Deep Belief Network,DBN）的组合模型。通过信号处理技术对真核生物的DNA序列进行数值转换,并结合统计学知识提取转换后DNA序列的数值特征;利用随机森林对所提取的特征变量降维;用深度置信网络模型对DNA序列分类判别;根据短时傅里叶变换（Short Time Fourier Transform,STFT）技术对外显子区准确定位。在三个标准测试集上比较组合模型与传统[Logistic]回归模型、贝叶斯判别模型的判别效果,结果显示,深度置信网络组合模型的准确率和特异度等指标都明显优于[Logistic]回归模型和贝叶斯判别模型。     

基于深度信念网与隐变量模型的用户偏好建模

从高维、稀疏的用户评分数据中构建用户偏好模型,存在迭代计算复杂度高、中间结果规模大和难以实现有效推理等问题。为此,提出一种基于深度信念网(DBN)和贝叶斯网(BN)的用户偏好建模方法。采用DBN对评分数据进行分类,用隐变量表示不能直接观测到的用户偏好,利用含隐变量的BN描述评分数据中蕴含的相关属性间的依赖关系及其不确定性。在MovieLens和大众点评数据集上的实验结果表明,该方法能够有效描述评分数据中与用户偏好相关的各属性间的依赖关系,其精确率和执行效率均高于隐变量模型。     

一种基于胶质细胞链的改进深度信念网络模型

深度信念网络(Deep belief network, DBN) 是一种从无标签数据学习特征的多层结构模型. 在同一层单元间缺少连接, 导致数据中的深度关联特征难以提取. 受到人脑中胶质神经细胞机制的启示, 提出一种基于胶质细胞链的改进 DBN 模型及其学习算法, 以提取更多数据信息. 在标准图像分类数据集上的实验结果表明, 与其他几种模型相比, 本文提出的改进 DBN 模型可以提取更为优秀的图像特征, 提高分类准确率.     

深度置信网络优化模型在人才评价中的应用

针对深度置信网络(DBN)权值随机初始化容易使网络陷入局部最优的问题,引入改进的和声搜索(IHS)算法,提出基于IHS的DBN模型(IHS-DBN)。在和声搜索算法的基础上,利用全局自适应的和声音调调整方式,提升算法收敛速度和后期局部搜索能力。将DBN重构误差函数作为IHS算法的优化目标函数,通过不断迭代优化解向量为DBN寻找一组较优的初始权值进行网络训练,并在MNIST数据集上验证IHS-DBN模型的有效性。IHS-DBN模型在高校人才评价中的应用结果表明,与DBN、SVM和BP神经网络评价模型相比,IHS-DBN模型的评价准确率分别提高3.6%、7.3%和16.4%。     

基于深信度网络分类算法的行人检测方法

针对目前浅层分类方法存在训练样本数量过大和拟合复杂函数能力较弱等不足,提出一种改进的基于深信度网络分类算法的行人检测方法。首先,通过搭建带T分布函数显层节点的受限波兹曼机输入端改进深信度网络的输入方式,将行人特征提取信息通过输入端的显层结构转化为分类器可以识别的伯努利分布方式;其次,搭建多隐层受限波兹曼机中间层结构,实现隐层结构间的数据传递,保留关键信息。最后,利用BP神经网络搭建分类结构的输出端,实现分类误差信息反向传播并对分类结构的参数进行微调,不断优化分类器结构。实验证明,改进的深信度网络行人检测算法性能优于经典浅层分类算法,算法的检测速度也能满足使用要求。     

一种深度置信网络和迭代量化的图像检索方法

针对网络图像数据的迅速增多导致传统图像检索的效果不能满足当前需求的问题,提出了一种基于深度置信网络(deep belief network,DBN)和迭代量化(iterative quantization,ITQ)的无监督学习图像检索的方法.首先,构造深度置信网络的模型,此模型是由3层受限玻尔兹曼机堆叠而成;然后,用此深度置信网络模型对原始图像的高维特征进行中维特征提取,再采用迭代量化的哈希方法,对提取图像中维特征进行二值编码;最后,针对MNIST、CIFAR-10和Corel-1000数据集对模型进行实验验证并评估.结果表明,所提出的方法与现在的几种主流方法相比检索性能更好.除此之外,本方法对乳腺数据集DDSM和肺结节CT图像数据集LIDC-IDRI中的检索也取得了较好的效果.     

多尺度3D胶囊网络高光谱图像分类

为解决有限训练样本下的高光谱遥感图像分类特征提取不充分的问题,该论文提出了多尺度3D胶囊网络方法来助力高光谱图像分类.相比传统的卷积神经网络,所提出的网络具有等变性且输入输出形式都是向量形式的神经元而非卷积神经网络中的标量值,有助于获取物体之间的空间关系及特征之间的相关性,且在有限训练样本下能避免过拟合等问题.该网络通过3种不同尺度的卷积核操作对输入图像进行特征提取来获取不同尺度的特征.然后3个分支分别接不同的3D胶囊网络来获取空谱特征之间的关联.最后将3个分支得到的结果融合在一起,采用局部连接并通过间隔损失函数得到分类结果.实验结果表明,该方法在开源的高光谱遥感数据集上具有很好的泛化性能,且相比其他先进的高光谱遥感图像分类方法具有较高的分类精度.