双通道卷积神经网络在静态手势识别中的应用

针对静态手势识别任务中,传统基于人工提取特征方法耗时耗力,识别率较低,现有卷积神经网络依赖单一卷积核提取特征不够充分的问题,提出双通道卷积神经网络模型。输入手势图片通过两个相互独立的通道进行特征提取,双通道具有尺度不同的卷积核,能够提取输入图像中不同尺度的特征,然后在全连接层进行特征融合,最后经过softmax分类器进行分类。在Thomas Moeslund和Jochen Triesch手势数据库上进行实验验证,结果表明该模型提高了静态手势识别的准确率,增强了卷积神经网络的泛化能力。     

基于多特征加权融合的静态手势识别

针对人工提取特征的单一性及卷积神经网络提取特征的遗漏性问题,提出了一种基于多特征加权融合的静态手势识别方法.首先,提取分割后的手势图像的傅里叶和Hu矩等形状特征,将两者融合作为手势图像的局部特征;设计双通道卷积神经网络提取手势图像的深层次特征,采用主成分分析方法对提取的特征进行降维;然后,将提取的局部特征和深层次特征进行加权融合作为手势识别的有效特征描述;最后,使用Softmax分类器进行手势图像分类.实验结果验证了提出方法的有效性,在手势图像数据集上的识别准确率达到了99%以上.     

基于深度学习的计算机显示器电磁信息泄漏识别

本文以计算机显示设备泄漏电磁信号为研究对象,对于人工提取特征识别电磁泄漏信号存在的主观性强、特征冗余的问题,区别于传统基于经验的人工特征提取模式,利用人工智能深度学习方法,使用处理图像的深度学习技术应用于电磁信息泄漏特征识别,提出了一种基于卷积神经网络的识别方法.该方法首先提取电磁泄漏信号的时频谱信息作为卷积神经网络模型的输入,然后利用模型的自学习能力提取深层特征,实现对不同分辨率来源电磁泄漏信号的识别,识别准确率达到98％,单信号检测时间仅需40 ms,验证了卷积神经网络应用于电磁泄漏信号识别的有效性,为电磁泄漏预警与防护提供了重要依据,为电磁泄漏视频信号还原复现提供有力支撑.     

基于卷积神经网络的物品识别系统设计与实现

为快速准确地获取未知物品的信息,采用服务端和客户端相分离的架构,设计并实现基于卷积神经网络的电脑端和Android手机端物品识别系统。首先对客户端上传的本地图片或者手机拍摄照片进行预处理,然后利用预训练模型搭建卷积神经网络,提取图像特征并分类,最后将识别结果通过网络连接返回至客户端,完成物品的识别。实验结果表明,该系统拥有良好的在线识别能力,这将极大地改进人们获取信息的方式,更加方便和高效。     

基于NLWT系数增强的随机失活CNN电机运行状态检测

为了快速有效地从热像仪采集的温度数据中识别出电机的运行故障,本文根据随机失活、非线性小波变换系数增强(NLWTCE)和卷积神经网络算法相结合对电机图像进行识别.首先根据热像仪采集的数据建立电机的图像数据集,通过非线性小波变换(NLWT)将数据进行图像增强,然后构建改进的卷积神经网络(ICNN)模型,将提取的特征作为最终的识别特征来进行图像识别,最后根据与正常电机图像作比较,识别出故障的电机图像,实现了有效、准确的识别故障电机图像与正常电机图像.实验结果表明,改进的卷积神经网络模型不仅具有较高的识别准确率,也进一步简化了提取图像特征的复杂过程.该方法的有效性和合理性得到了验证,并适用于工程运用中.     

面向SAR目标识别的深度卷积神经网络结构设计

目的 针对用于SAR （synthetic aperture radar） 目标识别的深度卷积神经网络模型结构的优化设计难题,在分析卷积核宽度对分类性能影响基础上,设计了一种适用于SAR目标识别的深度卷积神经网络结构。方法 首先基于二维随机卷积特征和具有单个隐层的神经网络模型-超限学习机分析了卷积核宽度对SAR图像目标分类性能的影响;然后,基于上述分析结果,在实现空间特征提取的卷积层中采用多个具有不同宽度的卷积核提取目标的多尺度局部特征,设计了一种适用于SAR图像目标识别的深度模型结构;最后,在对MSTAR （moving and stationary target acquisition and recognition） 数据集中的训练样本进行样本扩充基础上,设定了深度模型训练的超参数,进行了深度模型参数训练与分类性能验证。结果 实验结果表明,对于具有较强相干斑噪声的SAR图像而言,采用宽度更大的卷积核能够提取目标的局部特征,提出的模型因能从输入图像提取目标的多尺度局部特征,对于10类目标的分类结果（包含非变形目标和变形目标两种情况）接近或优于已知文献的最优分类结果,目标总体分类精度分别达到了98.39%和97.69%,验证了提出模型结构的有效性。结论 对于SAR图像目标识别,由于与可见光图像具有不同的成像机理,应采用更大的卷积核来提取目标的空间特征用于分类,通过对深度模型进行优化设计能够提高SAR图像目标识别的精度。     

基于多特征融合和卷积神经网络的植物叶片识别

植物叶片识别是植物自动分类识别研究的重要分支和热点,利用卷积神经网络进行图像分类研究已成为主流.为了提高植物叶片识别准确率,提出了基于多特征融合和卷积神经网络的植物叶片图像识别方法.首先对植物叶片图像进行预处理,提取LBP特征和Gabor特征,将多特征相加融合输入网络进行训练,使用卷积神经网络(AlexNet)构架作为分类器,利用全连接层对植物叶片进行识别.为了避免过拟合现象,使用"dropout"方法训练卷积神经网络,通过调节学习率、dropout值、迭代次数优化模型.实验结果表明,基于多特征融合的卷积神经网络植物叶片识别方法对Flavia数据库32种叶片和MEW2014数据库189种叶片识别分类效果较好,平均正确识别率分别为93.25％和96.37％,相比一般的卷积神经网络识别方法,该方法可以提高植物叶片的识别准确率,鲁棒性更强.     

基于卷积神经网络的运输船舶分类识别方法

为了解决运输船的精细分类识别问题,针对在港口、航道拍摄的大量运输船图像,将一个8层卷积神经网络和支持向量机结合起来,通过用运输船训练集对网络进行监督训练,然后提取卷积神经网络第一个全连接层的特征,训练支持向量机后便可以对运输船进行分类识别,最后与其他全连接层的特征进行对比。实验结果表明,该方法能够实现运输船类型精细分类识别,平均检测准确率达到88.6%。     

面向自动拆解的废旧电器整机智能识别方法

针对拆解废旧电器整机识别的传统方法效率低下的现象,提出一种自定义特征的废旧电器整机识别的方法;首先对废旧电器图像采用目标分割算法把废旧电器与背景进行分割,然后提取废旧电器整机的形状特征和卷积神经网络提取的深层特征,采用PCA算法对提取到的形状特征进行优化,将优化后的形状特征与深层特征进行特征拼接,最后将拼接后的特征向量对搭建好的3个SVM二分类器进行训练,得到废旧电器的分类模型;结果表明,拼接后的特征向量对废旧电器识别的准确率较高,高达91.21%,能够有效地实现废旧电器的智能识别。     

结合肤色模型和卷积神经网络的手势识别方法

在手势识别研究过程中,人工选取特征难以适应手势的多变性。提出了一种结合肤色模型和卷积神经网络的手势识别方法,对采集的不同背景下的手势图像,首先用肤色高斯模型分割出手势区域,然后采用卷积神经网络建立手势的识别模型,该模型融合了手势特征提取和分类过程,模拟视觉传导和认知,有效避免了人工特征提取的主观性和局限性。识别模型以手势区域的灰度信息为输入,同时利用权值共享和池化等技术减少网络权值个数,降低了模型的复杂度。实验结果表明,卷积神经网络（CNN）方法能够有效进行特征学习,在不同数据集下对手势的平均识别率都达到95%以上,与传统方法进行对比实验,表明该方法具有较高的识别率和实时性。     

高分辨卫星图像卷积神经网络分类模型

目的 卫星图像往往目标、背景复杂而且带有噪声,因此使用人工选取的特征进行卫星图像的分类就变得十分困难。提出一种新的使用卷积神经网络进行卫星图像分类的方案。使用卷积神经网络可以提取卫星图像的高层特征,进而提高卫星图像分类的识别率。方法 首先,提出一个包含六类图像的新的卫星图像数据集来解决卷积神经网络的有标签训练样本不足的问题。其次,使用了一种直接训练卷积神经网络模型和3种预训练卷积神经网络模型来进行卫星图像分类。直接训练模型直接在文章提出的数据集上进行训练,预训练模型先在ILSVRC（the ImageNet large scale visual recognition challenge）-2012数据集上进行预训练,然后在提出的卫星图像数据集上进行微调训练。完成微调的模型用于卫星图像分类。结果 提出的微调预训练卷积神经网络深层模型具有最高的分类正确率。在提出的数据集上,深层卷积神经网络模型达到了99.50%的识别率。在数据集UC Merced Land Use上,深层卷积神经网络模型达到了96.44%的识别率。结论 本文提出的数据集具有一般性和代表性,使用的深层卷积神经网络模型具有很强的特征提取能力和分类能力,且是一种端到端的分类模型,不需要堆叠其他模型或分类器。在高分辨卫星图像的分类上,本文模型和对比模型相比取得了更有说服力的结果。     

基于卷积神经网络的苹果栽培品种识别

针对苹果栽培品种识别分类问题,提供一个包含多个苹果果树品种的叶片图像原始数据集,并且研究构建一种新的深度卷积神经网络分类模型,对其分类准确性、泛化性能和稳定性进行对比验证,以期对苹果栽培品种简便、快速、准确的识别分类提供理论依据和技术支持。以甘肃省平凉市静宁县果树果品研究所苹果良种苗木繁育基地作为实验基地,在其中选取14个苹果果树品种。每个品种选取10棵左右树龄、树势、长势都存在差异的果树,采摘100片左右成熟的、无机械损伤的叶片,然后拍摄叶片图像建立数据集,进而利用卷积神经网络训练识别分类模型。本文针对苹果栽培品种识别分类,提供一个包含14个苹果果树品种共计14394张叶片图像的原始数据集,并且设计实现基于卷积神经网络的识别分类模型。实验结果表明,该识别分类模型有较高的准确率,训练集训练精度可以达到99.88%,验证集验证精度为94.36%,独立测试集的测试精度为90.49%。本文的研究结果可以为现代苹果田间种植及科研试验等实际场景提供力所能及的帮助,为深度卷积神经网络技术在植物品种识别分类实际应用场景提供参考,丰富深度学习在农业上的应用。     

基于小样本学习的SAR图像识别

深度学习已成为图像识别领域的一个研究热点。与传统图像识别方法不同,深度学习从大量数据中自动学习特征,并且具有强大的自学习能力和高效的特征表达能力。但在小样本条件下,传统的深度学习方法如卷积神经网络难以学习到有效的特征,造成图像识别的准确率较低。因此,提出一种新的小样本条件下的图像识别算法用于解决SAR图像的分类识别。该算法以卷积神经网络为基础,结合自编码器,形成深度卷积自编码网络结构。首先对图像进行预处理,使用2D Gabor滤波增强图像,在此基础上对模型进行训练,最后构建图像分类模型。该算法设计的网络结构能自动学习并提取小样本图像中的有效特征,进而提高识别准确率。在MSTAR数据集的10类目标分类中,选择训练集数据中10%的样本作为新的训练数据,其余数据为验证数据,并且,测试数据在卷积神经网络中的识别准确率为76.38%,而在提出的卷积自编码结构中的识别准确率达到了88.09%。实验结果表明,提出的算法在小样本图像识别中比卷积神经网络模型更加有效。     

高光谱图像小样本分类的卷积神经网络方法

目的 与传统分类方法相比,基于深度学习的高光谱图像分类方法能够提取出高光谱图像更深层次的特征。针对现有深度学习的分类方法网络结构简单、特征提取不够充分的问题,提出一种堆叠像元空间变换信息的数据扩充方法,用于解决训练样本不足的问题,并提出一种基于不同尺度的双通道3维卷积神经网络的高光谱图像分类模型,来提取高光谱图像的本质空谱特征。方法 通过对高光谱图像的每一像元及其邻域像元进行旋转、行列变换等操作,丰富中心像元的潜在空间信息,达到数据集扩充的作用。将扩充之后的像素块输入到不同尺度的双通道3维卷积神经网络学习训练集的深层特征,实现更高精度的分类。结果 5次重复实验后取平均的结果表明,在随机选取了10%训练样本并通过8倍数据扩充的情况下,Indian Pines数据集实现了98.34%的总体分类精度,Pavia University数据集总体分类精度达到99.63%,同时对比了不同算法的运行时间,在保证分类精度的前提下,本文算法的运行时间短于对比算法,保证了分类模型的稳定性、高效性。结论 本文提出的基于双通道卷积神经网络的高光谱图像分类模型,既解决了训练样本不足的问题,又综合了高光谱图像的光谱特征和空间特征,提高了高光谱图像的分类精度。     

基于Fg-CarNet的车辆型号精细分类研究

车辆型号识别在智能交通系统、涉车刑侦案件侦破等方面具有十分重要的应用前景.针对车辆型号种类繁多、部分型号区分度小等带来的车辆型号精细分类困难的问题,采用车辆正脸图像为数据源,提出一种多分支多维度特征融合的卷积神经网络模型Fg-CarNet（Convolutional neural networks for car fine-grained classification,Fg-CarNet）.该模型根据车正脸图像特征分布特点,将其分为上下两部分并行进行特征提取,并对网络中间层产生的特征进行两个维度的融合,以提取有区分度的特征,提高特征表达能力,通过使用小卷积核以及全局均值池化,使在网络分类准确度提高的同时降低了网络模型参数大小.在CompCars数据集上进行验证,实验结果表明,Fg-CarNet提取的车辆特征在保证网络模型参数最小的同时,车辆型号识别率达到最高,实现了最好的分类效果.     

基于U-Net的高分辨率遥感图像土地利用信息提取

随着现代遥感技术的迅速发展,遥感图像的质量和数量得到了显著的提升,新技术带来的高分辨率遥感图像所蕴含的信息也更加丰富,如何利用人工智能手段辅助挖掘这些丰富的信息也成为了遥感图像分析与理解的重要内容。与此同时,以深度卷积神经网络为代表的人工智能技术在图像处理领域大放异彩。得益于类人眼的分层卷积池化模型,深度卷积神经网络可以在图像分割和分类等任务上取得优异的结果。因此采用U-Net为代表的深度卷积神经网络对2 m的高分辨率遥感影像进行了特征提取、分割和分类,不同于传统基于手工设定图像特征的方法,U-Net可以自动对海量高分辨率的遥感图像进行特征提取,从而充分挖掘高分辨率遥感影像中复杂的非线性特征、光谱特征和纹理特征。实验结果表明：利用训练好的U-Net模型对新昌县土地利用分类计算时间为55.7 s,分类准确率可达90.95%,Kappa系数为0.86。U-Net模型可以快速、精确地提取高分辨率遥感影像中的地表覆盖特征,得到高精度的土地利用分类结果,说明将该模型应用于遥感影像土地利用分类提取有着广阔前景。     

Image-text interaction graph neural network for image-text sentiment analysis

As various social platforms are experiencing fast development, the volume of image-text content generated by users has grown rapidly. Image-text based sentiment of social media analysis has also attracted great interest from researchers in recent years. The main challenge of image-text sentiment analysis is how to construct a model that can promote the complementarity between image and text. In most previous studies, images and text were simply merged, while the interaction between them was not fully considered. This paper proposes an image-text interaction graph neural network for image-text sentiment analysis. A text-level graph neural network is used to extract the text features, and a pre-trained convolutional neural network is employed to extract the image features. Then, an image-text interaction graph network is constructed. The node features of the graph network are initialized by the text features and the image features, while the node features in the graph are updated based on the graph attention mechanism. Finally, combined with image-text aggregation layer to realize sentiment classification. The results of the experiments prove that the presented method is more effective than existing methods. In addition, a large-scale Twitter image-text sentiment analysis dataset was built by us and used in the experiments.

     

提高小样本高光谱图像分类性能的变维卷积神经网络

目的 为了解决基于卷积神经网络的算法对高光谱图像小样本分类精度较低、模型结构复杂和计算量大的问题,提出了一种变维卷积神经网络。方法 变维卷积神经网络对高光谱分类过程可根据内部特征图维度的变化分为空—谱信息融合、降维、混合特征提取与空—谱联合分类的过程。这种变维结构通过改变特征映射的维度,简化了网络结构并减少了计算量,并通过对空—谱信息的充分提取提高了卷积神经网络对小样本高光谱图像分类的精度。结果 实验分为变维卷积神经网络的性能分析实验与分类性能对比实验,所用的数据集为Indian Pines和Pavia University Scene数据集。通过实验可知,变维卷积神经网络对高光谱小样本可取得较高的分类精度,在Indian Pines和Pavia University Scene数据集上的总体分类精度分别为87.87%和98.18%,与其他分类算法对比有较明显的性能优势。结论 实验结果表明,合理的参数优化可有效提高变维卷积神经网络的分类精度,这种变维模型可较大程度提高对高光谱图像中小样本数据的分类性能,并可进一步推广到其他与高光谱图像相关的深度学习分类模型中。     

基于全卷积神经网络的林木图像分割

针对传统方法进行图像分割易受噪声影响问题,提出了一种基于全卷积神经网络的林木图像分割方法。该方法不需要对图像进行预处理,利用上池化和反卷积层恢复图像分辨率,采用跳跃连接降低网络复杂度,同时避免了梯度消失问题,使用Dropout正则化随机激活网络隐藏单元以防止过拟合,后端结合全连接的条件随机场以恢复对象边缘的细节信息,进一步优化分割结果。该模型能够在林木图像上实现良好的分割。     

基于优化卷积神经网络结构的人体行为识别

为了提高卷积神经网络对非线性特征以及复杂图像隐含的抽象特征提取能力,提出优化卷积神经网络结构的人体行为识别方法。通过优化卷积神经网络模型,构建嵌套Maxout多层感知器层的网络结构,增强卷积神经网络的卷积层对前景目标特征提取能力。通过嵌套Maxout多层感知器层网络结构可以线性地组合特征图并选择最有效特征信息,获取的特征图经过矢量化处理,分类器Softmax完成人体行为识别。仿真实验结果表明,该方法对人体行为识别准确率取得较好结果。