基于改进的胶囊网络模型的高光谱图像分类方法

针对卷积神经网络无法有效提取高光谱图像光谱与空间特征以及识别特征之间的空间位置问题,提出一种基于胶囊网络的改进神经网络模型.采用1×1卷积核对高光谱图像块进行降维处理;利用双通道卷积神经网络提取降维图像的初级特征,进而在PrimaryCaps层将初级特征信息封装为胶囊向量;通过DigitCaps层计算胶囊向量的模长来判...     

基于FPGA的深度卷积神经网络优化压缩算法研究

针对现有海量数字图像信息落后,提出了新型的压缩算法,设计出基于FPGA的视频图像采集系统.应用深度卷积神经网络优化视频图像编码算法和聚类算法实现数据特征提取,将图像与距离信息作为深度卷积神经网络的输入与输出,并利用其特征提取能力学习图像特征的距离信息,提取深度卷积神经网络中的全连接层作为编码,通过迭代调整确定图像编码,完成图像压缩.应用测试结果显示,该算法具有较高效率优势,且图像压缩解码后质量较好.     

双通道卷积神经网络在静态手势识别中的应用

针对静态手势识别任务中,传统基于人工提取特征方法耗时耗力,识别率较低,现有卷积神经网络依赖单一卷积核提取特征不够充分的问题,提出双通道卷积神经网络模型。输入手势图片通过两个相互独立的通道进行特征提取,双通道具有尺度不同的卷积核,能够提取输入图像中不同尺度的特征,然后在全连接层进行特征融合,最后经过softmax分类器进行分类。在Thomas Moeslund和Jochen Triesch手势数据库上进行实验验证,结果表明该模型提高了静态手势识别的准确率,增强了卷积神经网络的泛化能力。     

基于高低维度特征融合的双通道卷积神经网络

为了充分利用图像中所隐藏的特征信息,提出将低级维度特征融合在全连接层,构建出融合了高低级维度特征的双通道卷积神经网络。首先构建一个传统的双通道卷积神经网络,在两通道上设置不同大小的卷积核,将双通道的池化层分别连接到全连接层,同时将两通道卷积神经网络的第一池化层提取的特征也直接送到全连接层,使提取得到的初级和高级特征图在全连接层上进行融合,融合后的数据输入到Softmax分类器进行分类。不同算法在fashion-mnist和CIFAR-10数据库上的对比仿真结果表明,本文模型获得了较高的分类准确率。     

密集结构改进双通道神经网络的遥感图像配准

针对部分传统算法对于遥感图像配准精度较低的问题,提出一种密集结构改进双通道卷积神经网络的遥感图像配准方法。对输入的图像采用密集结构改进的双通道卷积神经网络模型进行特征提取;用粒子群算法改进的随机一致性点漂移算法进行特征匹配得到仿射变换系数;使待配准图像能够根据该系数实现变换,达到配准目的。实验表明,改进算法比传统算法的配准精度平均提高了15%以上,对具有显著地貌差异的遥感图像对的配准精度可以有效地提高。     

基于视频分段的空时双通道卷积神经网络的行为识别

针对原始空时双通道卷积神经网络（CNN）模型对长时段复杂视频中行为识别率低的问题，提出了一种基于视频分段的空时双通道卷积神经网络的行为识别方法。首先将视频分成多个等长不重叠的分段，对每个分段随机采样得到代表视频静态特征的帧图像和代表运动特征的堆叠光流图像；然后将这两种图像分别输入到空域和时域卷积神经网络进行特征提取，再在两个通道分别融合各视频分段特征得到空域和时域的类别预测特征；最后集成双通道的预测特征得到视频行为识别结果。通过实验讨论了多种数据增强方法和迁移学习方案以解决训练样本不足导致的过拟合问题，分析了不同分段数、预训练网络、分段特征融合方案和双通道集成策略对行为识别性能的影响。实验结果显示所提模型在UCF101数据集上的行为识别准确率达到91.80%，比原始的双通道模型提高了3.8个百分点；同时在HMDB51数据集上的行为识别准确率也比原模型提高，达到61.39%，这表明所提模型能够更好地学习和表达长时段复杂视频中人体行为特征。     

基于注意力的短视频多模态情感分析

针对现有的情感分析方法缺乏对短视频中信息的充分考虑,从而导致不恰当的情感分析结果。 基于音视频的多模态情感分析(AV-MSA)模型便由此产生,模型通过利用视频帧图像中的视觉特征和音频信息 来完成短视频的情感分析。模型分为视觉与音频 2 分支,音频分支采用卷积神经网络(CNN)架构来提取音频图 谱中的情感特征,实现情感分析的目的;视觉分支则采用 3D 卷积操作来增加视觉特征的时间相关性。并在 Resnet 的基础上,突出情感相关特征,添加了注意力机制,以提高模型对信息特征的敏感性。最后,设计了一 种交叉投票机制用于融合视觉分支和音频分支的结果,产生情感分析的最终结果。AV-MSA 模型在 IEMOCAP 和微博视听(WB-AV)数据集上进行了评估, 实验结果表明,与现有算法相比,AV-MSA 在分类精确度上有了较 大的提升。     

高光谱图像小样本分类的卷积神经网络方法

目的 与传统分类方法相比,基于深度学习的高光谱图像分类方法能够提取出高光谱图像更深层次的特征。针对现有深度学习的分类方法网络结构简单、特征提取不够充分的问题,提出一种堆叠像元空间变换信息的数据扩充方法,用于解决训练样本不足的问题,并提出一种基于不同尺度的双通道3维卷积神经网络的高光谱图像分类模型,来提取高光谱图像的本质空谱特征。方法 通过对高光谱图像的每一像元及其邻域像元进行旋转、行列变换等操作,丰富中心像元的潜在空间信息,达到数据集扩充的作用。将扩充之后的像素块输入到不同尺度的双通道3维卷积神经网络学习训练集的深层特征,实现更高精度的分类。结果 5次重复实验后取平均的结果表明,在随机选取了10%训练样本并通过8倍数据扩充的情况下,Indian Pines数据集实现了98.34%的总体分类精度,Pavia University数据集总体分类精度达到99.63%,同时对比了不同算法的运行时间,在保证分类精度的前提下,本文算法的运行时间短于对比算法,保证了分类模型的稳定性、高效性。结论 本文提出的基于双通道卷积神经网络的高光谱图像分类模型,既解决了训练样本不足的问题,又综合了高光谱图像的光谱特征和空间特征,提高了高光谱图像的分类精度。     

基于卷积神经网络的图像清晰度识别方法

传统方法在图像清晰度识别上主要通过提取图像特征进行识别和预测,由于图像特征的提取存在一定的复杂度,尤其是对高维图像和在复杂背景环境下的特征提取。针对这一问题提出基于深度学习下的卷积神经网络(CNN)识别方法,在Convolutional Architecture for Fast Feature Embedding(caffe)框架下利用Goog Le Net网络模型,将样本图像直接作为输入参数,通过卷积神经网络进行模型训练即可得到输出结果,从而省去提取复杂的特征。通过实验验证上述方法能够较为准确的识别出图像的清晰程度。提出的方法不用提取复杂的特征,所以在图像处理中有很高的应用价值。     

CNN和三维Gabor滤波器的高光谱图像分类

卷积神经网络(CNN)具有强大的特征提取能力,能够有效地提高高光谱图像的分类精度.然而CNN模型训练需要大量的训练样本参与,以防止过拟合,Gabor滤波器以非监督的方式提取图像的边缘和纹理等空间信息,能够减轻CNN模型对训练样本的依赖度及特征提取的压力.为了充分利用CNN和Gabor滤波器的优势,提出了一种双通道CNN和三维Gabor滤波器相结合的高光谱图像分类方法Gabor-DC-CNN.首先利用二维卷积神经网络(2D-CNN)模型处理原始高光谱图像数据,提取图像的深层空间特征;同时利用一维卷积神经网络(1D-CNN)模型处理三维Gabor特征数据,进一步提取图像的深层光谱-纹理特征.连接2个CNN模型的全连接层实现特征融合,并将融合特征输入到分类层中完成分类.实验结果表明,该方法能够有效地提高分类精度,在Indian Pines,Pavia University和Kennedy Space Center 3组数据上分别达到98.95%,99.56%和99.67%.     

雾天退化模型参数估计与CUDA设计

针对基于物理模型的去雾方法大多采用统计或假设等先验信息获取模型参数精度较低的问题,提出一种非假设的雾天退化模型参数估计方法.为了尽可能准确地获取大气光值和透射率值,首先采用四叉树算法求解大气光值;随后利用预训练的卷积神经网络获取粗略透射率图,并使用引导滤波算法优化透射率图;最后通过大气散射模型逆向求解获取复原图像.实验结果表明,文中方法在去雾各项性能指标上表现均衡,不仅提高了雾天图像的清晰度和亮度,而且可以有效地避免"晕轮效应".算法时间性能实验表明,文中算法CPU效率比其他去雾算法提高40%+,应用CUDA并行设计将耗时的引导滤波算法并行化后效率有显著提升,处理分辨率大小为640×480(单位为像素)雾天图像仅需0.048 9 s,可直接迁移应用于视频去雾处理,满足视频处理的实时性要求.     

基于双流网络融合与时空卷积的人体行为识别

针对视频中存在噪音,无法更好地获取特征信息,造成动作识别不精准的问题.提出了一种基于时空卷积神经网络的人体行为识别网络.将长时段视频进行分段处理,分别把RGB图片和计算出的光流图输入到两个卷积神经网络(CNN)中,使用权重相加的融合算法将提取的时域特征和空域特征融合成时空特征.形成的中层语义信息输入到R(2+1)D的卷积中,利用ResNet提高网络性能,最后在softmax层进行行行为识别.在UCF-101和HMDB-51数据集上进行实验,获得了92.1％和66.1％的准确率.实验表明,提出的双流融合与时空卷积网络模型有助于视频行为识别的准确率提高.     

双核压缩激活神经网络艺术图像分类

目的 为了充分提取版画、中国画、油画、水彩画和水粉画等艺术图像的整体风格和局部细节特征,实现计算机自动分类检索艺术图像的需求,提出通过双核压缩激活模块（double kernel squeeze-and-excitation,DKSE）和深度可分离卷积搭建卷积神经网络对艺术图像进行分类。方法 根据SKNet（selective kernel networks）自适应调节感受野提取图像整体与细节特征的结构特点和SENet（squeeze-and-excitation networks）增强通道特征的特点构建DKSE模块,利用DKSE模块分支上的卷积核提取输入图像的整体特征与局部细节特征;将分支上的特征图进行特征融合,并对融合后的特征图进行特征压缩和激活处理;将处理后的特征加权映射到不同分支的特征图上并进行特征融合;通过DKSE模块与深度可分离卷积搭建卷积神经网络对艺术图像进行分类。结果 使用本文网络模型对有无数据增强（5类艺术图像数据增强后共25 634幅）处理的数据分类,数据增强后的分类准确率比未增强处理的准确率高9.21%。将本文方法与其他网络模型和传统分类方法相比,本文方法的分类准确率达到86.55%,比传统分类方法高26.35%。当DKSE模块分支上的卷积核为1×1和5×5,且放在本文网络模型第3个深度可分离卷积后,分类准确率达到87.58%。结论 DKSE模块可以有效提高模型分类性能,充分提取艺术图像的整体与局部细节特征,比传统网络模型具有更好的分类准确率。     

基于双通道Transformer的地铁站台异物检测

Transformer因其全局注意力优势在异物检测上取得了比卷积神经网络(CNN)更具竞争力的结果,但依然面临计算成本高、输入图像块尺寸固定、局部与全局信息交互匮乏等问题。提出一种基于双通道Transformer骨干网络、金字塔轻量化Transformer块和通道交叉注意力机制的DualF ormer模型,用以检测地铁站台屏蔽门与列车门间隙中存在的异物。针对输入图像块尺寸固定的问题,提出双通道策略,通过设计2种不同的特征提取通道对不同尺度的输入图像块进行特征提取,增强网络对粗、细粒度特征的提取能力,提高对多尺度目标的识别精度;针对计算成本高的问题,构建金字塔轻量化Transformer块,将级联卷积引入到多头自注意力(MHSA)模块中,并利用卷积的维度压缩能力来降低模型的计算成本;针对局部与全局信息交互匮乏的问题,提出通道交叉注意力机制,利用提取到的粗细粒度特征在通道层面进行交互,优化局部与全局信息在网络中的权重。在标准化地铁异物检测数据集上的实验结果表明,DualFormer模型参数量为1.98×10⁷,实现了89.7%的精度和24帧/s的速度,优于对比的Tra...     

时域非填充网络视频行为识别算法研究

视频行为识别是图像和视觉领域的一个基础问题,在基于深度学习的行为识别模型中,2D卷积方法模型参数较少,但是准确率不高;3D卷积方法在一定程度上提高了准确率,但会产生较多的参数和计算量。为了在保持准确率的前提下降低3D卷积神经网络行为识别模型的参数量,减少计算资源消耗,提出了时域零填充卷积网络行为识别算法,对视频进行3D卷积时不在时间维度上填充额外数据,以此来保证时域信息的完整性。为了充分利用有限的时间信息,设计了适合此填充方式的网络结构：先以时域不填充的方式使用3D卷积提取时空信息,然后利网络重组结构将3D卷积变为2D卷积来进一步提取特征。实验表明,该网络的参数量为10.385×106,不使用预训练权重的情况下在UCF101数据集上准确率为60.28%,与其他3D卷积网络行为识别方法相比在资源占用和准确率上都有明显优势。     

基于级联卷积神经网络的视频行为识别技术

为从海量视频中提取出有用的信息,研究基于级联卷积神经网络的视频行为识别技术。文章利用健壮主成分分析方法提取视频中的低秩行为信息,并将其作为级联卷积神经网络的输入,通过两阶段卷积神经网络模型识别视频行为特征,从而识别视频行为。经实验验证,该方法具有较快的行为识别速度,且识别效果精准。     

基于集成卷积神经网络的人脸年龄分类算法研究

人脸年龄估计由于在人机交互和安全控制等领域有潜在应用,因此得到了广泛关注。文中主要进行人脸年龄分组的研究,针对人脸年龄分类问题提出了一种基于集成卷积神经网络的年龄分类算法。首先,训练两个以人脸图像为输入的卷积神经网络,当用卷积神经网络直接提取人脸图像的特征时,主要对 深度的全局特征 进行提取。为了补充人脸图像的局部特征,尤其是纹理信息,将提取的LBP(Local Binary Pattern)特征作为另一个网络的输入。最后,为了结合人脸的全局特征和局部特征,将这3个网络进行集成。该算法在广泛使用的年龄分类数据集Group上取得了不错的效果。     

基于视频深度学习的时空双流人物动作识别模型

深度学习在人物动作识别方面已取得较好的成效,但当前仍然需要充分利用视频中人物的外形信息和运动信息。为利用视频中的空间信息和时间信息来识别人物行为动作,提出一种时空双流视频人物动作识别模型。该模型首先利用两个卷积神经网络分别抽取视频动作片段空间和时间特征,接着融合这两个卷积神经网络并提取中层时空特征,最后将提取的中层特征输入到3D卷积神经网络来完成视频中人物动作的识别。在数据集UCF101和HMDB51上,进行视频人物动作识别实验。实验结果表明,所提出的基于时空双流的3D卷积神经网络模型能够有效地识别视频人物动作。     

基于膨胀卷积神经网络模型的中文分词方法

目前,许多深度神经网络模型以双向长短时记忆网络结构处理中文分词任务,存在输入特征不够丰富、语义理解不全、计算速度慢的问题。针对以上问题,该文提出一种基于膨胀卷积神经网络模型的中文分词方法。通过加入汉字字根信息并用卷积神经网络提取特征来丰富输入特征;使用膨胀卷积神经网络模型并加入残差结构进行训练,能够更好理解语义信息并提高计算速度。基于Bakeoff 2005语料库的4个数据集设计实验,与双向长短时记忆网络模型的中文分词方法做对比,实验表明该文提出的模型取得了更好的分词效果,并具有更快的计算速度。     

基于多特征提取的图像语义描述算法

针对图像语义描述方法中存在的图像特征信息提取不完全以及循环神经网络（RNN）产生的梯度消失问题,提出了一种基于多特征提取的图像语义描述算法。所构建模型由三个部分组成：卷积神经网络（CNN）用于图像特征提取,属性提取模型（ATT）用于图像属性提取,而双向长短时记忆（Bi-LSTM）网络用于单词预测。该模型通过提取图像属性信息来增强图像表示,从而精确描述图中事物,并且使用Bi-LSTM捕捉双向语义依赖,从而进行长期的视觉语言交互学习。首先,使用CNN和ATT分别提取图像全局特征与图像属性特征;其次,将两种特征信息输入到Bi-LSTM中生成能够反映图像内容的句子;最后,在Microsoft COCO Caption、Flickr8k和Flickr30k数据集上验证了所提出算法的有效性。实验结果表明,与m-RNN方法相比,所提出的算法在描述性能方面提高了6.8~11.6个百分点。所提算法能够有效地提高模型对图像的语义描述性能。