基于小波分解卷积神经网络的病理图像分类

组织病理图像分析是癌症诊断的"金标准",在患者的预后治疗中起到至关重要的作用.目前在AI医学影像领域,利用CNN(Convolutional Neural Network)网络对数字病理图像的分类已经成为研究热点.但是传统CNN网络中广泛使用最大/平均池化(Max/Average pooling)模块,不可避免的丢失了大量病理图像中的特征信息,造成分类准确率低且模型不易收敛.因此,本文提出一种基于小波分解卷积神经网络的病理图像分类方法(Wavelet Decomposition Convolutional Neural Networks,WDCNN),该方法能够使传统CNN模型学习到频域信息,它将小波变换的多尺度分析引入到CNN模型中,利用小波分解代替传统的池化层,相比于最大值和平均值池化减少了特征的丢失.鉴于空域与频域具有不同的特性,将小波分解后的高频分量通过捷径连接的方式添加到下一层,弥补了在池化过程中丢失的细节特征信息.本文在Camelyon16数据集上评估了不同的池化方法和不同小波基函数在病理图像分类方面的性能.根据实验结果表明,引入小波分解的CNN模型能够提升网络的分类准确率.     

基于多面部特征融合的驾驶员疲劳检测算法

本文将卷积神经网络（Convolutional Neural Network,CNN）应用到视频理解中,提出一种基于多面部特征融合的驾驶员疲劳检测算法.本文使用多任务级联卷积网络（Multi-Task Cascaded Convolutional Networks,MTCNN）定位驾驶员的嘴部、左眼,使用CNN从驾驶员嘴部、左眼图像中提取静态特征,结合CNN从嘴部、左眼光流图中提取动态特征进行训练分类.实验结果表明,该算法比只使用静态图像进行驾驶员疲劳检测效果更好,准确率达到87.4%,而且可以很好地区别在静态图像中很相似的打哈欠和讲话动作.     

基于CNN和LSTM的多通道注意力机制文本分类模型

针对传统的卷积神经网络（Convolutional Neural Network,CNN）和长短时记忆网络（Long Short-Term Memory,LSTM）在提取特征时无法体现每个词语在文本中重要程度的问题,提出一种基于CNN和LSTM的多通道注意力机制文本分类模型。使用CNN和LSTM提取文本局部信息和上下文特征;用多通道注意力机制（Attention）提取CNN和LSTM输出信息的注意力分值;将多通道注意力机制的输出信息进行融合,实现了有效提取文本特征的基础上将注意力集中在重要的词语上。在三个公开数据集上的实验结果表明,提出的模型相较于CNN、LSTM及其改进模型效果更好,可以有效提高文本分类的效果。     

基于随机子图像模型的遥感图像分类

高分辨率遥感图像（HRRS）的分类是一项具有挑战性的任务。针对遥感数据集图像本身的语义特性,提出一种对数据集图像进行随机子图像提取并带有金字塔池化模型的卷积神经网络（Convolutional Neural Network,CNN）。对输入图像的尺寸进行基于柯西分布的随机尺寸剪切,将这些尺寸不同但是标签相同的子图像送进带有SPP（空间金字塔池化）的卷积神经网络,将子图像的预测类别众数作为最终分类输出。实验结果表明该方法对多类遥感图像的分类精度有一定提升。     

一种基于CNN-RNN模型的图像检索技术

图像检索是一项重要的研究课题，涉及如何快速、准确地检索和管理海量的图像数据。传统的图像检索技术主要依赖图像的视觉特征或文本描述进行匹配，但是难以充分理解图像的语义信息，对复杂场景的适应性较差。针对这一问题，文章提出了一种基于卷积神经网络-循环神经网络（Convolutional Neural Networks Recurrent Neural Network,CNN-RNN）模型的图像检索技术。该技术将CNN和RNN相结合，构建了一个统一的深度学习框架。其中，CNN模型用于从图像中提取全局特征，RNN模型用于学习图像与标签之间的语义关联和共现依赖。文章通过将CNN输出的特征序列输入到RNN模型中，实现了对图像全局语义信息的捕获。将设计系统在多个数据集上进行实验，结果表明，设计的方法能够有效提高图像检索的效率和准确性。     

基于全局自注意力的小麦图像识别

在实际应用场景下,通过图像识别的方式来识别小麦的病虫害具有极大的挑战性。与以往纯粹基于卷积神经网络（Convolutional Neural Network, CNN）的方法相比,将小麦图像转换成一系列视觉语言,并从全局视角进行小麦识别的方法是更可行和实用的。运用Convolutional Visual Transformers（CVT）来解决小麦识别分为2个环节。首先,利用2分支CNN生成的2种特征图来实现注意选择性融合(Attentional Selective Fusion, ASF)。ASF通过融合多个特征和全局-局部注意力来获取有区别的信息,并投射成一系列的视觉语言。其次,受Transformers在自然语言处理方面的成功启发,用全局自注意力来建模这些视觉语言之间的关系。将CVT与经典分类网络LeNet-5、ResNet-18、VGG-16、EfficientNet对比,识别率有所提升,同时该方法具有良好的泛化能力。     

基于卷积神经网络的图像分类算法

针对传统图像分类方法分类精度不高的问题,文章采用了两层卷积和池化的卷积神经网络(Convolutional Neural Network, CNN)算法来对图像进行分类。从不同方面将CNN与支持向量机(Support Vector Machines, SVM)、反向传播算法(Back Propagation, BP)进行图像分类的准确率对比,实验结果表明,CNN算法图像分类的准确率高于其它两种算法。     

类内类间距离在CNN识别心拍类中的应用研究

心脏疾病严重威胁人类身体健康，心电图（Electrocardiogram，ECG）心拍分类对心脏疾病的临床诊断和自动诊断具有重要意义。现有基于深度学习生成的ECG心拍特征虽然优于基于传统方法生成的心拍特征，但是因ECG中各类间存在着严重的数据不平衡问题，致使现有基于深度学习方法生成的心拍特征的性能仍不甚理想。针对这一问题，以卷积神经网络（Convolutional Neural Network，CNN）为基础，在各类心拍等量数据基础上构建能有效表达各类心拍共性信息的共性CNN模型，以共性CNN模型和最小化类内距离最大化类间距离模型为基础，分别在各类心拍数据上构建能有效反映相应心拍类别倾向性信息的类别CNN模型，综合各心拍类别CNN模型的输出进行识别与分类。在MIT-BIH数据库上的实验结果显示，该方法识别分类心拍的各项指标均达到100%，解决了MIT-BIH数据库中ECG四类心拍自动识别分类的问题。     

基于深度学习的藏文乌梅体场景文字识别

藏文乌梅体场景文字识别是文字识别领域的一个难题,使用传统的文字识别方法人工构件难度很大。文章使用深度学习方法进行研究,使用卷积神经网络（Convolutional Neural Network,CNN）提取图像信息,采用注意力与循环神经网络（Recurrent Neural Network,RNN）结合的方式进行解码。实验结果证明,模型对于藏文乌梅体场景文字能够有效识别F1值达到86.76%。     

基于频带特征融合的GL-CNN遥感图像场景分类

高分辨率卫星遥感图像场景信息的分类对影像分析和解译具有重要意义,传统的高分辨卫星遥感图像场景分类方法主要依赖于人工提取的中、低层特征且不能很好的利用图像丰富的场景信息,针对这一问题,提出一种基于频带特征融合与GL-CNN(Guided Learning Convolutional Neural Network,指导学习卷积神经网络)的分类方法。首先通过NSWT（Non-Subsampled Wavelet Transform,非下采样小波变换）提取出图像的高低频子带,将高频子带进行频带特征融合得到融合高频子带,然后联合频谱角向能量分布曲线的平稳区间分析实现融合高频子带与低频子带的样本融合,最后指导卷积神经网络自动提取图像的高低频子带包含的高层特征来实现场景分类。通过对UCM_LandUse 21类数据进行试验表明,本文方法的分类正确率达到94.52%,相比以往算法有显著提高。     

基于语义关系图的跨模态张量融合网络的图像文本检索

跨模态图像文本检索的难点是如何有效地学习图像和文本间的语义相关性。现有的大多数方法都是学习图像区域特征和文本特征的全局语义相关性或模态间对象间的局部语义相关性,而忽略了模态内对象之间的关系和模态间对象关系的关联。针对上述问题,提出了一种基于语义关系图的跨模态张量融合网络（CMTFN-SRG）的图像文本检索方法。首先,采用图卷积网络（GCN）学习图像区域间的关系并使用双向门控循环单元（Bi-GRU）构建文本单词间的关系;然后,将所学习到的图像区域和文本单词间的语义关系图通过张量融合网络进行匹配以学习两种不同模态数据间的细粒度语义关联;同时,采用门控循环单元（GRU）学习图像的全局特征,并将图像和文本的全局特征进行匹配以捕获模态间的全局语义相关性。将所提方法在Flickr30K和MS-COCO两个基准数据集上与多模态交叉注意力（MMCA）方法进行了对比分析。实验结果表明,所提方法在Flickr30K测试集、MS-COCO1K测试集以及MS-COCO5K测试集上文本检索图像任务的Recall@1分别提升了2.6%、9.0%和4.1%,召回率均值（mR）分别提升了0.4、1.3和0.1个百分点,可见该方法能有效提升图像文本检索的精度。     

基于全局与局部标签关系的多标签图像分类方法

针对多标签图像分类任务中存在的难以对标签间的相互作用建模和全局标签关系固化的问题,结合自注意力机制和知识蒸馏（KD）方法,提出了一种基于全局与局部标签关系的多标签图像分类方法（ML-GLLR）。首先,局部标签关系（LLR）模型使用卷积神经网络（CNN）、语义模块和双层自注意力（DLSA）模块对局部标签关系建模;然后,利用KD方法使LLR学习全局标签关系。在公开数据集MSCOCO2014和VOC2007上进行实验,LLR相较于基于图卷积神经网络多标签图像分类（ML-GCN）方法,在平均精度均值（mAP）上分别提高了0.8个百分点和0.6个百分点,ML-GLLR相较于LLR在mAP上分别进一步提高了0.2个百分点和1.3个百分点。实验结果表明,所提ML-GLLR不仅能对标签间的相互关系进行建模,也能避免全局标签关系固化的问题。     

应用通道增强MSER与CNN的维吾尔文本区域定位

为了准确有效地定位出图像中的维吾尔文本区域,提出了一种基于通道增强最大稳定极值区域（Maximally Stable Extremal Region,MSER）和卷积神经网络（Convolutional Neural Network,CNN）的图像文本区域定位方法。应用通道增强MSER提取候选区域,根据文本特征的启发式规则以及CNN分类结果去除非文本和重复区域,通过区域融合算法得到词级别文本区域,根据该区域的色彩相近程度和空间关系召回遗漏的文本区域,并通过CNN网络对召回的区域分类融合,定位出图像文本区域。实验结果表明,该方法可以准确有效地定位文本区域,具有鲁棒性和应用性。     

双线性内卷神经网络用于眼底疾病图像分类

由于眼底图像具有复杂程度高、个体差异弱、类间距离短等特点,纯卷积神经网络（CNN）和基于注意力的网络并不能在眼底疾病图像分类任务上达到令人满意的精度。因此,采用involution算子实现了注意力双线性内卷神经网络（ABINN）模型用于眼底疾病图像分类。ABINN模型的参数量仅是传统双线性卷积神经网络（BCNN）模型的11%,并提取了眼底图像的底层语义信息和空间结构信息进行二阶特征融合,是CNN和注意力方法的有效并联。此外,提出了两种基于involution算子实现注意力计算的实例化方法：基于图块的注意力子网络（AST）和基于像素的注意力子网络（ASX）,这两种方法可以在CNN的基础结构内完成注意力的计算,从而使双线性子网络能在同一个架构下训练并进行特征融合。在公开眼底图像数据集OIA-ODIR上进行实验,结果显示ABINN模型的精度为85%,比通用BCNN模型提高了15.8个百分点,比TransEye模型提高了0.9个百分点。     

结合改进CNN和双线性模型的CBIR方法

针对现有基于内容的图像检索（Content-Based Image Retrieval,CBIR）方法中图像特征维度较大等问题,提出一种结合改进卷积神经网络（Convolutional Neural Network,CNN）和双线性模型的CBIR方法。采用一种低维度池化方法代替传统CNN中的池化过程,以此降低图像特征映射的维度。基于双线性模型的思想,使用两个特征提取器进行特征提取,并在每个图像位置上对两个特征进行内积,以形成最终的图像描述符。通过计算图像间的曼哈顿距离度量来评估相似性,获得相关图像及其排序。实验结果表明,该方法能够准确检索出相关图像,并具有较低的检索时间和内存消耗。     

基于邻域选择策略的图卷积网络模型

邻域的组成对于基于空间域的图卷积网络（GCN）模型有至关重要的作用。针对模型中节点邻域排序未考虑结构影响力的问题,提出了一种新的邻域选择策略,从而得到改进的GCN模型。首先,为每个节点收集结构重要的邻域并进行层级选择得到核心邻域;然后,将节点及其核心邻域的特征组成有序的矩阵形式;最后,送入深度卷积神经网络（CNN）进行半监督学习。节点分类任务的实验结果表明,该模型在Cora、Citeseer和Pubmed引文网络数据集中的节点分类准确性均优于基于经典图嵌入的节点分类模型以及四种先进的GCN模型。作为一种基于空间域的GCN,该模型能有效运用于大规模网络的学习任务。     

卷积神经网络在高光谱图像分类中的应用综述

高光谱图像(Hyperspectral Imagery,HSI)分类是高光谱图像处理和应用的一项重要工作.随着深度学习的不断发展,卷积神经网络(Convolutional Neural Network,CNN)日渐成为处理高光谱遥感图像分类问题的一个有效方法.首先对高光谱遥感图像分类任务进行了概述,分析了目前存在的问题...     

基于教与学优化的可变卷积自编码器的医学图像分类方法

针对传统手工方法优化卷积神经网络(CNN)参数时存在耗时长、不准确,以及参数设置影响算法性能等问题,提出一种基于教与学优化(TLBO)的可变卷积自编码器(CAE)算法.该算法设计了可变长度的个体编码策略,从而快速构建CAE结构,并堆叠CAE为一个CNN;此外,充分利用优秀个体的结构信息来引导算法朝着更有希望的区域搜索,...     

基于多层次注意力与图模型的图像多标签分类算法

图像多标签分类作为计算机视觉领域的重要研究方向,在图像识别、检测等场景下得到广泛应用。现有图像多标签分类方法无法有效利用标签相关性信息以及标签语义与图像特征的对应关系,导致分类能力较差。提出一种图像多标签分类的新算法,通过利用标签共现信息和标签先验知识构建图模型,使用多尺度注意力学习图像特征中目标,并利用标签引导注意力融合标签语义特征和图像特征信息,从而将标签相关性和标签语义信息融入到模型学习中。在此基础上,基于图注意力机制构建动态图模型,并对标签信息图模型进行动态更新学习,以充分融合图像信息和标签信息。在图像多标签分类任务上的实验结果表明,相比于现有最优算法MLGCN,该算法在VOC-2007数据集及COCO-2012数据集上的mAP值分别提高了0.6、1.2个百分点,性能有明显提升。     

一种复合型手势识别方法研究

针对已有卷积神经网络在手势识别过程中精度不高的问题,提出了一种双通道卷积神经网络的特征融合与动态衰减学习率相结合的复合型手势识别方法。通过两个相互独立的通道进行手势图像的特征提取,首先使用SENet（Squeeze-and-Excitation Networks）构成的第一通道提取全局特征,然后使用RBNet（Residual Block Networks）构成的第二通道提取局部特征,并将全局特征和局部特征进行通道维度上的融合。同时,利用动态衰减的学习率训练双通道网络模型。与其他卷积神经网络模型的对比实验结果表明,提出的复合型手势识别方法的手势识别率高,参数数量少,适用于不同手势图像数据集的识别。