融合多尺度和多头注意力的医疗图像分割方法

为了从医疗图像中自动且准确地提取兴趣区域,提出基于神经网络的分割模型MS2Net.针对传统卷积操作缺乏获取长距离依赖关系能力的问题,为了更好提取上下文信息,提出融合卷积和Transformer的架构.基于Transformer的上下文抽取模块通过多头自注意力得到像素间相似度关系,基于相似度关系融合各像素特征使网络拥有全局视野,使用相对位置编码使Transformer保留输入特征图的结构信息.为了使网络适应兴趣区域形态的差异,在MS2Net中应用解码端多尺度特征并提出多尺度注意力机制.对多尺度特征图依次应用分组通道和分组空间注意力,使网络自适应地选取合理的多尺度语义信息. MS2Net在数据集ISBI 2017和CVC-ColonDB上均取得较U-Net、CE-Net、DeepLab v3+、UTNet等先进方法更优的交并比指标,有着较好的泛化能力.     

眼底病变OCT图像的轻量化识别算法

为了准确、方便地识别多类型眼底病变，提出光学相干断层扫描技术（OCT）图像的轻量化分类模型MB-CNN.降低卷积核的使用个数，调节每个阶段卷积块的使用比例，设计轻量化主干网络L-Resnet，通过加深网络深度增强对深层语义信息的提取.使用深度可分离卷积设计多尺度卷积块MultiBlock，利用MultiBloc深度挖掘病灶区域的特征，使用不同的卷积核提取不同尺寸病变的特征，提高网络对病变OCT图像的识别能力.构建特征融合模块FFM，融合浅层信息和深层信息，充分提取病变特征的纹理和语义信息，提高对小目标病变的识别能力.实验结果显示，MB-CNN在UCSD、 Duke和NEH3个数据集上的总体分类精度分别达到97.2%、 99.92%和94.37%，模型参数量明显降低，所提模型能够针对眼底的多种病变进行分类.     

利用拉普拉斯能量和CNN的多聚焦图像融合方法

多聚焦图像融合技术的目的是生成一幅全聚焦图像.所谓全聚焦图像,就是将不同源图像的清晰区域集成到一幅单一的图像中.传统的图像融合方法通常存在块伪影、人造边、晕轮效果、振铃效果以及对比度下降等问题.对此,本文提出了一种利用拉普拉斯能量和CNN的多聚焦图像融合方法.使用拉普拉斯能量算子可以有效的提取源图像的聚焦信息,而训练后的卷积神经网络模型从聚焦信息图中提取的聚焦特征可以有效的进行聚焦子块和离焦子块的区分.训练后的卷积神经网络模型不仅具有很好的提取活跃窗口相对聚焦度的能力,而且可以获得精确的分割边界.在经过多轮训练后,卷积神经网络模型可以很好的在源图像和分值图之间建立一种有效的映射,这对于生成一幅精准的聚焦图至关重要.采用二值分割和小区域滤波技术来对聚焦图进行进一步的修正,获得用于融合的最终决策图.最后,根据最终决策图提供的权值,对多幅源图像进行融合形成最终的融合图像.实验结果表明,无论从视觉效果还是从定量评价方面,提出的方法均优于目前已有的其它融合方法.     

基于多特征融合的彩色眼底图像视杯分割方法

为了提高彩色眼底图像中视杯的分割精度,提出了一种基于多特征融合的彩色眼底图像视杯分割方法.首先提取感兴趣区域的血管;然后分割视盘区域,在视盘分割的基础上根据视杯的亮度特征采用模糊C均值聚类(FCM)法提取视杯候选区域,并根据视杯的形状和位置特征对候选区域依次进行镜像映射、椭圆拟合及椭圆校正,得到视杯的粗分割结果;最后利用杯沿的血管特征定位血管弯曲点,修正视杯粗分割结果,完成视杯的准确分割.对Glaucoma Repo眼底图像数据库进行测试,实验结果表明:该方法的灵敏度为87.15%,特异性为99.03%,准确率为98.12%,阳性预测值为82.03%,综合评价指标为84.51%,像素距离为18.80,具有较高的鲁棒性和有效性.     

基于深度卷积神经网络的睡眠分期模型

针对现阶段数据和特征决定睡眠分期模型的分类精度上限的问题,提出深度卷积神经网络模型. 在模型主体构建方面,并行卷积网络可以自动学习原始信号的时域特征和频域特征,特征融合网络通过空洞卷积和残差连接进行多特征融合,分类网络基于融合后的特征进行睡眠分期. 利用生成少数类过采样技术（SMOTE）减少类别不平衡对分类效果的影响,结合两步训练法对模型进行优化. 实验使用Sleep-EDF数据集的原始单导脑电信号（Fpz-Cz通道）对模型进行20折交叉验证,得到总体精度和宏F₁分别为86.73%和81.70%. 提出的深度卷积模型在没有任何先验知识的情况下,对脑电信号进行端到端的学习,分类准确率优于传统的深度学习模型.     

基于Non-local的腰椎间盘突出患者多裂肌分割方法

为实现腰椎间盘突出患者多裂肌病灶部位的精确分割,提出了一种基于Non-local的腰椎间盘突出患者多裂肌分割方法。以U-Net网络为基础,通过构造混合池化卷积来代替编码器传统的卷积模块,以提高全局特征与局部特征之间的相关性并融合网络高低维特征,增强了网络提取多裂肌特征的能力。然后,在网络的中间部署了一个由2个级联卷积组成的卷积模块。最后,经过由Non-local模块和3×3的卷积构成的解码器,通过引入注意力机制来更加关注目标的特征并抑制不必要的特征和噪音,从而提高模型的性能。实验结果表明,本方法与经典U-Net算法相比,Dice系数提升了9.5%,Jaccard相似系数提升了11.3%,Hausdorff Distance下降了74.6%。该方法提高了多裂肌脂肪浸润部位的分割精度,为腰椎间盘突出患者多裂肌病灶部位的分割提供了一种有效的方法。     

基于多源信息融合的医学图像分割方法

医学图像中各成像方式存在自身缺陷，以单一源数据作为输入进行分割模型的构建与训练易导致病灶的分割准确率不足，因此提出基于多源信息融合的医学图像分割方法，并以乳腺癌微钙化簇病灶诊断中的FFDM与DBT这2类数据源为例，验证方法的有效性.方法利用Yolov4区域候选网络对FFDM数据进行可疑区域筛选；根据同一病人FFDM可疑区域进行DBT图像预处理；以预处理后的DBT图像作为改进U-Net模型的输入实现病灶分割；通过基于序贯相似性判别的断层分割结果融合策略，综合DBT中多断层结果完成病灶最终分割.方法在20例病人的FFDM与DBT数据上得到98.52%的真阳性率、10.45%的假阳性率与94.07%的精度.结果表明，本研究提出的基于多源信息融合的医学图像分割方法，有效利用多源数据优势，最终实现病灶的快速精确分割，可以为医学图像诊疗智能化提供一种全新的解决方案.     

多层次MSER自然场景文本检测

提出一种新的基于多层次最大稳定极值区域(MSER)的自然场景文本检测方法,其由候选区域的提取和文本检测组成.在候选区域提取过程中,采用多层次MSER区域提取方法:通过对原始图像进行多个颜色空间变换和多尺度放缩得到多个变换后的图像,采用多个阈值对其进行MSER区域检测,并将检测到的区域作为候选区域用于文本检测.检测过程中,对候选区域提取手工设计的底层特征和基于卷积神经网络(CNN)的深层特征,训练一个随机森林回归器对特征进行分类得到字符区域,再将其合并成单词区域,并进行相似的特征提取和分类,从而得到最终的文本检测结果.使用2个标准的数据库(ICDAR2011和ICDAR2013)对提出的方法进行性能评价,F指标在ICDAR2011和ICDAR2013上均为0.79,表明了所提出的自然场景文本检测方法的有效性.     

嵌入卷积块注意力模块的人像自动抠图算法

针对常用人像抠图算法需要输入人工标注三分图及抠图精度不高的问题,提出一种嵌入卷积块注意力模块的人像自动抠图算法。该算法使用三分支网络进行学习：首先预分割分支网络将MobileNetV2与Unet相结合,减少网络参数,引入h-swish激活函数,保留更多有效特征,获取三分图;然后在Alpha抠图分支网络嵌入卷积块注意力模块(CBAM),更好地获取图像多尺度信息,实现Alpha图的初步预测;最后通过细节融合分支网络将以上两个分支的输出进行特征融合,得到Alpha图。实验对比本文算法与现有深度图像抠图(DIM)算法,结果表明,本文算法的绝对误差和(SAD)降低了7.5%、均方误差(MSE)降低了19.4%,实现了人像自动抠图,并获得了良好的抠图效果。     

面向高光谱图像分类的超像素级Gabor特征融合方法研究

由于高光谱图像中的地物空间分布具有规整性和局部连续性,同时超像素分割是一种将空间图像分割成多个同质区域的有效方法,因此从超像素的角度进行高光谱图像分类将具有重要意义.本文提出了一种超像素级Gabor特征融合的高光谱图像分类方法,简称为SPGF.首先,使用一组预定义的二维Gabor滤波器与原始高光谱图像进行卷积运算,提取有效特征.同时,利用简单线性迭代聚类(简称SLIC)超像素分割方法将原始高光谱图像划分成互不重叠的超像素.然后,对于每个Gabor特征模块,利用支持向量机分类器进行分类,并使用多数投票策略实现各模块分类结果的融合.最后,使用通过SLIC算法得到的超像素图对分类结果进行修正.在2个真实高光谱数据集上的实验结果表明,本文提出的SPGF方法能够比领域内的一些经典算法获得更高的分类效果.     

基于角点类别特征和边缘幅值方向梯度直方图统计特征的复杂场景文字定位算法

针对复杂场景中纹理丰富的非文字区对文字定位算法的干扰,提出了基于光度不变量的角点类别特征和边缘幅值方向梯度直方图(Histogram of oriented gradients of edge magnitude,HOG-EM)统计特征两种新特征,并据此设计了一种两级多层复杂场景文字定位算法。首先获取边缘图像并提取根据HSL颜色空间特性划分的8层二值化图像,将其组成9层子图并做连通域分析提取文字候选区。然后提取文字候选区的角点类别特征和HOG-EM统计特征,将二者分别用于剔除非文字候选区和获取文字。实验表明:本文算法可以较为准确地剔除纹理丰富的非文字区,有效地降低复杂场景文字定位算法的虚警率,取得比较理想的准确率和召回率。     

基于注意力机制和多层次特征融合的目标检测算法

为了提高目标检测的准确率,提出一种基于注意力机制和多层次特征融合的图像目标检测算法。该算法在Cascade R-CNN模型的基础上,以RseNet50为主干网络,通过嵌入简单的注意力模块（SAM）来提高网络的判别能力;其次,利用深度可分离卷积改进特征金字塔网络（FPN）,设计了多层次特征融合模块（MFFM）,对多尺度特征进行融合,以丰富特征图的信息量,并对不同层次的特征图赋予相应的权重以平衡不同尺度的特征信息;最后,结合目标检测方法中的区域建议网络（RPN）结构获取目标的候选区域进行分类和回归处理,确定检测目标的位置和类别。实验结果表明,相较于Cascade R-CNN目标检测算法,该算法的检测精度提升了约2.0%。     

分块鲁棒主成分分析的撞击坑图像检测识别

针对遥感图像地形背景复杂的问题,提出分块鲁棒主成分分析的撞击坑候选区域自动提取方法.基于图像分块,采用交替方向乘子算法进行结构稀疏的低秩分解,低秩成分表示冗余相似的背景,稀疏成分代表包含潜在撞击坑的显著区域.针对显著的区域图采用数学形态运算分割获取候选的撞击坑图像,并通过对候选图像进行稀疏表示的分类,识别出真实撞击坑.基于火星和月球图像的实验结果表明,该方法能有效去除复杂地形和光照的干扰,检测率达到91.7%.     

基于深度学习特征融合的遥感图像场景分类应用

针对传统手工特征方法无法有效提取整体图像深层信息的问题,本文提出一种基于深度学习特征融合的场景分类新方法.利用灰度共生矩阵（GLCM）和局部二值模式（LBP）提取具有相关空间特性的纹理特征和局部纹理特征的浅层信息;通过基于AlexNet迁移学习网络提取图像的深层信息,在去除最后一层全连接层的同时加入一层256维的全连接层作为特征输出;将两种特征进行自适应融合,最终输入到网格搜索算法优化的支持向量机（GS-SVM）中对遥感图像进行场景分类识别.在公开数据集UC Merced的21类目标数据和RSSCN7的7类目标数据的实验结果表明,5次实验的平均准确率分别达94.77%和93.79%.该方法可有效提升遥感图像场景的分类精度.     

Recognition of Group Activities Using Complex Wavelet Domain Based Cayley-Klein Metric Learning

A group activity recognition algorithm is proposed to improve the recognition accuracy in video surveillance by using complex wavelet domain based Cayley-Klein metric learning. Non-sampled dual-tree complex wavelet packet transform (NS-DTCWPT) is used to decompose the human images in videos into multi-scale and multi-resolution. An improved local binary pattern (ILBP) and an inner-distance shape context (IDSC) combined with bag-of-words model is adopted to extract the decomposed high and low frequency coefficient features. The extracted coefficient features of the training samples are used to optimize Cayley-Klein metric matrix by solving a nonlinear optimization problem. The group activities in videos are recognized by using the method of feature extraction and Cayley-Klein metric learning. Experimental results on behave video set, group activity video set, and self-built video set show that the proposed algorithm has higher recognition accuracy than the existing algorithms.     

基于边缘统计和颜色特征的车牌综合自动定位方法

车牌识别在智能交通系统中起着重要作用.车牌定位是车牌识别中的关键步骤.本文提出一种基于车牌字符边缘统计和颜色特征的综合定位方法,可以有效地解决背景复杂的彩色图像中车牌定位的问题.该方法分为竖直边缘检测、边缘统计分析、车牌候选区定位、候选区筛选、车牌倾斜矫正.通过对垂直边缘的统计分析将邻近的边缘点进行连接,结合车牌的位置、颜色等特征对连接形成的块状区域进行筛选,而后对得到的车牌区域加以校正,最终输出易于分割的车牌字符图像.该系统包括从图像采集,到车牌分类、车牌文字区别等完整过程,适应性强.通过一系列实际采样图像的试验结果证明,该方法准确率高、鲁棒性好,能够满足实际车辆车牌自动识别系统应用的需要.     

一种集成卷积神经网络和深信网的步态识别与模拟方法

针对高斯过程的条件受限玻尔兹曼机(Gaussian-based conditional restricted Boltzmann machine, GCRBM)时序模型可以对单一种类的步态时序数据进行很好的预测,但对多类步态时序数据难以识别和预测的问题,提出一种集成卷积神经网络(convolutional neural network, CNN)和深信网(deep belief network, DBN)的步态识别与模拟方法。利用所有类步态数据训练多个不同结构的CNNs模型,利用多类数据训练多个DBNs模型学习低维特征,并通过低维特征训练多个GCRBMs模型。在步态识别与模拟时,CNNs分类器通过投票法确定步态数据的类别;通过识别到的类所对应的DBNs模型低维特征作为对应GCRBMs模型的输入预测目标数据的后期时序低维特征;利用DBNs重构阶段将后期时序低维特征模拟出步态图像。在CASIA系列步态数据集上的试验结果表明:与支持向量机(support vector machine, SVM)、集成DBN和CNN等方法相比,本研究方法的识别率有一定的提高,提出的模型能够根据步态时序预测结果模拟出真实的步态序列图像,证实了模型的有效性。     

结肠癌基因表达谱的特征选取研究

为了找到与结肠癌相关的基因,提高结肠癌样本的识别率,提出了基于Chernoff距离的浮动顺序搜索算法(sequential floating search method, SFSM)。通过对结肠癌基因表达谱数据集的分析,对每个基因进行评价和筛选;对筛选后的基因子集利用SFSM算法进行搜索,并以Chernoff距离作为其评估函数,生成若干候选特征基因子集;利用支持向量机(support vector machine,SVM)、K-近邻(K nearest neighbor,KNN)和径向基(radical basis function,RBF)神经网络分类器来检验候选特征基因子集的分类效果。实验结果表明,利用SFSM及评估函数Chernoff距离发现在参数β=025时能找到最佳的特征基因组合,该组合能以很高的正确率识别结肠癌样本。