融合分割先验的多图像目标语义分割

目的 在序列图像或多视角图像的目标分割中，传统的协同分割算法对复杂的多图像分割鲁棒性不强，而现有的深度学习算法在前景和背景存在较大歧义时容易导致目标分割错误和分割不一致。为此，提出一种基于深度特征的融合分割先验的多图像分割算法。方法 首先，为了使模型更好地学习复杂场景下多视角图像的细节特征，通过融合浅层网络高分辨率的细节特征来改进PSPNet-50网络模型，减小随着网络的加深导致空间信息的丢失对分割边缘细节的影响。然后通过交互分割算法获取一至两幅图像的分割先验，将少量分割先验融合到新的模型中，通过网络的再学习来解决前景/背景的分割歧义以及多图像的分割一致性。最后通过构建全连接条件随机场模型，将深度卷积神经网络的识别能力和全连接条件随机场优化的定位精度耦合在一起，更好地处理边界定位问题。结果 本文采用公共数据集的多图像集进行了分割测试。实验结果表明本文算法不但可以更好地分割出经过大量数据预训练过的目标类，而且对于没有预训练过的目标类，也能有效避免歧义的区域分割。本文算法不论是对前景与背景区别明显的较简单图像集，还是对前景与背景颜色相似的较复杂图像集，平均像素准确度（PA）和交并比（IOU）均大于95%。结论 本文算法对各种场景的多图像分割都具有较强的鲁棒性，同时通过融入少量先验，使模型更有效地区分目标与背景，获得了分割目标的一致性。     

融合时空多特征表示的无监督视频分割算法

针对视频分割的难点在于分割目标的无规则运动、快速变换的背景、目标外观的任意变化与形变等,提出了一种基于时空多特征表示的无监督视频分割算法,通过融合像素级、超像素级以及显著性三类特征设计由细粒度到粗粒度的稳健特征表示。首先,采用超像素分割对视频序列进行处理以提高运算效率,并设计图割算法进行快速求解;其次,利用光流法对相邻帧信息进行匹配,并通过K-D树算法实现最近邻搜索以引入各超像素的非局部时空颜色特征,从而增强分割的鲁棒性;然后,对采用超像素计算得到的分割结果,设计混合高斯模型进行完善;最后,引入图像的显著性特征,协同超像素分割与混合高斯模型的分割结果,设计投票获得更加准确的视频分割结果。实验结果表明,所提算法是一种稳健且有效的分割算法,其结果优于当前大部分无监督视频分割算法及部分半监督视频分割算法。     

融合外观和运动特征的在线目标分割

目的 视频中的目标分割是计算机视觉领域的一个重要课题,有着极大的研究和应用价值。为此提出一种融合外观和运动特征的在线自动式目标分割方法。方法 首先,融合外观和运动特征进行目标点估计,结合上一帧的外观模型估计出当前帧的外观模型。其次,以超像素为节点构建马尔可夫随机场模型,结合外观模型和位置先验把分割问题转化为能量最小化问题,并通过Graph Cut进行优化求解。结果 最后,在两个数据集上与5种标准方法进行了对比分析,同时评估了本文方法的组成成分。本文算法在精度上至少比其他的目标分割算法提升了44.8%,且具有较高的分割效率。结论 本文通过融合外观与运动特征实现在线的目标分割,取得较好的分割结果,且该方法在复杂场景中也具有较好的鲁棒性。     

融合深层差异特征的RGB-T巢式语义分割网络

针对现存可见光—红外（RGB-T）图像语义分割模型分割性能不高的问题,提出一种基于深层差异特征互补融合的巢式分割网络。具体来说,网络的编码和解码部分通过多级稠密中间路径相连形成一个嵌套形式的结构,编码器的深浅特征通过多级路径供解码器实现密集的多尺度特征复用,另一方面多模态深层特征通过特征差异性融合策略增强其语义表达能力。实验结果表明,所提网络在MFNet数据集上实现了65.8%的平均准确率和54.7%的平均交并比,与其他先进RGB-T分割模型相比,具有更优越的分割能力。     

融合小样本元学习和原型对齐的点云分割算法

目的 针对点云分割需要大量监督信息所造成的时间成本高、计算效率低的问题，采用融合原型对齐的小样本元学习算法对点云进行语义分割，使模型能够在监督信息很少的情况下完成分割任务。方法 首先，为了避免小样本训练时易导致的过拟合问题，采用2个边缘卷积层（edge convolution layer，EdgeConv）与6个MLP （multilayer perceptron）交叉构造DGCNN （dynamic graph convolutional neural network），同时还保证了能充分学习到点云信息；然后，以N-way K-shot的形式将数据集输入上述网络学习支持集与查询集的特征，通过average pooling feature获取类别原型并融合原型对齐算法得到更为鲁棒的支持集原型；最后，通过计算查询集点云特征与支持集原型的欧氏距离实现点云分割。结果 在S3DIS （Stanford large-scale 3D indoor spaces dataset）、ScanNet和闽南古建筑数据集上进行点云语义分割实验，与原型网络和匹配网络在S3DIS数据集上进行比较。分割1-way时，平均交并比（mean intersection over union，mIoU）相比原型网络和匹配网络分别提高了0.06和0.33，最高类别的mIoU达到0.95；分割2-way时，mIoU相比原型网络提高了0.04；将DGCNN网络与PointNet++做特征提取器的对比时，分割ceiling和floor的mIoU分别提高了0.05和0.30。方法应用在ScanNet数据集和闽南古建筑数据集上的分割mIoU分别为0.63和0.51。结论 提出的方法可以在少量标记数据的情况下取得良好的点云分割效果。相比于此前需用大量标记数据所训练的模型而言，只需要很少的监督信息，便能够分割出该新类，提高了模型的泛化能力。当面临样本的标记数据难以获得的情况时，提出的方法更能够发挥关键作用。     

融合灰度和梯度信息的彩色细胞图像自动分割

为了开发血及骨髓涂片中白细胞自动分类及计算机辅助诊断系统,提出了一种融合灰度空间、彩色信息和数学形态学形态梯度信息的血细胞图像自动分割算法,以完成对白细胞（胞核和胞浆）的分割。在灰度空间,通过改进的迭代阈值分割算法,对白细胞的胞核进行了精确的定位和检出。通过彩色空间变换,有效地利用了图像中血细胞胞浆的颜色信息及先验知识,并且为了抑制过度分割,充分利用梯度信息,合理地对白细胞的胞核和胞浆进行了标记。在灰度梯度图像上提取血细胞的轮廓,并分别赋予不同的标记,表明数学形态梯度算法较传统的边缘检测算子具有更好的边缘提取能力。结果表明,胞核和胞浆的分割正确率分别为95.5％和92.6％,验证了该算法对彩色白细胞图像分割的有效性。     

融合显著性图像语义特征的人体相似动作识别

目的 基于骨骼的动作识别技术由于在光照变化、动态视角和复杂背景等情况下具有更强的鲁棒性而成为研究热点。利用骨骼/关节数据识别人体相似动作时,因动作间关节特征差异小,且缺少其他图像语义信息,易导致识别混乱。针对该问题,提出一种基于显著性图像特征强化的中心连接图卷积网络（saliency image feature enhancement based center-connected graph convolutional network,SIFE-CGCN）模型。方法 首先,设计一种骨架中心连接拓扑结构,建立所有关节点到骨架中心的连接,以捕获相似动作中关节运动的细微差异;其次,利用高斯混合背景建模算法将每一帧图像与实时更新的背景模型对比,分割出动态图像区域并消除背景干扰作为显著性图像,通过预训练的VGG-Net(Visual Geometry Group network)提取特征图,并进行动作语义特征匹配分类;最后,设计一种融合算法利用分类结果对中心连接图卷积网络的识别结果强化修正,提高对相似动作的识别能力。此外,提出了一种基于骨架的动作相似度的计算方法,并建立一个相似动作数据集。结果 ...     

融合空洞卷积与注意力的胃癌组织切片分割

目的 病理组织切片检查是诊断胃癌的金标准,准确发现切片中的病变区域有助于及时确诊并开展后续治疗。然而,由于病理切片图像的复杂性、病变细胞与正常细胞形态差异过小等问题,传统的语义分割模型并不能达到理想的分割效果。基于此,本文提出了一种针对病理切片的语义分割方法ADEU-Net （attention-dilated-efficient U-Net++）,提高胃癌区域分割的精度,实现端到端分割。方法 ADEU-Net使用经过迁移学习的EfficientNet作为编码器部分,增强图像特征提取能力。解码器采用了简化的U-Net++短连接方式,促进深浅层特征融合的同时减少网络参数量,并重新设计了其中的卷积模块提高梯度传递能力。中心模块使用空洞卷积对编码器输出结果进行多尺度的特征提取,增强模型对不同尺寸切片的鲁棒性。编码器与解码器的跳跃连接使用了注意力模块,以抑制背景信息的特征响应。结果 在2020年“华录杯”江苏大数据开发与应用大赛（简称“SEED”大赛）数据集中与其他经典方法比较,验证了一些经典模型在该分割任务中难以拟合的问题,同时实验得出修改特征提取方式对结果有较大提升,本文方法在分割准确度上比原始U-Net提高了18.96%。在SEED数据集与2017年中国大数据人工智能创新创业大赛（brain of things,BOT）数据集中进行了消融实验,验证了本文方法中各个模块均有助于提高病理切片的分割效果。在SEED数据集中,本文方法ADEU-Net比基准模型在Dice系数、准确度、敏感度和精确度上分别提升了5.17%、2.7%、3.69%、4.08%;在BOT数据集中,本文方法的4项指标分别提升了0.47%、0.06%、4.30%、6.08%。结论 提出的ADEU-Net提升了胃癌病理切片病灶点分割的精度,同时具有良好的泛化性能。     

A new approach of color images segmentation based on fusing region and edge segmentations outputs

Image segmentation requires processing of a huge volume of data. It is therefore necessary, for their implementation in industrial computer controlled systems, to search for straightforward algorithms. Presently, literature offers a lot of gray-tone image segmentation techniques, but few of them attend to color image segmentation. This paper presents a co-operative strategy within a multi-resolution color image segmentation, which attempt to extract the meaningful information (regions and boundaries), then fuse these two approaches in order to achieve an accurate, robust and suitable segmentation. A blob filling coloration algorithm allows to design, from the segmented image, a synthesis image which appears as a simplified but faithfull copy with a chosen resolution of the original image. This process is induced by approach of the human psychovisual system of perception, tender to the sharp edges, strong contrasts and large areas of color. It gives good results when applied on natural scenes, like a bunch of flowers, or on artificial scenes, like a set of building blocks. As possible, we use the coding vocabulary of R.M. Haralick.     

融合MBP和EPMOD的人脸识别

摘 要：目的：单演信号分析在人脸识别中得到了日益广泛的应用,然而其中的单演方向作为一种极为重要的几何信息却未能得到充分的利用。为此,提出了一种新的增强型单演方向差分算子对单演方向进行特征提取,进而提出了融合MBP（单演二值模式）和EPMOD(增强型单演方向差分模式)的人脸识别方法。方法：首先对图像进行多种尺度的单演滤波并分别提取图片的MBP特征和EPMOD特征,然后使用BFLD(基于分块的线性fisher判别)分别对两种特征进行降维并增强两种特征的分类能力。最后,在得分级别上对两种特征进行融合并进行分类识别。结果：在ORL和CAS-PEAL人脸库上的实验表明,本文提出的EPMOD算法具有更小的时间复杂度和空间复杂度的前提下具有与MBP、LGBP相当甚至更好的识别效果。结论：本文提出了一种有效的人脸特征提取方法,实验表明本文提出的将EPMOD和MBP特征进行融合的方法能够显著地提高算法的最终识别率。     

Object classification by fusing SVMs and Gaussian mixtures

We present a new technique that employs support vector machines (SVMs) and Gaussian mixture densities (GMDs) to create a generative/discriminative object classification technique using local image features. In the past, several approaches to fuse the advantages of generative and discriminative approaches were presented, often leading to improved robustness and recognition accuracy. Support vector machines are a well known discriminative classification framework but, similar to other discriminative approaches, suffer from a lack of robustness with respect to noise and overfitting. Gaussian mixtures, on the contrary, are a widely used generative technique. We present a method to directly fuse both approaches, effectively allowing to fully exploit the advantages of both. The fusion of SVMs and GMDs is done by representing SVMs in the framework of GMDs without changing the training and without changing the decision boundary. The new classifier is evaluated on the PASCAL VOC 2006 data. Additionally, we perform experiments on the USPS dataset and on four tasks from the UCI machine learning repository to obtain additional insights into the properties of the proposed approach. It is shown that for the relatively rare cases where SVMs have problems, the combined method outperforms both individual ones.     

融合自注意力和自编码器的视频异常检测

目的 视频异常检测通过挖掘正常事件样本的模式来检测不符合正常模式的异常事件。基于自编码器的模型广泛用于视频异常检测领域,由于自监督学习的特征提取具有一定盲目性,使得网络的特征表达能力有限。为了提升模型对正常模式的学习能力,提出一种基于Transformer和U-Net的视频异常检测方法。方法 首先,编码器对输入的连续帧进行下采样提取低层特征,并将最后一层特征图输入Transformer编码全局信息,学习特征像素之间的相关信息。然后解码器对编码特征进行上采样,通过跳跃连接与编码器中相同分辨率的低层特征融合,将全局空间信息与局部细节信息结合从而实现异常定位。针对近景康复动作的异常反馈需求,本文基于周期性动作收集了一个室内近景数据集,并进一步引入动态图约束引导网络关注近景周期性运动区域。结果 实验在4个室外公开数据集和1个室内近景数据集上与同类方法比较。在室外数据集CUHK(Chinese University of Hong Kong)Avenue,UCSD Ped1(University of California, San Diego, pedestrian1),UCSD Ped2,L...     

融合显著性因子的行人纹理提取

针对基于纹理信息的行人特征提取算法中存在特征信息冗余度大,无法刻画人眼视觉敏感性的不足,提出一种融合人类视觉感知特性的基于显著性局部二值模式(SF-LBP)的行人纹理特征提取算法.该算法首先采用显著性计算方法提取感兴趣区域得到各部分的显著性因子;然后将显著性因子权值与行人纹理特征根据核函数相融合,生成基于SF-LBP算子的特征向量;接着统计不同区域的特征向量,形成特征直方图;最后结合自适应AdaBoost分类器构建实验平台进行实验.INRIA数据集中的实验结果显示,SF-LBP特征在检测准确率上比梯度直方图(HOG)特征、Haar特征高出2%~3%,达到97%,召回率达到90%,提高了2%左右,表明SF-LBP算子能够准确描述行人的纹理特征,提高行人检测系统的准确率.     

融合人脸五官信息的深度年龄估计

本文提出了一种新型的基于人脸五官辅助的深度年龄估计方法,将传统的人脸五官区域特征提取加分类器设计方法与基于深层卷积神经网络(convolutional neural network,CNN)的端到端分类方法进行融合来解决年龄估计问题,增强了系统模型的泛化能力.该方法将面部关键点生成的局部对齐的人脸图像块作为CNN的输入,直接从图像的像素点评估年龄,采用多尺度分析网络结构极大地提高了性能,同时又利用传统算法增强了五官区域的信息.最后通过在MORPH AlbumⅡ上的实验表明文中提出方法比其他同类研究方法更加优秀.     

融合链接文本的增量联合主题模型*

在基于链接的概率隐含语义分析的基础上提出一种融合文本链接的增量方法进行主题建模。首先在原有网页集上进行主题建模;然后随着网页的结构和内容动态变化,利用一种合理的更新机制更新模型参数,从而高效快速地处理在线网页流的动态变化。此外,提出一个自适应非对称学习方法融合文本与链接模态的隐含主题。对于每个网页,它在两种模态上的主题分布通过加权进行融合,而权值由该网页的特征词分布的熵值确定。由于融合之后的概率结构合理地关联了链接模态和文本模态的信息,故能得到很好的建模效果。两种类型的数据集上的实验结果显示该算法可以有效地节省时间,并对网页分类有较大性能的提高,此外还提供了由本文模型生成的主题显示结果。     

融合LLE和ISOMAP的非线性降维方法

局部线性嵌入（LLE）和等距映射（ISOMAP）在降维过程中都只单一地保留数据集的某一种特性结构, 从而使降维后的数据集往往存在顾此失彼的情况。针对这种情况, 借助流形学习的核框架, 提出融合LLE和ISOMAP的非线性降维方法。新的融合方法使降维后的数据集既保持着数据点间的局部邻域关系, 也保持着数据点间的全局距离关系。在仿真数据集和实际数据集上的实验结果证实了该方法的优越性。     

融合行为和语义的节点影响力分析

社交网络中节点影响力研究在信息传播、舆情监督、社会化商务等领域有重要作用。提出融合行为和语义的节点影响力分析方法--BSA（Behavior and Semantics Analysis）方法。该方法先通过基于Cox模型的时间衰减行为矩阵方法计算受者行为影响力,然后通过语义分析方法计算施者行为影响力,最后融合施者行为影响力与受者行为影响力来计算节点的影响力。仿真实验表明,提出的方法可以较真实地反映社交网络中节点的影响力。     

Human body segmentation based on shape constraint

Human body segmentation is essential for many practical applications, e.g., video surveillance analysis in intelligent urban. However, existing methods mainly suffer from various human poses. In this paper, we try to address this issue by introducing human shape constraint. First, human pose estimation is performed, and locations of human body parts are determined. Contrast to the previous work, we just use the human body parts with high precision. Then we combines the star convexity and the human body parts’ locations as shape constraint. The final segmentation results are acquired through the optimization step. Comprehensive and comparative experimental results demonstrate that the proposed method achieves promising performance and outperforms many state-of-the-art methods over publicly available challenging datasets.     

多特征融合的自适应性粒子滤波跟踪算法

为提高粒子滤波视觉目标跟踪算法的实时性与鲁棒性,提出了一种基于多特征融合的自适应性粒子滤波跟踪算法。该算法利用颜色和结构特征表示目标,将两者融合于粒子滤波的框架中,利用融合后的信息计算粒子的权值,以降低算法受目标形变及复杂环境的影响。同时,根据跟踪预测的准确程度动态计算跟踪所需的粒子数目,对采样粒子集进行自适应调整,以提高粒子质量,降低粒子数量,减少算法运算时间。实验结果表明,所提算法对于每帧图像的平均计算时间相对于传统混合跟踪算法缩短了将近一半,而且算法的鲁棒性较强。