结合显著性检测和中心分割算法的文本检测方法

针对复杂背景下的文本检测问题,提出了显著性检测与中心分割算法相结合的文本检测技术。对于输入的图像,首先分别使用前景与背景作为标准的显著性检测方法,背景检测时将图像的四边分别作为基准,前景检测时将背景检测中得到的非背景区域作为基准,最终可得到较准确的备选文本区。然后使用中心分割算法,得到精确的边缘图。由于显著性图备选区域准确边缘细节缺失,而边缘图边缘精确但无法得出备选文本区,因此将两者进行融合处理,得到最终文本区域。实验表明,所提出的方法有较好的检测效果。     

离散ADMM方法下像素与对象基元协同优化的遥感影像无监督语义分割

语义分割是遥感影像分析中的重要技术之一。现有的方法（如基于深度卷积神经网络的方法等）虽然在语义分割中取得了显著进展,但往往需要大量训练数据。基于图模型的马尔可夫随机场模型（Markov random field model,MRF）提出了一种不依赖训练数据的无监督语义分割思路,可以有效地刻画地物空间关系,并对地物空间分布的统计规律进行建模。但现有的MRF模型方法通常建立在基于像素或对象的单一粒度基元上,难以充分利用影像信息,语义分割效果不佳。针对上述问题,引入交替方向乘子法 （alternative direction method of multiplier,ADMM）并将其离散化,提出了一种像素与对象基元协同的MRF模型无监督语义分割方法（MRF-ADMM）。首先构建像素基元和对象基元两个概率图,其中像素基元概率图用于刻画影像的细节信息,保持语义分割的边界;对象基元概率图用于描述较大范围的空间关系,以应对遥感影像地物内部的高异质性,使分割结果中地物内部具有良好的区域完整性。在模型求解过程中,针对像素和对象基元的特点,提出了一种离散化的ADMM方法,并将其用于两种基元类别标记的传递与更新,实现像素基元细节信息和对象基元区域信息的协同优化。高分二号和航拍影像等不同数据库不同类型遥感影像的语义分割实验结果表明,相较于现有的MRF模型,提出的MRF-ADMM方法能有效地协同不同粒度基元的优点,优化语义分割结果。     

显著性引导及不确定性监督的深度编解码网络

基于U-Net的编码-解码网络及其变体网络在医学图像语义分割任务中取得了卓越的分割性能.然而,网络在特征提取过程中丢失了部分空间细节信息,影响了分割精度.另一方面,在多模态的医学图像语义分割任务中,这些模型的泛化能力和鲁棒性不理想.针对以上问题,本文提出一种显著性引导及不确定性监督的深度卷积编解码网络,以解决多模态医学图像语义分割问题.该算法将初始生成的显著图和不确定概率图作为监督信息来优化语义分割网络的参数.首先,通过显著性检测网络生成显著图,初步定位图像中的目标区域;然后,根据显著图计算不确定分类的像素点集合,生成不确定概率图;最后,将显著图和不确定概率图与原图像一同送入多尺度特征融合网络,引导网络关注目标区域特征的学习,同时增强网络对不确定分类区域和复杂边界的表征能力,以提升网络的分割性能.实验结果表明,本文算法能够捕获更多的语义信息,在多模态医学图像语义分割任务中优于其他的语义分割算法,并具有较好的泛化能力和鲁棒性.     

利用视觉显著性的图像分割方法

提出一种利用视觉显著性对图像进行分割的方法。首先提取图像的底层视觉特征,从局部显著性、全局显著性和稀少性3个方面计算各特征图像中各像素的视觉显著性,得到各特征显著图;对各特征显著图进行综合,生成最终的综合显著图。然后对综合显著图进行阈值分割,得到二值图像,将二值图像与原始图像叠加,将前景和背景分离,得到图像分割结果。在多幅自然图像上进行实验验证,并给出相应的实验结果和分析。实验结果表明,该方法正确有效,具有和人类视觉特性相符合的分割效果。     

基于生成对抗网络的自动细胞核分割半监督学习方法

为了减少对标注图像数量的依赖,提出一种新颖的半监督学习方法用于细胞核的自动分割。首先,通过新的卷积神经网络（CNN）从背景中自动提取细胞区域。其次,判别器网络通过应用全卷积网络来为输入的图像生成置信图;同时耦合对抗性损失和标准交叉熵损失,以改善分割网络的性能。最后,将标记图像和无标记图像与置信图结合来训练分割网络,使分割网络可以在提取的细胞区域中识别单个细胞核。对84张图像（训练集中的1/8图像带标注,其余图像无标注）的实验结果表明,提出的细胞核分割方法的分割准确率度量（SEG）得分可以达到77.9%,F1得分可以达到76.0%,这比该方法使用670张图像且训练集中的所有图像都带标注时的表现要好。     

基于生成对抗网络的自动细胞核分割半监督学习方法

为了减少对标注图像数量的依赖，提出一种新颖的半监督学习方法用于细胞核的自动分割。首先，通过新的卷积神经网络（CNN）从背景中自动提取细胞区域。其次，判别器网络通过应用全卷积网络来为输入的图像生成置信图；同时耦合对抗性损失和标准交叉熵损失，以改善分割网络的性能。最后，将标记图像和无标记图像与置信图结合来训练分割网络，使分割网络可以在提取的细胞区域中识别单个细胞核。对84张图像（训练集中的1/8图像带标注，其余图像无标注）的实验结果表明，提出的细胞核分割方法的分割准确率度量（SEG）得分可以达到77.9%，F1得分可以达到76.0%，这比该方法使用670张图像且训练集中的所有图像都带标注时的表现要好。     

基于前景优化和概率估计的显著性检测

为了对图像中的显著目标进行更精确的识别,提出一种基于前景优化和概率估计的区域显著性检测算法.所提出算法主要包括前景与背景线索选择、前景线索优化及基于概率估计的显著性区域检测3部分.首先,采用简单线性迭代聚类算法对图像进行初始分割;然后,分别检测图像的背景线索和前景线索,并利用背景线索对前景线索进行优化;最后,采用概率估计算法分别对基于背景线索和优化后前景线索进行显著性区域检测,并对两者结果进行融合.对比实验表明,所提出算法相比其他算法取得了较高的查准率,具有较好的检测性能.     

Image saliency detection using Gabor texture cues

Image saliency analysis plays an important role in various applications such as object detection, image compression, and image retrieval. Traditional methods for saliency detection ignore texture cues. In this paper, we propose a novel method that combines color and texture cues to robustly detect image saliency. Superpixel segmentation and the mean-shift algorithm are adopted to segment an original image into small regions. Then, based on the responses of a Gabor filter, color and texture features are extracted to produce color and texture sub-saliency maps. Finally, the color and texture sub-saliency maps are combined in a nonlinear manner to obtain the final saliency map for detecting salient objects in the image. Experimental results show that the proposed method outperforms other state-of-the-art algorithms for images with complex textures.     

基于对象位置线索的弱监督图像语义分割方法

深度卷积神经网络使用像素级标注,在图像语义分割任务中取得了优异的分割性能.然而,获取像素级标注是一项耗时并且代价高的工作.为了解决这个问题,提出一种基于图像级标注的弱监督图像语义分割方法.该方法致力于使用图像级标注获取有效的伪像素标注来优化分割网络的参数.该方法分为3个步骤：（1）首先,基于分类与分割共享的网络结构,通过空间类别得分（图像二维空间上像素点的类别得分）对网络特征层求导,获取具有类别信息的注意力图;（2）采用逐次擦除法产生显著图,用于补充注意力图中缺失的对象位置信息;（3）融合注意力图与显著图来生成伪像素标注并训练分割网络.在PASCAL VOC 2012分割数据集上的一系列对比实验,证明了该方法的有效性及其优秀的分割性能.     

融合语义—表观特征的无监督前景分割

目的 前景分割是图像理解领域中的重要任务,在无监督条件下,由于不同图像、不同实例往往具有多变的表达形式,这使得基于固定规则、单一类型特征的方法很难保证稳定的分割性能。针对这一问题,本文提出了一种基于语义-表观特征融合的无监督前景分割方法（semantic apparent feature fusion,SAFF）。方法 基于语义特征能够对前景物体关键区域产生精准的响应,但往往产生的前景分割结果只关注于关键区域,缺乏物体的完整表达;而以显著性、边缘为代表的表观特征则提供了更丰富的细节表达信息,但基于表观规则无法应对不同的实例和图像成像模式。为了融合表观特征和语义特征优势,研究建立了融合语义、表观信息的一元区域特征和二元上下文特征编码的方法,实现了对两种特征表达的全面描述。接着,设计了一种图内自适应参数学习的方法,用于计算最适合的特征权重,并生成前景置信分数图。进一步地,使用分割网络来学习不同实例间前景的共性特征。结果 通过融合语义和表观特征并采用图像间共性语义学习的方法,本文方法在PASCAL VOC（pattern analysis,statistical modelling and computational learning visual object classes）2012训练集和验证集上取得了显著超过类别激活映射（class activation mapping,CAM）和判别性区域特征融合方法（discriminative regional feature integration,DRFI）的前景分割性能,在F测度指标上分别提升了3.5%和3.4%。结论 本文方法可以将任意一种语义特征和表观特征前景计算模块作为基础单元,实现对两种策略的融合优化,取得了更优的前景分割性能。     

基于多图融合和改进Xception网络的跨设备手背静脉识别研究

手背静脉是一种新兴的生物特征识别技术,相比其他生物特征具有唯一性、防伪造性、稳定性和非接触性等明显优势;由于采集设备和采集环境的不同,手背静脉灰度图像存在亮度、角度旋转、尺度缩放等差异,识别率较低;由此提出一种基于多图融合和Xception网络的手背静脉识别算法;首先在图像预处理后分割得到二值纹理图,然后将二值图转换为距离图,再由二值图细化得到骨架图;最后融合二值图、距离图和骨架图,得到包含纹理特征和形状特征的三通道合并图;采用Xception结构作为分类网络,并将其激活函数ReLU改为非线性更强的h-swish激活函数;相关实验在由实验室自建的1库和2库两个数据库上进行,其中1库作为训练集,2库作为测试集,最高识别率达到93.54％.     

前列腺磁共振图像分割的反卷积神经网络方法

目的 前列腺磁共振图像存在组织边界对比度低、有效区域少等问题,手工勾勒组织轮廓边界的传统分割方法无法满足临床实时性要求,针对这些问题提出了一种基于深度反卷积神经网络的前列腺磁共振图像分割算法。方法 基于深度学习理论,将训练图像样本输入设计好的卷积神经网络,提取具有高度区分性的前列腺图像特征,反卷积策略用于拓展特征图尺寸,使网络的输入尺寸与输出预测图大小匹配。网络生成的概率预测图通过训练一个softmax分类器,对预测图像取二值化,获得最终的分割结果。为克服原始图像中有效组织较少的问题,采用dice相似性系数作为卷积网络的损失函数。结果 本文算法以Dice相似性系数和Hausdorff距离作为评价指标,在MICCAI 2012数据集中,Dice相似性系数大于89.75%,Hausdorff距离小于1.3 mm,达到了传统方法的分割精度,并且将处理时间缩短在1 min以内,明显优于其他方法。结论 定量与定性的实验表明,基于反卷积神经网络的前列腺分割方法可以准确地对磁共振图像进行分割,相比于其他分割算法大幅度减小了处理时间,能够很好地适用于临床的前列腺图像分割任务。     

内皮细胞图像自动分割与荧光强度测量方法

针对内皮细胞提出了一种自动分割与细胞区域荧光强度测量方法。通过形态学重建和背景减除消除图像的光照不均匀背景;利用直方图均衡化进行图像增强;增强图像经自动阈值分割与形态学滤波得到二值化粗分割结果;在粗分割结果上利用形态学细化和分水岭算法获取前景与背景的标记点;结合增强图像的梯度及标记点,利用标记点控制的分水岭算法完成分割;最终通过求取分割所得细胞区域内的平均荧光强度完成测量。在实际图像上的实验结果表明,相比于直接使用阈值分割方法,所提出的方法能更准确地完成图像分割及荧光强度的测量。     

基于非参数化采样的单幅图像深度估计

针对传统单幅图像深度估计线索不足及深度估计精度不准的问题,提出一种基于非参数化采样的单幅图像深度估计方法。该方法利用非参数化的学习手段,将现有RGBD数据集中的深度信息迁移到输入图像中去。首先计算输入图像和现有RGBD数据集多尺度的高层次图像特征;然后,在现有RGBD数据集中,基于高层次的图像特征通过kNN最近邻搜索找到若干与输入图像特征最匹配的候选图像,并将这些候选图像对通过SIFT流形变到输入图像进行对齐。最后,对候选深度图进行插值和平滑等优化操作便可以得到最后的深度图。实验结果表明,与现有算法相比,该方法估计得到的深度图精度更高,对输入图像的整体结构保持得更好。     

深度图辅助的主动轮廓分割算法

针对由前后背景相似而导致从图像中很难分割出精确图像的问题,以主动轮廓分割方法为基础,结合深度图为辅助,提出了一种新的深度图辅助的基于区域的主动轮廓图像分割方法。首先,使用滤波算法对深度图进行修补,得到较为完善的深度图;然后使用混合高斯模型计算得到彩色图和深度图的置信图;最后使用置信图,计算给定区域中颜色与深度的权重,从而指导分割过程。提出的算法能够正确使用彩色信息和深度信息来指导分割,更准确地实现前后背景的分离。实验结果表明,该方法得到的分割结果较为接近真实情况,提高了图像分割的准确率。     

弱监督语义分割的对抗学习方法

大多数弱监督语义分割的解决方案都利用图像级监督信息产生的类激活特征图进行训练学习.类激活特征图只能发现目标最具判别力的部分,它与真实的像素级标签信息存在较大差距,所以训练效果并不理想.对来自原图像及其仿射变化图像的类激活特征图进行对抗学习来达到更好的训练效果.首先将图像及对其进行仿射变化得到的图像输入孪生网络,使用图像级分类标签得到各自的类激活特征图,然后将这两组类激活特征图输入辨别网络进行对抗学习,训练孪生网络使得原图像与其仿射变化图像的类激活特征图逼近,从而有效利用等变注意力机制,学习更多的有效信息并缩小类激活特征图和真实的像素级标签之间的差距,提高弱监督的性能.在PASACAL VOC 2012数据集上,在验证集上的平均交并比为63.7％,测试集上的平均交并比为65.7％,与当前其他先进弱监督语义分割的方法进行对比,验证集与测试集上的平均交并比提高了1.2％和1.3％.该对抗性学习方案能有效利用等变注意力机制,学习更多的有效信息并缩小类激活特征图和真实的像素级标签之间的差距,提高弱监督的性能且达到了良好的分割效果.     

基于直方图重构的极大交叉熵图像分割方法

针对图像分割阈值选择问题,提出用动态参数将原始图像直方图分成两部分,构造两个新的相关直方图,分别对应于同原始图像等尺寸的虚拟图像,其中等概率像素是原始图像的相似像素。聚集计算两个构造直方图概率分布的交叉熵,分析其函数曲线极大值的峰谷关系,实现图像最佳多阈值分割。实验结果表明该方法的有效性。     

Recognizing partially occluded, expression variant faces from single training image per person with SOM and soft k-NN ensemble

Most classical template-based frontal face recognition techniques assume that multiple images per person are available for training, while in many real-world applications only one training image per person is available and the test images may be partially occluded or may vary in expressions. This paper addresses those problems by extending a previous local probabilistic approach presented by Martinez, using the self-organizing map (SOM) instead of a mixture of Gaussians to learn the subspace that represented each individual. Based on the localization of the training images, two strategies of learning the SOM topological space are proposed, namely to train a single SOM map for all the samples and to train a separate SOM map for each class, respectively. A soft k nearest neighbor (soft k-NN) ensemble method, which can effectively exploit the outputs of the SOM topological space, is also proposed to identify the unlabeled subjects. Experiments show that the proposed method exhibits high robust performance against the partial occlusions and variant expressions.     

协同目标性指导下的多图像联合分割算法

提出一种协同分割算法,使包含同类目标的多幅图像相互作用,从而将目标从各自图像的背景中分离出来。首先,分别从单幅图像自身角度和多幅同类目标图像相互作用的角度出发,计算出图像中每个像素或区域属于前景或背景的似然概率,从而得到协同目标性映射图。这个映射图描述了目标的位置和几何形状信息,然后阈值化这个映射图作为图像分割真值来训练一个关于超像素的二值分类器,用训练好的分类器预测出每个超像素的前背景似然概率作为外观先验信息,与几何先验信息一并送入条件随机场模型,从而实现对图像目标的分割。在MSRC和iCoseg两个数据库上的测试结果表明该算法的分割效果优于同类方法。     

Saliency detection using boundary information

Efficient and robust saliency detection is a fundamental problem in computer vision field for its wide applications, such as image segmentation and image retargeting, etc. In this paper, with the aim of uniformly highlighting the salient objects and suppressing the saliency of the background in images, we propose an efficient three-stage saliency detection method. First, boundary prior and connectivity prior are used to generate coarse saliency maps. To suppress the saliency value of the cluttered background, two supergraphs together with the adjacent graph are created so that the saliency of the background regions with similar appearances which are separated by other regions can be reduced effectively. Second, a local context-based saliency propagation is proposed to refine the saliency such that regions with similar features hold similar saliency. Finally, a logistic regressor is learned to combine the three refined saliency maps into the final saliency map automatically. The proposed method improves saliency detection on many cluttered images. The experimental results on two widely used public datasets with pixel accurate salient region annotations show that our method outperforms the state-of-the-art methods.