基于双金字塔特征融合网络的RGB-D多类实例分割

针对RGB图像的实例分割任务在图像目标物体纹理相近但类别不同的区域可能出现分割错误的问题,引入Depth信息,结合RGB-D图像的三维几何结构特点,提出一种以双金字塔特征融合网络为框架的RGB-D实例分割方法.所提出的方法通过构建两种不同复杂度的金字塔深度卷积神经网络分别提取不同梯度分辨率大小的RGB特征及Depth特征,将对应分辨率大小的两种特征相加输入区域候选网络,以此改变输入区域候选网络层的共享特征,共享特征再经过分类、回归与掩码网络分支输出定位与分类结果,从而实现RGB-D图像的实例分割.实验结果表明,所提出的双金字塔特征融合网络模型能够完成RGB-D图像的实例分割任务,有效学习到深度图像与彩色图像之间的互补信息,与不包含Depth信息的Mask R-CNN相比,平均精度提高7.4%.     

面向RGBD图像的标记分水岭分割

目的 针对分水岭分割算法中存在的过分割现象及现有基于RGB图像分割方法的局限,提出了一种基于RGB图像和深度图像(RGBD)的标记分水岭分割算法。方法 本文使用物体表面几何信息来辅助进行图像分割,定义了一种深度梯度算子和一种法向量梯度算子来衡量物体表面几何信息的变化。通过生成深度梯度图像和法向量梯度图像,与彩色梯度图像进行融合,实现标记图像的提取。在此基础上,使用极小值标定技术对彩色梯度图像进行修正,然后使用分水岭算法进行图像分割。结果 在纽约大学提供的NYU2数据集上进行实验,本文算法有效抑制了过分割现象,将分割区域从上千个降至数十个,且获得了与人工标定的分割结果更接近的分割效果,分割的准确率也比只使用彩色图像进行分割提高了10%以上。结论 本文算法普遍适用于RGBD图像的分割问题,该算法加入了物体表面几何信息的使用,提高了分割的准确率,且对颜色纹理相似的区域获得了较好的分割结果。     

一种彩色纹理图像的分割方法

纹理分析一直是图像理解和计算机视觉等领域研究的重点和难点,现有的纹理分割方法大多集中于研究灰度纹理图像,文中提出一种基于分形理论的BP神经网络原彩色纹理图像分割方法,该方法将彩色图像由RGB色彩空间转换为HSI色彩空间,根据亮度计算分数维、多重分形广义维数谱q-D（q)和“空隙”等纹理特征,同时加入归一化的色度和饱和度作为另外两个分类特征,采用经过有监督训练的BP神经网络作为分类器,通过对纹理图像的分割实验,结果证实该方法行之有效。     

物体基视频编码中的运动物体分割

针对物体基视频编码应用,提出了一种基于运动的图像序列分割方案,它同时结合了亮度和运动信息,使用重构式开－闭形态滤波器等形态变换工具。此外,还提出了一种区域生长型的分水岭算法,它直接对要分割的图像而不是其形态梯度信号进行分割,克服了传统形态分割方法使用形态梯度信号而导致轮廓信息丢失的缺点。在具体实现算法时,文中采用了一种基于分级队列结构进行图像扫描的巧妙方法,大大提高了算法的效率。模拟结果表明,该方     

基于解剖学特征的乳腺X线图像胸肌分割

提出了基于解剖学特征(纹理特征和形状特征)的乳腺X线图像胸肌区域分割方法. 融合边缘信息到谱聚类算法得到过分割图像. 根据区域的亮度分布和胸肌的三角形状特征,提出区域聚合算法, 从过分割图像中识别出胸肌边缘.该方法在322幅mini-MIAS (Mammographic image analysis society)乳腺图像和50幅北京大学人民医院乳腺中心乳腺图像上进行验证, 实验结果表明,该方法对不同大小、形状和亮度的胸肌分割具有较强的鲁棒性.     

基于固定式相机对动态目标跟踪的三维重建

通过图像的三维建模方法往往通过移动拍摄设备拍摄静止物体来达到三维重建的目的,却不适用于对移动中的物体进行三维重建。三维重建中常用提取SIFT特征作为图像特征匹配,然而SIFT特征在某些无纹理或者纹理少的情形表现效果不佳,而且错误匹配较多。采用动态目标提取和目标跟踪技术应用到动态目标的三维重建。并用网格运动统计（GMS）的特征点匹配算法来作为图像匹配,用来实现固定相机对动态目标物体的三维重建。     

融合多特征的均值漂移彩色图像分割方法

针对均值漂移图像分割方法中只考虑图像颜色和空间信息,对纹理丰富的图像不能进行有效分割的情况,提出一种新的融合图像颜色、纹理和空间等低层特征信息的图像分割方法.用极性、各向异性和对比度来表示图像的纹理信息,并结合颜色和空间信息形成图像分割特征;然后用均值漂移进行图像滤波;最后,进行区域合并得到分割结果.实验结果表明,该方法对纹理丰富的自然风景图像有较好的分割效果.     

基于分形的彩色岩石裂隙分割

纹理分割是图像处理与计算机视觉领域研究的重点和难点.现有的纹理分割方法大多集中于研究灰度纹理图像,该文提出了一种基于分形纹理特征和颜色信息结合的彩色纹理分割算法.该算法将复杂的彩色图像分形维数计算转化为单色图像分形维数的计算,将纹理特征和颜色信息相结合,采用区域生长法来实现分割.通过对彩色岩石裂隙图像的分割实验,结果证实该该方法行之有效.     

结合形态学重建和超像素的多特征FCM分割算法

针对现有模糊聚类分割算法对噪声的鲁棒性差且提取的图像特征不充分等问题,本文提出了一种结合形态学重建和超像素的多特征模糊C-均值(FCM)分割算法.首先,利用形态学闭合重建处理原图像,提高了算法的鲁棒性和细节保护能力.其次,采用Mean-Shift方法预分割重建图像,获得一组超像素区域.再次,提取重建图像各像素的颜色特征、纹理特征和梯度特征,利用平均策略定义各超像素的颜色特征、纹理特征和梯度特征,组成多维特征向量.最后,运用最大熵正则化的加权模糊C-均值算法(EWFCM)的框架,以超像素为单位,以核诱导距离作为距离度量来聚类多维特征向量.选取BSDS300数据集中的6幅图像完成实验对比.结果表明,本文算法具有更高的分割精度.     

图切割支持的融合颜色和梯度特征的实时背景减除方法

通过融合图像的颜色和梯度特征,实现了一种实时背景减除方法.首先融合颜色和梯度特征建立新的能量函数;然后基于图切割算法最小化能量函数,并对前景/背景进行分割;最后使用光流验证前景区域的真实性,并更新背景模型.对不同场景的实验结果表明：该方法可以实时地检测出视频序列中的运动物体,结果准确、有效.     

基于超复视域注意模型的视频分割算法

提出一种基于超复视域注意模型的视频分割算法,无需事先针对特定类型的目标进行训练。通过构造超复视域注意帧图像,对超复视域注意帧图像计算相位相关实现运动建模,利用条件随机场对视域注意模型、颜色模型以及邻域关系模型进行约束求解,获得分割结果。采用不同的视频数据对该算法的有效性进行测试,并与其他分割算法的结果进行比较。实验结果表明,该算法的分割错误率较低。     

Computing occluding and transparent motions

Computing the motions of several moving objects in image sequences involves simultaneous motion analysis and segmentation. This task can become complicated when image motion changes significantly between frames, as with camera vibrations. Such vibrations make tracking in longer sequences harder, as temporal motion constancy cannot be assumed. The problem becomes even more difficult in the case of transparent motions.A method is presented for detecting and tracking occluding and transparent moving objects, which uses temporal integration without assuming motion constancy. Each new frame in the sequence is compared to a dynamic internal representation image of the tracked object. The internal representation image is constructed by temporally integrating frames after registration based on the motion computation. The temporal integration maintains sharpness of the tracked object, while blurring objects that have other motions. Comparing new frames to the internal representation image causes the motion analysis algorithm to continue tracking the same object in subsequent frames, and to improve the segmentation.     

基于水平集的多运动目标时空分割与跟踪

针对背景运动时的运动目标分割问题,提出了一种对视频序列中的多个运动目标进行分割和跟踪的新方法。该方法着眼于运动的且较为复杂的背景,首先利用光流约束方程和背景运动模型建立一个基于时空域的能量函数,然后用该函数进行背景运动速度的估算和运动目标的分割和跟踪。而时空域中的运动目标的最佳分割,乃是通过使该能量函数最小化来驱动时空曲面演化实现。时空曲面的演化采用了水平集PDEs(Partial Differential Equations)方法。实验中,用实际的图像序列验证了该算法及其数值实现。实验表明,该方法能够同时进行背景运动速度的估算、运动目标的分割和跟踪。     

基于小波变换和ICA的运动目标分割

提出一种时空融合的运动目标分割方法.在时域方面,采用时间轴一维小波变换提取运动对象,然后用独立成分分析法提取独立的运动对象,并基于灰度直方图进一步提取视频对象;在空域方面,提出对轮廓提取后的图像进行分水岭变换的改进方法.与COST211 AM算法比较表明,文中方法能更完整、准确地提取出运动对象.     

Joint segmentation of collectively moving objects using a bag-of-words model and level set evolution

In scenes with collectively moving objects, to disregard the individual objects and take the entire group into consideration for motion characterization is a promising approach with wide application prospects. In contrast to studies on the segmentation of independently moving objects, our purpose is to construct a segmentation of these objects to characterize their motions at a macroscopic level. In general, the collectively moving objects in a group have very similar motion behavior with their neighbors and appear as a kind of global collective motion. This paper presents a joint segmentation approach for these collectively moving objects. In our model, we extract these macroscopic movement patterns based on optical flow field sequences. Specifically, a group of collectively moving objects correspond to a region where the optical flow field has high magnitude and high local direction coherence. As a result, our problem can be addressed by identifying these coherent optical flow field regions. The segmentation is performed through the minimization of a variational energy functional derived from the Bayes classification rule. Specifically, we use a bag-of-words model to generate a codebook as a collection of prototypical optical flow patterns, and the class-conditional probability density functions for different regions are determined based on these patterns. Finally, the minimization of our proposed energy functional results in the gradient descent evolution of segmentation boundaries which are implicitly represented through level sets. The application of our proposed approach is to segment and track multiple groups of collectively moving objects in a large variety of real-world scenes.     

无表观特征小目标检测与跟踪

检测跟踪模糊的小目标是计算机视觉领域中难度极大,富有挑战的任务。由于被跟踪的目标过小或过于模糊,难以提取合适的可用于检测和跟踪的表观特征,使得现有的目标检测和跟踪算法不能解决上述问题。前景运动物体区别于背景随机噪声的一个重要特征是运动物体具有一定的运动规律,基于这个假设提出一种新方法,根据物体的运动规律对其进行跟踪。首先,提出利用运动物体的时空域关联性,对视频中的运动目标进行分割和去噪;其次,提出了利用动态规划得出并优化物体的运动轨迹。各种条件下的实验结果表明了上述方法的精确性和鲁棒性。     

基于纹理和灰度差分相结合的运动检测

运动目标检测在智能监控系统和交通检测系统中发挥着极其重要的作用,是视觉系统中的一个重要研究课题。文章提出了一种新的思路,利用图像的纹理信息,并结合图像的灰度差分,对运动图像进行分割,从而检测出运动目标。     

A framework for unsupervised mesh based segmentation of moving objects

Multimedia analysis usually deals with a large amount of video data with a significant number of moving objects. Often it is necessary to reduce the amount of data and to represent the video in terms of moving objects and events. Event analysis can be built on the detection of moving objects. In order to automatically process a variety of video content in different domain, largely unsupervised moving object segmentation algorithms are needed. We propose a fully unsupervised system for moving object segmentation that does not require any restriction on the video content. Our approach to extract moving objects relies on a mesh-based combination of results from colour segmentation (Mean Shift) and motion segmentation by feature point tracking (KLT tracker). The proposed algorithm has been evaluated using precision and recall measures for comparing moving objects and their colour segmented regions with manually labelled ground truth data. Results show that the algorithm is comparable to other state-of-the-art algorithms. The extracted information is used in a search and retrieval tool. For that purpose a moving object representation in MPEG-7 is implemented. It facilitates high performance indexing and retrieval of moving objects and events in large video databases, such as the search for similar moving objects occurring in a certain period.     

基于色度畸变和纹理特征的阴影消除方法

从图像序列中精确地提取运动目标是许多计算机视觉应用中的核心部分,但由于运动目标阴影的存在,会导致目标形状的扭曲、目标的相互连接等问题,对分割和提取运动目标造成很大的困难.为了精确地提取运动目标,提出一种利用色度畸变和纹理特征进行阴影消除的方法.采用混合高斯分布建立自适应背景模型,运用背景减除的方法分割出运动区域,并分析了场景点在存在阴影前后色度的分布规律以及纹理的互相关性,从而消除运动目标的阴影.分析和实验表明,该算法抗干扰能力强,对于室内和室外光照条件下的阴影都能有效地消除,并且所需设置的参数少,复杂度较低,易于实现实时运动图像处理.     

自动分割视频序列中运动物体的新算法：多特征联合方法

视频编码标准MPEG-4增加了适于多种应用的基于视频内容的功能,为了支持这一功能和提高编码效率,MPEG-4将视频序列中的每一帧分解成视频对象面(VOP);另外,由于基于内容的视频检索和视频监控系统均期望用分割出的关键视频对象紧致地表示一个序列,同时由于视频分割技术在模式识别、计算机视觉等领域也得到了广泛的应用,因此,分割视频运动物体并跟踪运动物体的变化变得至关重要.为了对视频中运动物体进行有效的分割,在帧差图象的基础上,采用Canny边缘检测和随机信号的高阶矩检测相结合的方法,来自动分割视频序列的前景区域和背景区域,并在前景区域中应用区域生长法进行颜色分割,以精确提取运动物体的边缘;还利用边缘和颜色特征来对分割出的运动物体建立模板,用于解决非刚体运动中局部暂时停止运动的情况.实验结果表明,此方法可以有效地分割运动物体,并能跟踪运动物体的变化.