颜色和纹理特征的运动目标检测

针对复杂场景中运动目标检测这一难题,提出利用RGB颜色特征和尺度不变局部三元模式的运动目标检测算法。利用时域中值法得到估算背景图像并快速初始化背景模型。通过颜色特征、纹理特征相似性度量,融合得出背景概率网络,通过侧抑制滤波提高对比度分类出前景与背景像素,前景像素进一步进行阴影检测,将阴影点归为背景点,但不用于模型更新。将算法与GMM、SC-SOBS、SUBSENS算法在变化检测数据库中进行对比验证。实验表明,新算法在满足实时性的基础上,对动态背景,阴影和相机抖动等有一定的鲁棒性。     

Using texture to complement color in image matting

Current image matting methods based on color sampling use color to distinguish between foreground and background pixels. However, they fail when the corresponding color distributions overlap. Other methods that define correlation between neighboring pixels based on color aim to propagate the opacity parameter α from known pixels to unknown pixels. However, strong edges of textured regions may block the propagation of α. In this paper, a new matting strategy is proposed that delivers an accurate matte by considering texture as a feature that can complement color even if the foreground and background color distributions overlap and the image is a complex one with highly textured regions. The texture feature is extracted in such a way as to increase distinction between foreground and background regions. An objective function containing color and texture components is optimized to find the best foreground and background pair among a set of candidate pairs. The effectiveness of proposed method is compared quantitatively as well as qualitatively with other matting methods by evaluating their results on a benchmark dataset and a set of complex images. The evaluations show that the proposed method presented the best among state of the art matting methods.     

A modular system for global and local abnormal event detection and categorization in videos

This paper presents a modular system for both abnormal event detection and categorization in videos. Complementary normalcy models are built both globally at the image level and locally within pixels blocks. Three features are analyzed: (1) spatio-temporal evolution of binary motion where foreground pixels are detected using an enhanced background subtraction method that keeps track of temporarily static pixels; (2) optical flow, using a robust pyramidal KLT technique; and (3) motion temporal derivatives. At the local level, a normalcy MOG model is built for each block and for each flow feature and is made more compact using PCA. Then, the activity is analyzed qualitatively using a set of compact hybrid histograms embedding both optical flow orientation (or temporal gradient orientation) and foreground statistics. A compact binary signature of maximal size 13 bits is extracted from these different features for event characterization. The performance of the system is illustrated on different datasets of videos recorded on static cameras. The experiments show that the anomalies are well detected even if the method is not dedicated to one of the addressed scenarios.     

基于优化采样模式的紧凑而快速的二进制描述子

进一步挖掘图像补丁特征信息,提出了一种鲁棒性更高的二进制描述子. 针对传统的二进制描述子对旋转和视角变化鲁棒性差的问题,本文通过优化采样模式和分解图像补丁对其改进. 首先,通过对最新提出的采样模式特点的分析、测试,发现采样点密度和平滑重叠度对产生的描述子独特性有重要影响;据此,调整这两个影响因子,设计出一种优化的采样模式. 其次,利用像素点灰度值排序方法分解图像补丁,产生多个对应不同灰度段的亚补丁. 最后,将优化的采样模式映射到亚补丁上,随机提取样本点进行灰度值比较测试.所得到的二进制描述子不仅包含了补丁像素的灰度比较信息,而且包含了灰度排序信息. 通过对比实验看到本文的二进制描述子对特征识别匹配效果最好.本文的特征描述方 法可应用于实时性要求高、内存紧凑的高质量目标识别.     

基于MPEG-7主色描述符的图像检索

主色描述符作为MPEG-7的一种颜色描述子被广泛的应用于图像检索。通过一种有效的,结构紧凑的,直观的模式,主色描述符描述了一幅图像中的具有代表性的颜色特征。一种新的基于固定数目的MPEG-7主色描述符的图像检索算法被提出。特征提取的过程不再需要阙值的干预以及主色数目固定为8个。直方图相交算法用来衡量特征,从而简化了相似度的计算。实验结果表明,此方法的查准率和查全率高于非固定数目的主色检索方法。     

纹理谱描述符及其在图像检索中的应用

为了提高纹理谱描述符的性能并降低其特征维数,在中心对称局部二值模式纹理谱描述符的基础上,提出一种融合局部区域中心像素以及灰度均值的改进纹理描述模式.首先根据图像局部区域内中心像素与其邻域像素间的灰度变化关系,定义了新的局部纹理模式;然后通过比较局部区域内灰度均值与图像全局灰度均值的大小,对局部纹理模式进行了增强处理.采用不同纹理图像库及不同的性能评价准则进行实验的结果表明,文中方法在基于内容图像检索中取得了较好的效果.     

基于贝叶斯决策的运动目标检测方法

传统混合高斯背景建模存在难以解决背景复杂以及阴影等因素影响视频运动目标检测效果的问题,为此提出了一种基于贝叶斯决策的运动目标检测方法。该方法利用帧间差分进行像素变化检测,将像素粗分为变化像素和非变化像素;对于变化像素中的运动点和静止点,通过统计确立有效的数据结构,其中显著颜色分布统计量用来描述静止点,而显著颜色同现统计量描述运动点;从数据结构中提取颜色特征矢量,将特征矢量中的静止点和运动点按照贝叶斯决策规则进一步分类为背景点、前景点和颜色相似点。对颜色相似点进行局部加权处理以达到正确检测的目的;通过融合静止点集、运动点集和加权后的颜色相似点集结果提取出前景运动目标。仿真实验表明,该方法能够在不同复杂背景下较准确地检测出视频中的运动目标,相比传统算法具有较强的鲁棒性。     

像素聚类改进二进制描述子鲁棒性

目标：本文通过挖掘图像局部区域特征信息,提出了一种鲁棒性更高的二进制描述子。针对BRIEF关于旋转和视角变化鲁棒性差的问题,本文通过图像补丁分层处理、增加关键点图像补丁个数来捕获更多的局部特征信息,对BRIEF描述子改进。方法：首先,根据灰度序列对补丁内所有像素点分类,像素的一个聚类形成了一个亚补丁,然后在每个亚图像补丁上进行类似BRIEF的随机测试。其次,由于原图像补丁大小、尺度大小影响补丁的像素点成分,从而影响像素聚类的效果,所以在原图像关键点周围分割出多个不同大小的图像补丁,或是将原图像补丁根据尺度金字塔确定几个尺度大小不同的补丁,然后再对图像补丁进行分层、测试。所构建的描述子不仅包含了补丁像素的灰度比较信息,而且包含了灰度排序信息和像素群聚信息,提高了描述子的鲁棒性。结果：通过性能对比实验,发现所提的描述子的性能提高了,而且好于对比的浮点描述子。结论：所以挖掘图像补丁的特征信息能提高二进制描述子的鲁棒性。     

二值化的SIFT特征描述子及图像拼接优化

目的 针对SIFT算法计算复杂度高、存储开销大和近几年提出的BRIEF（binary robust independent elementary features）、ORB（oriented BRIEF）、BRISK（binary robust invariant scalable keypoints）和FREAK（fast retina keypoint）等二进制描述子可区分性弱和鲁棒性差的问题,提出基于SIFT的二进制图像局部特征描述子。方法 首先,对传统SIFT的特征空间和特征向量分布在理论和实验上进行分析,在此基础上结合二进制特征描述子的优势对SIFT进行改进。不同于传统的二进制特征描述子,本文算法对传统SIFT特征向量在每一维上的分量进行排序后,以该特征向量的中值作为量化阈值,将高维浮点型SIFT特征向量转化成位向量得到二进制特征描述子。并使用易于计算的汉明距离代替欧氏距离度量特征点间的相似性以提高匹配效率。然后,在匹配阶段将二进制特征描述子分为两部分并分别对其进行匹配,目的是通过初匹配剔除无效匹配特征点来进一步缩短匹配时间。最后,对提出的量化算法的可区分性及鲁棒性进行验证。结果 该量化算法在保持SIFT的较强的鲁棒性和可区分性的同时,达到了低存储、高匹配效率的要求,解决了SIFT算法的计算复杂度高、二进制描述子鲁棒性和可区分性差的问题。此外,在匹配阶段平均剔除了77.5%的无效匹配特征点,减少了RANSAC（random sample consensus）的迭代次数。结论 本文提出的量化算法可用于快速匹配和快速图像拼接中,提高匹配和拼接效率。     

基于邻域相关性和帧间连续性的前景目标分割

提出了一种新的运动目标分割算法。首先利用像素的颜色、空间的和帧间的特性信息结合贝叶斯判别定理对视频图像进行粗分割,得到一个前景目标的二值图,由于该类方法基于像素间彼此独立的假设,导致分割出的前景目标不完整存在很多空洞。其次,基于前景目标局部邻域空间的一致性假设,计算该邻域内像素间的互相关系数;同时,基于背景的帧间连续性和前景的不连续性,计算像素帧间的互相关系数。最后,依据像素的互相关系数在该邻域内进行二次判决,以填补粗分割中前景目标内部的空洞。实验表明,在复杂背景交通视频中该分割算法具有较强的鲁棒性,并能获得更完整准确的前景目标。     

采用旋转匹配的二进制局部描述子

针对二进制描述子主方向计算误差影响图像匹配正确性的问题,提出了一种旋转不变的二进制描述子构造和匹配方法。在以特征点为中心的同心圆周上等间隔选取采样点,按照旋转不变的模式选取采样点对进行灰度值比较,将比较结果连接成二进制串,作为区域的描述子。匹配时比较描述子在所有旋转模式中的汉明距离,取最小值作为描述子的距离,实现不依赖于主方向的旋转不变性。配合多尺度特征检测方法,将采样模式进行缩放,并对图像进行亚像素插值,实现尺度不变性。描述子匹配的实验结果表明,本文方法在旋转,尺度和光照变换下的匹配效果比当前依赖主方向的二进制描述子方法具有更高的鲁棒性。     

基于纹理特征融合的人脸表情识别

局部二值模式(LBP)和韦伯局部描述算子(WLD)是两种图像的纹理描述算子,在图像的特征提取方面有较强的能力。为了更加准确地对人脸表情进行识别与分类,针对LBP在特征提取的过程中只考虑了中心像素点与周围的其他像素点的灰度值之差,WLD仅考虑中心像素点与周围像素点灰度值之间的激励强度与梯度方向关系的问题,提出一种新的特征提取算法—局部二值韦伯模式(LBWP)。首先对图像进行预处理,检验人脸和裁剪有效的表情区域,接着对图像进行LBWP特征提取,在特征提取之后采用SVM的分类器对表情进行识别和分类。该算法在CK+数据集和JAFFE数据集上进行实验仿真,识别率分别达到了97.14%和95.77%。实验结果验证了LBWP算法在表情识别方面的有效性,且丰富了人脸图像特征提取方法。     

面向小样本学习的双重度量孪生神经网络

为了解决孪生神经网络因使用图像级特征度量,存在对位置、复杂背景及类内差异比较敏感的问题,提出了一种双重度量孪生神经网络(DM-SiameseNet)。具体来说,DM-SiameseNet使用图像级的特征和局部特征(局部描述符)共同表示每幅图像,然后根据两种不同级别的相似度度量学习特征映射,最后使用自适应融合策略,自适应整合两种不同级别特征表示的度量结果。实验结果表明,改进后模型的准确率分别提高了5.04%和9.66%,并且在miniImageNet、TieredImageNet、Stanford Dogs、Stanford Cars和CUB-200数据集上高于只使用图像级的特征表示或者局部描述符表示的度量方法。实验结果证明所提出的模型不仅考虑了图像的全局特征,还可以捕获图像中更多有效的局部特征信息,提高了模型的泛化能力。