图像重排序中与查询相关的图像相似性度量

现今的图像搜索引擎主要利用图像周围文本信息为图像排序,根据图像内容重排序可以进一步提高搜索性能。图像相似性的度量对重排序算法的性能至关重要。然而已有的相似性度量没有考虑针对不同的查询,图像的相似性应该不同。提出一种与查询相关的相似性度量方法,将基于全局特征的相似性,基于局部特征的相似性,以及视觉单词同时出现率融合到一个迭代算法中,挖掘出与查询相关的图像信息,计算图像相似性。在Bing图像搜索引擎上的实验结果证明本文提出的相似性度量方法优于基于全局特征,局部特征,或它们线性组合的相似性。     

融合直接度量和间接度量的行人再识别

当前行人再识别的度量算法在计算相似性时主要依据两幅图像自身的判别信息(直接度量),较少依据与两幅图像相关的其它图像的判别信息(间接度量).针对此种情况,文中提出加权融合直接度量和间接度量的度量方法.首先提取图像的局部最大概率特征和突出性颜色名称特征,融合两者作为图像的最终特征.然后分别计算两幅图像的直接相似性和间接相似性,利用序列排序方法对数据库样本进行训练,得到权值参数,从而得到两幅图像的最终相似性.在Market-1501数据库和CUHK03数据库上的实验表明,融合后的度量识别能力明显高于单个度量的识别能力.     

基于非局部低秩矩阵重建的图像插值

传统图像插值方法往往只考虑了图像局部相邻像素之间的关系进行插值,而忽略了图像中广泛存在的非局部自相似性。为了充分利用图像中的这种非局部自相似性以提高插值图像质量,本文提出了基于图像非局部低秩重建模型的图像插值方法,为低秩重建模型提出了一种基于分解为子问题交替迭代求解的高效求解算法。提出的算法能获得更高的主观与客观重建图像质量,实验表明,相对于Bicubic、SAI等图像插值方法能取得平均1.37dB和0.77dB的PSNR增益。     

双波段彩色融合图像色彩和谐性客观评价

针对现有的图像质量评价方法较少利用人眼视网膜和视觉皮层的颜色编码机制, 并且未能充分考虑图像色彩信息对图像质量的影响, 提出了一种基于多视觉特征的可见光(微光)与红外彩色融合图像色彩和谐性客观评价模型. 该模型在图像质量评估中融入了更多的颜色信息, 综合考虑多种人眼视觉特征包括视觉对立色彩特征、色彩信息波动特征和高级视觉内容特征, 经过特征融合和支持向量回归训练, 实现彩色融合图像的色彩和谐性客观评价. 采用3种典型场景融合图像数据库进行实验比较与分析. 实验结果表明, 与现有的8种图像质量客观评价方法相比, 所提出的方法与人眼主观感受更加一致, 具有较高的预测准确度.     

基于语义感知的图像美学质量评估方法

当前图像美学质量评估的研究主要基于图像的视觉内容来给出评价结果,忽视了美感是人的认知活动的事实,在评价时没有考虑用户对图像语义信息的理解。为了解决这一问题,提出了一种基于语义感知的图像美学质量评估方法,将图像的物体类别信息以及场景类别信息也用于图像美学质量评估。运用迁移学习的思想,构建了一种可以融合图像多种特征的混合网络。对于每一幅输入图像,该网络可以分别提取出其物体类别特征、场景类别特征以及美学特征,并将这三种特征进行高质量的融合,以达到更好的图像美学质量评估效果。该方法在AVA数据集上的分类准确率达到89.5%,相对于传统方法平均提高了19.9%,在CUHKPQ数据集上的泛化性能也有了很大提升。实验结果表明,所提方法在图像美学质量评估问题上,能够取得更好的分类性能。     

基于主观对比度的变分图像融合方法

局部对比度在图像融合领域中扮演着重要角色.图像融合的目的是将原图像中的重要信息保留到融合结果中去.韦伯定律告诉我们不同背景下的同样的灰度变化给人的干支是不同的，所以一个理想的图像处理算法必须考虑视觉原理.本文考虑了人类视觉系统(HVS)，将量化的主观对比度从源图像保留到融合结果中.利用临界可分辨率(JND)作为量化度量，多通道图像的感知对比度作为融合的目标.构造了一个泛函极值问题来寻找融合结果，使得融合结果的主观对比度尽可能接近我们的目标.使用变分法可以得到Euler-Lagrange方程，然后利用梯度下降的迭代算法来求解.试验结果表明，本文的方法具有很好的主观感知效果.     

基于视觉显著性的红外与可见光图像融合

现有红外与可见光图像融合规则仅依赖于图像对比度、方差、梯度等局部特征,缺少全局考虑,因此融合图像不能突出场景中的关键目标特征。针对以上问题,在基于非下采样轮廓波变换(NSCT)的图像融合框架下,提出利用图像全局视觉显著性来指导系数融合,对源图像中视觉显著的目标区域进行重点强调。实验结果分析表明,采用所提算法获得的融合图像中关键目标更加突出,背景比较真实;客观评价指标显示,采用该算法获得的融合图像明显优于传统方法的融合结果。     

可见光成像质量评估研究

可见光成像质量评估研究对图像处理工程具有重要意义.由于成像的最终接受者是人,所以评估成像质量应反映出人类的主观视觉感知.文章分析了三类可见光成像质量评估方法,包括全参考评估法、部分参考评估法和无参考评估法.最后设计了无参考成像客观评估法模型.     

基于视觉注意力变化的网络丢包视频质量评估

针对网络中受丢包损伤的视频提出了一种基于视觉注意力变化的全参考客观质量评估方法.该方法基于视觉显著性检测在视频数据上的应用,考察受网络丢包失真影响的视频数据与标准参考数据在空间和时间上引起的视觉注意力变化,并根据此变化相应的视觉显著性在空间和时间上的差异,提出了一组客观质量评估方法.文中采用17个受丢包损伤的视频数据进行测试,并实施了主观评价实验作为评价标准.与传统的没有考虑人眼视觉显著特性的质量评估方法,以及目前主流的基于视觉显著区域/感兴趣区域对失真像素进行加权的方法进行对比,实验结果表明, 基于视觉注意力变化的方法较后两者与主观质量评估结果有更好的相关性, 能够更有效地评估丢包损伤视频的质量.     

基于局部自相似性的图像质量度量

使用图像所包含的一种更本质和深层的特征——局部自相似性，并结合人眼观察图像时注意力由中央向周围递减这一特性，提出了一种基于局部自相似性的图像质量度量方法。通过与已有方法的对比实验表明，该方法能对不同类型的失真图像进行更有效的评判，评价结果能够更好地符合人眼主观视觉特性。     

利用局部极值点特性的多聚焦图像快速融合

目的：多聚焦图像融合技术一个关键问题是如何准确地判断待融合图像的清晰度。本文提出了基于归一化结构极值点数目的清晰度判断准则。方法：本文基于图像的局部极值点特性,定义了归一化结构极值点数目这个指标作为清晰度判断准则,同时还给出了利用该准则和融合决策矩阵快速估计技术的多聚焦图像快速融合方法。结果：利用本文提出的清晰度判断准则和融合方法,实验表明上述问题得到了很好的解决。结论：本文提出了一个新的图像清晰度判断准则,该准则判断准确率高,且对脉冲噪声有好的鲁棒性。通过与传统融合方法对两组实验图像融合结果的主客观比较表明,该方法的融合速度和效果比现有多聚焦图像融合方法有明显提高。     

Sensor noise effects on signal-level image fusion performance

The aim of this paper is twofold: (i) to define appropriate metrics which measure the effects of input sensor noise on the performance of signal-level image fusion systems and (ii) to employ these metrics in a comparative study of the robustness of typical image fusion schemes whose inputs are corrupted with noise. Thus system performance metrics for measuring both absolute and relative degradation in fused image quality are proposed when fusing noisy input modalities. A third metric, which considers fusion of noise patterns, is also developed and used to evaluate the perceptual effect of noise corrupting homogenous image regions (i.e. areas with no salient features). These metrics are employed to compare the performance of different image fusion methodologies and feature selection/information fusion strategies operating under noisy input conditions. Altogether, the performance of seventeen fusion schemes is examined and their robustness to noise considered at various input signal-to-noise ratio values for three types of sensor noise characteristics.     

人眼视觉感知特性的非下采样Contourlet变换域多聚焦图像融合

目的针对传统的单特征融合方法不足以衡量像素清晰度的问题,同时综合考虑非下采样Contourlet变换(NSCT)系数特点及人眼视觉感知特性,提出一种基于NSCT的多聚焦图像融合方法。方法首先对来自同一场景待融合的源图像进行NSCT变换;然后对低频分量采用基于局部可见度、局部视觉特征对比度和局部纹理特征的综合特征信息进行融合;对高频分量采用基于邻域和兄弟信息归一化的关联权重局部视觉特征对比度进行融合;最后进行逆NSCT变换得到融合图像。结果将本文方法与传统离散小波变换(DWT)、移不变小波变换(SIDWT)、CT(Contottral变换)、NSCT及基于邻域和兄弟信息的NSCT域多聚焦图像融合方法进行了实验对比,本文方法能获得更好的视觉效果以及较大的边缘信息保留值和互信息值。结论定性和定量的实验结果表明了本文方法的有效性。     

基于视觉注意机制与区域结构相似度的图像融合质量评价

针对目前图像融合质量客观评价与主观评价结果一致性不高的问题,结合人类视觉注意机制和区域计算方法对EFQI指标进行改进,提出了一种基于视觉注意机制（VAM）与区域结构相似度的图像融合质量评价指标。该指标充分考虑了人类视觉感兴趣区域和人眼对区域信息敏感的特性,使用方差显著图与视觉显著图相结合的加权方法对图像中的显著区域赋予更大的权值,并采用更符合人类视觉特性的区域计算方法求取融合结果图像和源图像在各区域上的结构相似度以评价融合质量。用该指标评价10种不同融合算法的融合结果图像并与主观评价结果进行相关性分析,分析结果表明该方法相比传统的评价指标能更有效地反映融合图像质量,与主观评价结果一致性更高。     

基于模糊算法的多聚焦图像融合效果评价研究

针对多聚焦图像的融合效果评价问题,提出了一种基于模糊理论的图像融合效果评价方法.该方法采用融合图像熵值、交互信息量值、平均梯度值、偏差值构成单因素评价指标集,引入基于专家评判法的人的知识确定隶属度函数,用对比排序法综合各个单因素指标得到综合评价指标,其计算简单,评价结果更为全面客观.将该方法应用于多聚焦图像的融合试验,评价结果与理论分析和人的目视效果一致,从而证明了该评价方法的有效性.     

迭代离散Shearlet变换异类源遥感图像融合

Shearlet变换是一种多尺度几何分析算法,适用于遥感这类纹理丰富、边缘复杂的图像处理。提出了一种基于迭代离散Shearlet变换的图像融合算法,将源图像进行分解,得到图像的多尺度、多方向树型结构表示;对粗糙分量和带通细节分量分别采用不同的融合规,得到融合图像的树型结构表示;最后进行Shearlet反变换得到融合图像。仿真结果表明,提出的算法比基于Contourlet变换的图像融合算法有更好的效果,更有利于保留纹理和边缘信息。     

Automatic tongue image segmentation based on gradient vector flow and region merging

This paper presents a region merging-based automatic tongue segmentation method. First, gradient vector flow is modified as a scalar diffusion equation to diffuse the tongue image while preserving the edge structures of tongue body. Then the diffused tongue image is segmented into many small regions by using the watershed algorithm. Third, the maximal similarity-based region merging is used to extract the tongue body area under the control of tongue marker. Finally, the snake algorithm is used to refine the region merging result by setting the extracted tongue contour as the initial curve. The proposed method is qualitatively tested on 200 images by traditional Chinese medicine practitioners and quantitatively tested on 50 tongue images using the receiver operating characteristic analysis. Compared with the previous active contour model-based bi-elliptical deformable contour algorithm, the proposed method greatly enhances the segmentation performance, and it could reliably extract the tongue body from different types of tongue images.     

区域能量和图像自相似的NSCT域图像融合

非降采样轮廓波变换(NSCT)不仅具有平移不变性,还拥有足够的冗余信息,可以更有效地提取源图像中的方向信息,使得融合后的图像更符合人眼的视觉特性.利用NSCT在图像处理中的优势,针对红外光与可见光图像的融合,提出了一种新的基于改进的区域能量和图像自相似的NSCT域图像融合算法.首先,利用NSCT将图像分解为一个低频子带和多个不同方向的带通子带;然后,对低频子带采用区域能量自适应加权融合规则,带通方向子带则利用图像自相似进行系数的融合;最后,对融合系数进行NSCT逆变换,以重构生成融合图像.实验结果表明:与一些现有算法相比,该算法的图像融合结果在人眼主观视觉标准和客观评价标准上均具有明显优势.     

Attribute filter based infrared and visible image fusion

Infrared and visible image fusion is an effective image processing technique to obtain more comprehensive information, which can help people better understand various scenarios. In this paper, a novel infrared and visible image fusion method is proposed which fully considers the attributes of objects in source images. Benefiting from the attribute and the edge-preserving filters, the prominent objects in the infrared source image are effectively extracted. Then, the weight-based Laplacian pyramid fusion strategy is adopted to get more natural fusion results. The experimental results on the public image fusion datasets and a new infrared–visible video fusion dataset show that the proposed method achieves state-of-the-art fusion performance in terms of both visual and objective evaluations. The proposed algorithm is also implemented in an infrared–visible dual sensor system, which demonstrated the practicability of our fusion method.     

Structural similarity-based object tracking in multimodality surveillance videos

This paper addresses the problem of object tracking in video sequences for surveillance applications by using a recently proposed structural similarity-based image distance measure. Multimodality surveillance videos pose specific challenges to tracking algorithms, due to, for example, low or variable light conditions and the presence of spurious or camouflaged objects. These factors often cause undesired luminance and contrast variations in videos produced by infrared sensors (due to varying thermal conditions) and visible sensors (e.g., the object entering shadowy areas). Commonly used colour and edge histogram-based trackers often fail in such conditions. In contrast, the structural similarity measure reflects the distance between two video frames by jointly comparing their luminance, contrast and spatial characteristics and is sensitive to relative rather than absolute changes in the video frame. In this work, we show that the performance of a particle filter tracker is improved significantly when the structural similarity-based distance is applied instead of the conventional Bhattacharyya histogram-based distance. Extensive evaluation of the proposed algorithm is presented together with comparisons with colour, edge and mean-shift trackers using real-world surveillance video sequences from multimodal (infrared and visible) cameras.