耦合图像间的数据融合算法

耦合数据的融合算法主要通过利用其中一个数据集的信息提高对其他耦合数据集的估计精度和完善对相关潜变量的解释。针对现实中存在的大量耦合图像,基于耦合数据融合中的耦合矩阵和张量分解优化（CMTF-OPT）算法,提出一种针对耦合图像的耦合图像分解优化（CIF-OPT）算法。相应的理论分析及实验结果表明,不同噪声影响下用CIF-OPT算法进行耦合图像融合后的效果均具有鲁棒性,且融合效果优于其他耦合算法（如：CMTF-OPT算法）。特别地,针对其中缺失数据元素的图像,CIF-OPT算法可以利用与其耦合的图像,对缺失数据元素的图像进行精确的数据恢复。     

基于压缩感知理论的RGB-D图像分类方法

三维图像分类能有效克服二维彩色图像分类易受光照变化、阴影、物体遮挡以及环境变化等因素的干扰。利用压缩感知的方法研究Kinect相机获取的带深度信息的RGB-D图像分类问题。该方法首先利用下采样和PCA的方法分别对RGB图像和深度图像进行特征提取;再将所提取的特征信息融合;然后利用压缩感知方法对融合后的特征信息进行稀疏分解并分类。最后,利用该方法对6类蔬菜、7类水果及文件夹和相机等共15类RGB-D图像进行分类实验,比较了压缩感知方法和SVM分类器的RGB-D图像分类精度,并对比分析了深度信息对图像分类精度的影响。实验表明,压缩感知方法对RGB-D图像分类精度高于SVM的精度,且加入深度信息的RGB-D图像分类精度高于RGB图像的精度。     

基于低秩表示的非负张量分解算法

为了提高图像分类准确率,提出了一种基于低秩表示的非负张量分解算法。作为压缩感知理论的推广和发展,低秩表示将矩阵的秩作为一种稀疏测度,由于矩阵的秩反映了矩阵的固有特性,所以低秩表示能有效的分析和处理矩阵数据,本文把低秩表示引入到张量模型中,即引入到非负张量分解算法中,进一步扩展非负张量分解算法。实验结果表明,本文所提算法与其他相关算法相比,分类结果较好。     

不完整张量上基于流形学习和张量分解的特征提取

针对不完整张量数据的特征提取问题，传统的“两步走”方法，即先张量补全再特征提取，难以避免无关特征增大填补误差，进而影响特征提取的效果；而近年提出的TDVM方法尽管可以同时进行张量补全和特征提取，但由于没有考虑数据的局部结构特点，特征提取效果仍不理想.因此，本文提出一个基于流形学习和张量分解的不完整张量特征提取方法：MLTD.首先，利用“部分距离法”和非负对称矩阵分解得到完整的样本相似矩阵，进而得到样本近邻图；然后，根据近邻图建立基于流形学习和张量分解的特征提取模型，主要思想是将方差最大化和局部保持投影策略融入张量分解中.该方法可以直接从不完整张量中提取有效特征，同时保留数据的局部结构特点.本文在4个图像数据集上与5种较新的方法进行对比.实验结果表明，新提出的方法在张量补全和利用所提取的特征进行分类时性能上都有显著的优越性.     

融合朋友关系和标签信息的张量分解推荐算法

针对大众标注网站项目推荐系统中存在数据矩阵稀疏性影响推荐效果的问题,考虑矩阵奇异值分解(SVD)能有效地平滑数据矩阵中的数据,以及朋友圈能够反映出一个人的兴趣爱好,提出了一种融合朋友关系和标签信息的张量分解推荐算法。首先,利用高阶奇异值分解(HOSVD)方法对用户-项目-标签三元组信息进行潜在语义分析和多路降维,分析用户、项目、标签三者间关系;然后,再结合用户朋友关系、朋友间相似度,修正张量分解结果,建立三阶张量模型,从而实现推荐。该模型方法在两个真实数据集上进行了实验,结果表明,所提算法与高阶奇异值分解的方法比较,在推荐的召回率和精确度指标上分别提高了2.5%和4%,因此,所提算法进一步验证了结合朋友关系能够提高推荐的准确率,并扩展了张量分解模型,实现用户个性化推荐。     

基于MB-LBP和张量HOSVD的人脸识别算法

融合多尺度分块局部二值模式和张量高阶奇异值分解提出一种人脸识别算法.优选不同尺度的MB-LBP算子组合提取图像纹理特征,构造人脸图像的3阶张量模型;利用HOOI算法进行张量高阶奇异值分解;基于HOSVD分解结果采用最邻近算法设计识别分类器.运用Yale数据库和自制数据库进行算法对比实验,验证算法的有效性,实验结果表明,基于Yale数据库,提出算法与LBP深度置信网络算法的识别精度一样高,均为98.667％;基于自制人脸数据库,该算法识别精度为100％.综上提出算法是一种有效的、可行的识别算法.     

基于非负张量分解的人脸识别算法研究

人脸识别是生物特征识别中一个活跃的研究领域。非负张量分解作为非负矩阵分解的多线性推广,已被成功应用到人脸识别等领域。提出了基于非负张量分解的人脸识别算法。该方法无需将人脸矩阵向量化,从而保持了人脸矩阵的内部结构,即人脸图像的整体结构,使人脸特征提取更精确。 实验结果表明, 与经典的人脸识别算法如PCA和NMF相比,该算法提供了一种更好的脸部表示模式,提高了人脸识别的正确率。     

基于RGB-D图像核描述子的物体识别方法

针对传统的颜色-深度（RGB-D）图像物体识别的方法所存在的图像特征学习不全面、特征编码鲁棒性不够等问题,提出了基于核描述子局部约束线性编码（KD-LLC）的RGB-D图像物体识别方法。首先,在图像块间匹配核函数基础上,应用核主成分分析法提取RGB-D图像的3D形状、尺寸、边缘、颜色等多个互补性核描述子;然后,分别对它们进行LLC编码及空间池化处理以形成相应的图像编码向量;最后,把这些图像编码向量融合成具有鲁棒性、区分性的图像表示。基于RGB-D数据集的仿真实验结果表明,作为一种基于人工设计特征的RGB-D图像物体识别方法,由于所提算法综合利用深度图像和RGB图像的多方面特征,而且对传统深度核描述子的采样点选取和紧凑基向量的计算这两方面进行了改进,使得物体类别识别率达到86.8%,实体识别率达到92.7%,比其他同类方法具有更高的识别准确率。     

迭代张量高阶奇异值分解的图像恢复方法

为了有效地对图像缺失数据进行恢复, 提出一种迭代张量高阶奇异值分解（HOSVD）图像缺失数据恢复方法。该方法首先利用拉格朗日乘子方法将张量核范数目标函数进行子问题分解操作, 简化了求解过程, 然后迭代地采用张量高阶奇异值分解阈值方法进行子问题求解, 最终得到恢复后的图像缺失数据。将矩阵奇异值阈值算法进行扩展而得的HOSVD阈值方法充分利用了图像内部和图像与图像之间的多重约束关系, 大大提高了恢复精度。模拟实验和真实图像实验结果显示该方法具有良好的缺失数据的恢复性能。     

结合稀疏先验与多模式分解的低秩张量恢复方法

目的 各类终端设备获取的大量数据往往由于信息丢失而导致数据不完整,或经常受到降质问题的困扰。为有效恢复缺损或降质数据,低秩张量补全备受关注。张量分解可有效挖掘张量数据的内在特征,但传统分解方法诱导的张量秩函数无法探索张量不同模式之间的相关性;另外,传统张量补全方法通常将全变分约束施加于整体张量数据,无法充分利用张量低维子空间的平滑先验。为解决以上两个问题,提出了基于稀疏先验与多模式张量分解的低秩张量恢复方法。方法 在张量秩最小化模型基础上,融入多模式张量分解技术以及分解因子局部稀疏性。首先对原始张量施加核范数约束,以此捕获张量的全局低秩性,然后,利用多模式张量分解将整体张量沿着每个模式分解为一组低维张量和一组因子矩阵,以探索不同模式之间的相关性,对因子矩阵施加因子梯度稀疏正则化约束,探索张量子空间的局部稀疏性,进一步提高张量恢复性能。结果 在高光谱图像、多光谱图像、YUV（也称为YCbCr）视频和医学影像数据上,将本文方法与其他8种修复方法在3种丢失率下进行定量及定性比较。在恢复4种类型张量数据方面,本文方法与深度学习GP-WLRR方法（global prior refined weighted low-rank representation）的修复效果基本持平,本文方法的MPSNR（mean peak signal-to-noise ratio）在所有丢失率及张量数据上的总体平均高0.68dB,MSSIM（mean structural similarity）总体平均高0.01;与其他6种张量建模方法相比,本文方法的MPSNR及MSSIM均取得最优结果。结论 提出的基于稀疏先验与多模式张量分解的低秩张量恢复方法,可同时利用张量的全局低秩性与局部稀疏性,能够对受损的多维视觉数据进行有效修复。     

多尺度卷积递归神经网络的RGB-D物体识别

摘 要: 为充分利用RGB-D图像提供的潜在特征信息,提出了多尺度卷积递归神经网络算法（Multi-scale Convolutional-Recursive Neural Networks,Ms-CRNN）。该算法对RGB-D图像的RGB图、灰度图、深度图及3D曲面法线图进行不同尺度分块形成多个通道,每个通道与相应尺寸的滤波器卷积,提取的特征图经局部对比度标准化和下采样后作为递归神经网络（Recursive Neural Networks ,RNN）层的输入以得到更加抽象的高层特征。融合后的多尺度特征,由SVM分类器进行分类。基于RGB-D数据集的仿真实验结果表明,综合利用RGB-D图像的多尺度特征,提出的Ms-CRNN算法在物体识别率上达到88.2%,和先前方法相比有了较大的提高。     

Individual Kernel Tensor-subspaces for robust face recognition: a computationally efficient tensor framework without requiring mode factorization.

Facial images change appearance due to multiple factors such as different poses, lighting variations, and facial expressions. Tensors are higher order extensions of vectors and matrices, which make it possible to analyze different appearance factors of facial variation. Using higher order tensors, we can construct a multilinear structure and model the multiple factors of face variation. In particular, among the appearance factors, the factor of a person's identity modeled by a tensor structure can be used for face recognition. However, this tensor-based face recognition creates difficulty in factorizing the unknown parameters of a new test image and solving for the person-identity parameter. In this paper, to break this limitation of applying the tensor-based methods to face recognition, we propose a novel tensor approach based on an individual-modeling method and nonlinear mappings. The proposed method does not require the problematic tensor factorization and is more efficient than the traditional TensorFaces method with respect to computation and memory. We set up the problem of solving for the unknown factors as a least squares problem with a quadratic equality constraint and solve it using numerical optimization techniques. We show that an individual-multilinear approach reduces the order of the tensor so that it makes face-recognition tasks computationally efficient as well as analytically simpler. We also show that nonlinear kernel mappings can be applied to this optimization problem and provide more accuracy to face-recognition systems than linear mappings. In this paper, we show that the proposed method, Individual Kernel TensorFaces, produces the better discrimination power for classification. The novelty in our approach as compared to previous work is that the Individual Kernel TensorFaces method does not require estimating any factor of a new test image for face recognition. In addition, we do not need to have any a priori knowledge of or assumption about the factors of a test image when using the proposed method. We can apply Individual Kernel TensorFaces even if the factors of a test image are absent from the training set. Based on various experiments on the Carnegie Mellon University Pose, Illumination, and Expression database, we demonstrate that the proposed method produces reliable results for face recognition.     

基于四元数矩阵奇异值分解的彩色图像识别

本文首先以实验证明了彩色图像矩阵的奇异值（SVS）仅含有图像的少量信息，大量信体现在图像矩阵的奇异值分解（SVDQ）的两个四元数酉矩阵中。然后给出了一种新的图像特征提取方法。该方法将图像投影到SVDQ的各个正交基上，得到投影系数向量。将此向量作为图像的代数特征并用于彩色图像识别中。实验表明，与奇异值特征向量用于彩色图像识别方法相比，本文方法显著提高了识别率。     

Improving object classification robustness in RGB-D using adaptive SVMs

Nowadays object recognition is a fundamental capability for an autonomous robot in interaction with the physical world. Taking advantage of new sensing technologies providing RGB-D data, the object recognition capabilities increase dramatically. Object recognition has been well studied, however, known object classifiers usually feature poor generality and, therefore, limited adaptivity to different application domains. Although some domain adaptation approaches have been presented for RGB data, little work has been done on understanding the effects of applying object classification algorithms using RGB-D for different domains. Addressing this problem, we propose and comprehensively investigate an approach for object recognition in RGB-D data that uses adaptive Support Vector Machines (aSVM) and, in this way, achieves an impressive robustness in cross-domain adaptivity. For evaluation, two datasets from different application domains were used. Moreover, a study of state-of-the-art RGB-D feature extraction techniques and object classification methods was performed to identify which combinations (object representation - classification algorithm) remain less affected in terms of performance while switching between different application domains.     

基于游程特征的文本图像识别方法

提出了一种基于游程特征的中英文本图像识别方法,用游程统计特征提供的图像信息作为图像模式识别的描述特征,在此基础上利用神经网络来训练分类器。实验结果表明,该方法的识别精度较高,具有一定的容错能力。     

Video-based human action and hand gesture recognition by fusing factored matrices of dual tensors

In this paper, we present a novel approach for human action and gesture recognition using dual-complementary tensors. In particular, the proposed method constructs a compact and yet discriminative representation by normalizing the input video volume into dual tensors. One tensor is obtained from the raw video volume data and the other one is obtained from the histogram of oriented gradients (HOG) features. Each tensor is converted to factored matrices and the similarity between factored matrices is evaluated using canonical correlation analysis (CCA). We, furthermore, propose an information fusion method to combine the resulting similarity scores. The proposed fusion strategy can effectively enhance discriminability between different action categories and lead to better recognition accuracy. We have conducted several experiments on two publicly available databases (UCF sports and Cambridge-Gesture). The results show that our proposed method achieves comparable recognition accuracy as the state-of-the-art methods.     

基于非对称跨模态融合的RGB-D显著目标检测

目前大多数RGB-D显著目标检测方法在RGB特征和Depth特征的融合过程中采用对称结构,对两种特征进行相同的操作,忽视了RGB图像和Depth图像的差异性,易造成错误的检测结果.针对该问题,提出一种基于非对称结构的跨模态融合RGB-D显著目标检测方法,利用全局感知模块提取RGB图像的全局特征,并设计了深度去噪模块滤除低质量Depth图像中的大量噪声;再通过所提出的非对称融合模块,充分利用两种特征间的差异性,使用Depth特征定位显著目标,用于指导RGB特征融合,补足显著目标的细节信息,利用两种特征各自的优势形成互补.通过在4个公开的RGB-D显著目标检测数据集上进行大量实验,验证所提出的方法优于当前的主流方法.     

Kinect 下深度信息获取技术及其在三维目标识别中的应用综述

微软公司 2010 年推出的 Kinect 深度传感器能够同步提供场景深度和彩色信息,其应用的一个关键领域就是目标 识别。传统的目标识别大多限制在特殊的情形,如：手势识别、人脸识别,而大规模的目标识别是近年来的研究趋势。 通过 Kinect 得到的 RGB-D 数据集多为室内和办公环境下获取的多场景、多视角、分目标类型的数据集,为大规模的目标 识别算法设计提供了学习基础。同时,Kinect 获取的深度信息为目标识别提供了强有力的线索,利用深度信息的识别方法 较以前的方法具有无法比拟的优势,大大地提高了识别的精度。文章首先对 Kinect 的深度获取技术做了详细介绍;其次 对现有的 3D 目标识别方法进行综述,接着对已有的 3D 测试数据集进行分析和比较;最后对文章进行小结以及对未来 3D 目标识别算法和 3D 测试数据集的发展趋势作了简单的阐述。     

RGB-D图像中的分步超像素聚合和多模态融合目标检测

目的 受光照变化、拍摄角度、物体数量和物体尺寸等因素的影响,室内场景下多目标检测容易出现准确性和实时性较低的问题。为解决此类问题,本文基于物体的彩色和深度图像组,提出了分步超像素聚合和多模态信息融合的目标识别检测方法。方法 在似物性采样（object proposal）阶段,依据人眼对显著性物体观察时先注意其色彩后判断其空间深度信息的理论,首先对图像进行超像素分割,然后结合颜色信息和深度信息对分割后的像素块分步进行多阈值尺度自适应超像素聚合,得到具有颜色和空间一致性的似物性区域;在物体识别阶段,为实现物体不同信息的充分表达,利用多核学习方法融合所提取的物体颜色、纹理、轮廓、深度多模态特征,将特征融合核输入支持向量机多分类机制中进行学习和分类检测。结果 实验在基于华盛顿大学标准RGB-D数据集和真实场景集上将本文方法与当前主流算法进行对比,得出本文方法整体的检测精度较当前主流算法提升4.7%,运行时间有了大幅度提升。其中分步超像素聚合方法在物体定位性能上优于当前主流似物性采样方法,并且在相同召回率下采样窗口数量约为其他算法的1/4;多信息融合在目标识别阶段优于单个特征和简单的颜色、深度特征融合方法。结论 结果表明在基于多特征的目标检测过程中本文方法能够有效利用物体彩色和深度信息进行目标定位和识别,对提高物体检测精度和检测效率具有重要作用。