基于RGB-D图像核描述子的物体识别方法

针对传统的颜色-深度（RGB-D）图像物体识别的方法所存在的图像特征学习不全面、特征编码鲁棒性不够等问题,提出了基于核描述子局部约束线性编码（KD-LLC）的RGB-D图像物体识别方法。首先,在图像块间匹配核函数基础上,应用核主成分分析法提取RGB-D图像的3D形状、尺寸、边缘、颜色等多个互补性核描述子;然后,分别对它们进行LLC编码及空间池化处理以形成相应的图像编码向量;最后,把这些图像编码向量融合成具有鲁棒性、区分性的图像表示。基于RGB-D数据集的仿真实验结果表明,作为一种基于人工设计特征的RGB-D图像物体识别方法,由于所提算法综合利用深度图像和RGB图像的多方面特征,而且对传统深度核描述子的采样点选取和紧凑基向量的计算这两方面进行了改进,使得物体类别识别率达到86.8%,实体识别率达到92.7%,比其他同类方法具有更高的识别准确率。     

多尺度卷积递归神经网络的RGB-D物体识别

摘 要: 为充分利用RGB-D图像提供的潜在特征信息,提出了多尺度卷积递归神经网络算法（Multi-scale Convolutional-Recursive Neural Networks,Ms-CRNN）。该算法对RGB-D图像的RGB图、灰度图、深度图及3D曲面法线图进行不同尺度分块形成多个通道,每个通道与相应尺寸的滤波器卷积,提取的特征图经局部对比度标准化和下采样后作为递归神经网络（Recursive Neural Networks ,RNN）层的输入以得到更加抽象的高层特征。融合后的多尺度特征,由SVM分类器进行分类。基于RGB-D数据集的仿真实验结果表明,综合利用RGB-D图像的多尺度特征,提出的Ms-CRNN算法在物体识别率上达到88.2%,和先前方法相比有了较大的提高。     

基于低阶Tucker分解的图像恢复技术研究

近年来,图像恢复逐渐成为数字图像处理领域的研究焦点,为了有效地对受损的、丢失了的图像数据进行恢复,采用张量数据结构的形式来表示待恢复的图像数据,并且提出了一种基于张量的图像恢复方法,通过充分识别清洁图像中混合噪声的内在结构。具体来说,对于干净的图像内容,使用张量Tucker分解来描述所有频带之间的全局相关性,以及各向异性空间光谱总变化（SSTV）正则化,以表征空间和频域中的分段平滑结构。对于混合噪声的图像内容,采用正则化来检测稀疏噪声,包括条纹,脉冲噪声和死像素,开发了一种用于通过使用增强拉格朗日乘数（ALM）方法来求解所得优化问题的有效算法。最后,对模拟和现实生活中有噪声的图像进行了广泛的实验,结果表明,算法工作良好,收敛快,可使受损图像恢复到一个良好的状态,恢复精度高。     

一种平滑的张量分解算法研究

张量方法为高维数据提供了有效的分析方法。提出了一种基于图正则化和Lp平滑约束的非负Tucker分解方法,结合各向同性（L2范数）和各向异性（L1范数）扩散平滑的优点,并产生优化问题的平滑和更精确的解,通过实验验证了该模型的有效性。     

基于多视角RGB-D图像帧数据融合的室内场景理解

对于智能机器人来说,正确地理解环境是一项非常重要且充满挑战性的能力,从而成为机器人学领域一个关键问题.随着服务机器人进入家庭成为趋势,让机器人能够依靠自身搭载的传感器和场景理解算法,以自主、可靠的方式感知并理解其所处的环境,识别环境中的各类物体及其相互关系,并建立环境模型,成为自主完成任务和实现人-机器人智能交互的前提.在规模较大的室内空间中,由于机器人常用的RGB-D(RGB depth)视觉传感器(同时获取彩色图像和深度信息)视野有限,使之难以直接获取包含整个区域的单帧图像,但机器人能够运动到不同位置,采集多种视角的图像数据,这些数据总体上能够覆盖整个场景.在此背景下,提出了基于多视角RGB-D图像帧信息融合的室内场景理解算法,在单帧RGB-D图像上进行物体检测和物体关系提取,在多帧RGB-D图像上进行物体实例检测,同时构建对应整个场景的物体关系拓扑图模型.通过对RGB-D图像帧进行划分,提取图像单元的颜色直方图特征,并提出基于最长公共子序列的跨帧物体实例检测方法,确定多帧图像之间的物体对应关联,解决了RGB-D摄像机视角变化影响图像帧融合的问题.最后,在NYUv2(NYU depth dataset v2)数据集上验证了本文算法的有效性.     

基于贝叶斯框架融合的RGB-D图像显著性检测

为了有效融合RGB图像颜色信息和Depth图像深度信息, 提出一种基于贝叶斯框架融合的RGB-D图像显著性检测方法.通过分析3D显著性在RGB图像和Depth图像分布的情况, 采用类条件互信息熵(Class-conditional mutual information, CMI)度量由深层卷积神经网络提取的颜色特征和深度特征的相关性, 依据贝叶斯定理得到RGB-D图像显著性后验概率.假设颜色特征和深度特征符合高斯分布, 基于DMNB (Discriminative mixed-membership naive Bayes)生成模型进行显著性检测建模, 其模型参数由变分最大期望算法进行估计.在RGB-D图像显著性检测公开数据集NLPR和NJU-DS2000上测试, 实验结果表明提出的方法具有更高的准确率和召回率.     

基于图像分块与特征融合的户外图像天气识别

在视频监控及智能交通等领域,雾、雨、雪等恶劣天气会严重影响视频图像能见度,因此快速识别出当前的天气情况,并自适应地对监控视频进行清晰化处理极为重要.针对传统天气识别方法效果差以及天气图像数据集缺乏的问题,构建了一个多类别天气图像分块数据集,并提出了一种基于图像分块与特征融合的天气识别算法.该算法基于传统方法提取平均梯度...     

基于小波分解和PCNN的图像融合方法

随着融合技术的发展、小波理论的成熟,小波变换以其良好的时频特性在图像融合领域脱颖而出.本文在小波变换理论的基础上,提出了一种结合小波分解的改进型PCNN图像融合新方法.首先对两幅已经配准的原始图像进行小波多尺度分解;然后基于改进后的脉冲耦合神经网络模型提出一种新的融合规则,文中重点针对小波分解后高频域和低频域的特点,分...     

基于多传感器信息融合的人类抓握特征学习及物体识别

基于柔性可穿戴传感器及多模态信息融合,研究人类的抓握特征学习及抓取物体识别,探索人类在抓取行为中所依赖的感知信息的使用.利用10个可拉伸传感器、14个温度传感器及78个压力传感器构建了数据手套并穿戴于人手,分别测量人类在抓取行为中手指关节的弯曲角度、抓取物体的温度及压力分布信息,并在时间及空间序列上建立了跨模态信息表征,同时使用深度卷积神经网络对此多模态信息进行融合,构建人类抓握特征学习模型,实现抓取物体的精准识别.分别针对关节角度特征、温度特征及压力信息特征进行了融合实验及有效性分析,结果表明了基于多传感器的多模态信息融合能够实现18种物品的精准识别.     

基于张量分解的数字图像取证

提出一种基于张量分解的数字图像盲检测方法,从全局处理角度对JPEG压缩数字图像进行真伪盲检测。对于来自某一相机拍摄的一批参考图像组成的张量,利用张量分解的方法,从分解残差中分析提取图像特征,通过支持向量机分类器鉴别待检测图像是否直接来自该数码相机。实验结果表明,该方法对数字图像的来源鉴定具有较高准确性和较强的鲁棒性。     

自动化张量分解加速卷积神经网络

近年来,卷积神经网络（CNN）展现了强大的性能,被广泛应用到了众多领域.由于CNN参数数量庞大,且存储和计算能力需求高,其难以部署在资源受限设备上.因此,对CNN的压缩和加速成为一个迫切需要解决的问题.随着自动化机器学习（AutoML）的研究与发展,AutoML对神经网络发展产生了深远的影响.受此启发,提出了基于参数估计和基于遗传算法的两种自动化加速卷积神经网络算法.该算法能够在给定精度损失范围内自动计算出最优的CNN加速模型,有效地解决了张量分解中,人工选择秩带来的误差问题,能够有效地提升CNN的压缩和加速效果.通过在MNIST和CIFAR-10数据集上的严格测试,与原网络相比,在MNIST数据集上准确率稍微下降了0.35%,模型的运行时间获得了4.1倍的大幅提升;在CIFAR-10数据集上,准确率稍微下降了5.13%,模型的运行时间获得了0.8倍的大幅提升.     

RGB-D Hand-Held Ob ject Recognition Based on Heterogeneous Feature Fusion

Ob ject recognition has many applications in human-machine interaction and multimedia retrieval. However, due to large intra-class variability and inter-class similarity, accurate recognition relying o...     

基于卷积神经网络的图像验证码识别

验证码作为一种安全手段,被广泛应用于互联网领域.本文提出了一种基于卷积神经网络的图像验证码识别方法,通过卷积层级联、残差学习、全局池化、分组卷积等技术手段,在保证识别准确率不受影响的前提下,大大降低了网络的参数量.本文以铁路购票网站验证码和正方教务系统验证码为例来测试模型性能.对于铁路购票网站验证码,实验结果显示本文提出的识别方法参数量最少,对图形和中文词组验证码的识别准确率分别达到98.76%和99.14%;对于正方教务系统验证码,本文方法参数量最少且识别准确率为87.30%.     

目标多种多值属性的端端快速识别网络

为提高图像目标多种多值属性的识别速度,提出一种端到端的识别算法.采用修正的YoloV3网络作为主网络,确定目标的boundingbox;依据属性独立特性构造子网络,多个子网络共享由boundingbox确定的主网络深层次特征,进行推断,并采用多值输出满足多值属性的识别.在训练过程中,采用了三阶段分目标训练.实验结果验证...     

优化非线性激活函数-全局卷积神经网络的物体识别算法

传统的物体识别算法识别精度、自适应能力弱等问题已然不能满足实际的仓储物流领域对物体识别精度的要求.近年来,相关学者提出了基于深度学习的物体识别算法,它得到一定的推广和应用.但是,深度学习在物体识别的应用过程中存在以下问题:一是深度学习模型中激活函数的非线性建模能力弱;二是深度学习模型大量重复的池化操作丢失信息.鉴于此,...     

基于深度残差收缩网络的HEp-2图像识别

人上皮细胞（HEp-2）检测抗核抗体是诊断自身免疫性疾病的常用方法,HEp-2细胞图像识别对许多自身免疫性疾病的诊疗具有重要意义。针对目前主要采用手工评估方法造成效率低效、劳动强度高等问题,提出一种基于深度残差收缩网络的HEp-2细胞图像分类模型。该模型在深度残差网络基础上进行改进,残差学习模块使用恒等映射方法可以训练更深层次的网络。在每个残差学习模块内部嵌入一个软阈值非线性变换子网络,软阈值用以消除数据中的噪声和冗余信息,这些阈值通过子网络自动学习。实验表明,该方法具有良好的性能,优于其他深度神经网络方法。     

采用跳层卷积神经网络的RGB-D图像显著性检测

RGB-D图像显著性检测旨在提取三维图像中的显著目标.为解决当前显著性检测算法难以检测出光线干扰场景内的目标和低对比度的目标等问题,提出了基于跳层卷积神经网络的RGB-D图像显著性检测方法.利用VGG网络分离出RGB图像和深度图像的浅层与深层特征,而后进行特征提取;以跳层结构为基础连接提取到的特征,实现融合深度、颜色、...