基于本征图像分解的人脸光照迁移算法

提出了一种基于本征图像分解的人脸光照迁移算法.首先,针对本征图像分解效果不彻底的情况,提出了一种改进的本征图像分解方法.在此基础上,为了保持人脸细节特征,提出了一种基于边缘保留的光照滤波算法,对参照人脸进行光照迁移至目标人脸,最后融合目标材质图像与滤波后光照图像进行人脸重光照.实验结果表明,与已有算法相比,该算法能够很好地保留迁移后的人脸肤色,并且所生成的重光照效果更准确、自然.     

基于多模态信息融合的新闻图像人脸标注

针对传统新闻图像中人脸标注方法主要依赖人脸相似度信息,分辨噪声和非噪声人脸能力以及非噪声人脸标注能力较差的问题,提出一种基于多模态信息融合的新闻图像人脸标注方法。首先根据人脸和姓名的共现关系,利用改进的K近邻算法,获得基于人脸相似度信息的人脸姓名匹配度;然后,分别从图像中提取人脸大小和位置的信息对人脸重要程度进行表征,从文本中提取姓名位置信息对姓名重要程度进行表征;最后,使用反向传播神经网络来融合上述信息完成人脸标签的推理,并提出一个标签修正策略来进一步改善标注结果。在Label Yahoo! News数据集上的测试效果表明,所提方法的标注准确率、精度和召回率分别达到了77.11%、73.58%和78.75%,与仅基于人脸相似度的算法相比,具有较好的分辨噪声和非噪声人脸能力以及非噪声人脸标注能力。     

基于多模态融合的人脸反欺骗算法研究

人脸反欺骗技术可以准确判断捕获的人脸图像是真实人脸还是虚假人脸,是人脸识别系统安全的重要保障.传统的人脸反欺骗方法主要是利用手工设计的特征,如LBP、HoG、SIFT、SURF和DoG来刻画真实人脸和虚假人脸之间的不同特征分布,但人工设计的特征难以适应无约束环境下(如光照、背景的变化)的人脸反欺骗问题.鉴于此,该文提出...     

运用多模态学习改进张量分解的知识补全方法

基于单一模态实体之间建立关联所形成的语义关系网难以准确理解现实世界中的多模态语义。为增强多源知识图谱的补全能力以及解决知识图谱语义缺失问题,提出一种基于多模态嵌入张量分解的方法 ME-TD (multimodal embedding tensor decomposition)。利用由图像、描述文本和知识构成的三元组作为张量分解模型的输入,分别对图像和文本进行特征提取,研究3种融合方法：相加融合、相乘融合以及连接映射方法,通过高维映射形成一个多模态的三阶张量;经过三模式分解,产生一个核心张量与每一个维度因子矩阵的乘积,通过链接预测计算三元组正确的概率。实验结果表明,ME-TD方法在知识补全中对多模态矩阵预测效果相较于其它方法有较为明显提升。     

基于图像分解的光照估计算法

增强现实技术的目的在于将计算机生成的虚拟物体叠加到真实场景中.实现良好的虚实融合需要对场景光照进行估算,针对高光场景,利用场景中的不同反射光信息对场景进行有效的光照估计,首先通过基于像素聚类方法的图像分解对图像进行反射光的分解,得到漫反射图和镜面反射图,对漫反射图进行进一步的本征图像分解,得到反照率图和阴影图;之后结合...     

多模态人脸识别中的人脸特征定位

多模态人脸识别技术是解决目前二维人脸识别领域瓶颈问题的一项重要手段.在二维人脸特征定位中结合Gabor变换和人脸弹性图方法,采用缩小搜索范围的方法提高系统效率;三维人脸特征定位首先采用PS方法进行粗略定位,然后仿照二维人脸识别方法定义Gabor变换系数向量进行精确定位,其中也采用一个模板来缩小搜索范围.试验证明,方法不仅效率高,而且能适应多种姿态和表情的变换.     

基于光照方向估计的人脸图像阴影补偿

光照变化是影响人脸识别率的关键问题之一.人脸图像中的阴影严重影响了光照不变特征的有效提取.采用了一种基于光照方向估计的阴影补偿方法.因为人脸形状的相似性,某一点光源方向产生的阴影特性具有相似性.利用这一特性,首先通过子空间方法确定人脸图像的光源方向,然后再对该人脸图像进行相应的阴影补偿.在对人脸库YaleB和Extended YaleB （38人脸）的实验中表明,64种光源方向的识别率为96.8％.该方法能有效消除阴影便于后续光照不变特征的有效提取.     

基于多模态特征的医学图像聚类方法

现有的图像特征表达大多使用低层语义特征(如颜色、纹理等)细粒度地比较图像的相似度,然而医生就诊更多依据图像在局部区域高层语义特征(如是否病变、病变类型等)的差异粗粒度地判断图像的相似程度。针对现有的医学图像特征表达忽略了医学图像特有的高层语义特征,致使医学图像聚类效果不佳的问题,提出了一种融合医学图像纹理特征和特有形态学特征的多模态特征医学图像聚类方法。首先一方面提出使用纹理特征融合方法表示医学图像全局底层语义特征;另一方面提出使用图像分割的感兴趣区域(region of interest,ROI)的形态学描述作为形态学特征表示医学图像的局部高层语义信息。其次结合提出的相似性度量方法分别计算脑CT图像两类特征间的相似度。最后利用多核学习方法学习特征融合权重,并在多核谱聚类实验上验证了该方法的有效性。     

基于多模态神经网络的图像中文摘要生成方法

图像的自然语言描述(image captioning)是一个融合计算机视觉、自然语言处理和机器学习的跨领域课题。它作为多模态处理的关键技术,近年来取得了显著成果。当前研究大多针对图像生成英文摘要,而对于中文摘要的生成方法研究较少。该文提出了一种基于多模态神经网络的图像中文摘要生成方法。该方法由编码器和解码器组成,编码器基于卷积神经网络,包括单标签视觉特征提取网络和多标签关键词特征预测网络,解码器基于长短时记忆网络,由多模态摘要生成网络构成。在解码过程中,该文针对长短时记忆网络的特点提出了四种多模态摘要生成方法CNIC-X、CNIC-H、CNIC-C和CNIC-HC。在中文摘要数据集Flickr8k-CN上实验,结果表明该文提出的方法优于现有的中文摘要生成模型。     

多模态图像描述任务综述

近年来,随着深度学习技术在计算机视觉和自然语言处理领域取得不断成功,越来越多的学者开始致力于推动计算机视觉和自然语言处理的交叉领域——多模态图像描述的研究进展。现对多模态图像描述任务进行了文献综述,从图像描述方法的发展与分类、常用数据集和评价指标三个方面对该领域进行介绍,对不同方法的优缺点进行了总结,并将不同方法的代表模型在相同数据集上的表现进行比对。最后,对图像描述任务当前面临的挑战和未来发展方向进行展望。     

基于张量分解的数字图像取证

提出一种基于张量分解的数字图像盲检测方法,从全局处理角度对JPEG压缩数字图像进行真伪盲检测。对于来自某一相机拍摄的一批参考图像组成的张量,利用张量分解的方法,从分解残差中分析提取图像特征,通过支持向量机分类器鉴别待检测图像是否直接来自该数码相机。实验结果表明,该方法对数字图像的来源鉴定具有较高准确性和较强的鲁棒性。     

基于张量分解融合RGB-D图像的物体识别

为了充分利用RGB-D图像的深度图像信息，提出了基于张量分解的物体识别方法。首先将RGB-D图像构造成一个四阶张量，然后将该四阶张量分解为一个核心张量和四个因子矩阵，再利用相应的因子矩阵将原张量进行投影，获得融合后的RGB-D数据，最后输入到卷积神经网络中进行识别。RGB-D数据集中三组相似物体的识别结果表明，利用张量分解融合RGB-D图像的物体识别准确率高于未采用张量分解的物体识别准确率，并且单一错分实例的准确率最高可提升99%。     

基于图像分解的人脸特征表示

提出一种基于图像分解的人脸特征表示方法(FRID),首先通过多方向操作,把一幅图像分解成一系列方向子图像;然后,通过欧拉映射操作,把每幅方向子图像分解成实部和虚部图像,针对每幅实部和虚部图像,分别划分出多个不重叠的局部图像块,通过统计图像块上不同数值的个数生成相应的实部和虚部直方图,一幅图像的所有实部和虚部直方图被串联成一个超级特征向量;最后,利用线性判别分析方法对超级特征向量进行维数约简,以获得每幅图像的低维表示.实验显示该方法在多个人脸数据库上获得了优于时新算法的识别结果,并且表现得更为稳定.     

基于图像引导滤波的人脸光照预处理算法

针对人脸识别中人脸图像光照预处理的问题,提出一种基于图像引导滤波的人脸光照预处理算法。根据自定义光照标准函数对引导图像和输入图像进行分类,经指数或对数非线性变换调整后进行直方图均衡化处理。采用图像引导滤波对图像细节进行增强,使变换后的图像更清晰。利用空域高通滤波来抑制局部锐化现象。在YaleB人脸数据库上进行验证,结果表明,该算法在识别性能上明显优于经典的主成分分析法,识别率可以提高2%~8%。     

基于加权多尺度张量子空间的人脸图像特征提取方法

为了不破坏原始数据固有的高阶结构和数据之间的相关性,减少光照对图像特征的影响,并优化多尺度特征的权重,提出了基于加权多尺度张量子空间的图像特征提取方法。采用多尺度小波变换表征图像各个 部位特征,使用不确定度权衡每个尺度对图像分类的作用,并组建成多尺度张量子空间,结合多线性主成分分析与线性判别分析算法,降低了图像在处理过程中的成本,保存了高维数据固有结构和相关性,完成对图像特征提取。使用CAS-PEAL-R1东方人脸库进行评测,实 验结果表明,该图像特征提取算法用于图像识别过程中具有较好的效果,具有一定的可行性。     

人脸光照问题研究综述

光照是影响入脸识别率的关键因素,它已成为人脸识别技术发展的瓶颈。在光照变化对入脸图像影响分析的基础上,按照处理方式的不同对光照处理方法进行了分类和评价。从基于不变特征的方法、光照变化建模的方法、人脸图像归一化的方法和基于SFS的方法等四个方面介绍了相关的算法和理论,分析了各种方法的优缺点,并提出了关于人脸光照问题的进一步研究方向。     

基于总变分模型的光照不变人脸识别算法

提出了一种基于L1总变分模型的对数商图像光照不变人脸识别算法。用L1总变分模型作为低通滤波算子对图像平滑滤波,得到图像光照分量的估计,然后在对数域中定义原图像与其光照分量的商为光照归一化图像,并用该图像作为光照不变量进行人脸识别。基于L1总变分模型的平滑滤波具有较好的边缘保持作用,能有效地消除光晕现象,并且参数设置简单。在YaleB和CMU PIE 人脸图像库上的试验结果表明,该算法能有效地提高人脸识别系统在不同光照条件下的识别率。     

人脸识别中光照补偿参数及必要性的判定方法*

针对实际人脸识别应用中大量人脸无须作光照补偿的情况,分别用2DPCA和Fisher两种人脸识别方法对FRVT标准人脸库进行识别,得出准确的影响人脸识别的光照方向参数,并提出了一种简单快速的判断是否需补偿的方法.实验证明,经过光照补偿判定后进行的人脸识别实验,需补偿人脸数目大量减少,运算量大大降低,人脸识别速度可以提高近四倍.     

基于三维结构张量的图像模糊度评价方法

根据图像二维结构张量的特性和清晰图像及其模糊副本之间存在较大差异的特点,构造单幅图像的三维结构张量,其特征值大小反映了图像的局部几何结构信息,并与图像的清晰度有关,据此提出基于三维结构张量的图像模糊度评价方法。对输入图像进行不同尺度的低通滤波,得到输入图像的2个副本,并将其分成互不重叠的块。通过计算各块的三维结构张量得到模糊度参数,将各块的模糊度参数和关注度系数加权得到整幅图像的模糊度参数,以模糊度参数的指数函数形式计算图像的模糊度。实验结果表明,该方法计算出的模糊度相对于图像的模糊程度是单调的,具有良好的抗噪性,并且符合人眼视觉系统特性。