热模态特征与非刚体模型检索

针对当前基于热分布的三维非刚体模型检索方法存在多方面的缺陷,并且在识别精度方面的表现不突出的问题,提出一种热模态特征.首先在已有热核相关特征的基础上提出了归一化热分布函数及相应的积分核函数,其次构造结构化热分布矩阵,最后采用最大的特征值序列作为热模态特征.该特征具有多重优良特性,如内蕴不变性、形状区分性好,并且对噪声有较好的抵抗力.在本领域内2个公认数据集上的实验结果表明,与基于热分布的方法相比,文中特征无论在检索精度还是在稳定性方面都得到了大幅度提升;与国际前沿方法相比,该特征在取得较高检索精度的同时也具有更好的稳定性.     

SR-SIHKS：一种非刚体全局形状特征

非刚体由于姿态变化会产出多样的形变,因此非刚体的形状检索比刚体更具挑战性。形状特征提取是非刚体三维模型形状检索的关键问题。为了提高非刚体形状检索的准确度,提出了一种非刚体全局形状特征提取方法。此方法的核心思想是将稀疏表示（Sparse Representation,SR）理论用于对尺度无关的热核特征（Scale Invariant Heat Kernel Signature,SIHKS）进行稀疏编码,因此被称为SR-SIHKS。改进了SIHKS局部特征的提取方法,根据所处理的模型库来自适应地确定热扩散时间参数;采用K-SVD算法来训练字典,借助Batch-OMP算法实现局部特征的稀疏编码;将非刚体三维模型的所有局部特征的稀疏编码汇聚为全局形状特征。实验结果表明,SR-SIHKS具有比SIHKS和HKS更优的检索效果。     

大图采样方法综述EI北大核心CSCD

大图采样是常用的网络图简化方法,可显著降低大图数据的规模.文中从随机图采样、特征驱动的大图采样方法、大图采样的评估指标和大图采样方法的应用4个角度进行综述.首先介绍随机点、随机边和随机游走的随机图采样方法;然后论述拓扑结构、社区结构、动态网络关联和语义关联特征驱动的大图采样方法;再介绍拓扑结构、视觉感知和特征驱动的大图采样指标;最后介绍了大图采样方法在社交网络、地理交通、生物医学和深度学习等领域的应用,并展望了该方法的发展前景.     

基于对象特征的深度哈希跨模态检索

随着不同模态的数据在互联网中的飞速增长,跨模态检索逐渐成为了当今的一个热点研究问题.哈希检索因其快速、有效的特点,成为了大规模数据跨模态检索的主要方法之一.在众多图像-文本的深度跨模态检索算法中,设计的准则多为尽量使得图像的深度特征与对应文本的深度特征相似.但是此类方法将图像中的背景信息融入到特征学习中,降低了检索性能...     

基于关联特征传播的跨模态检索

深度学习的快速发展和关联学习的深度研究,使得跨模态检索的性能有了很大提升.跨模态检索研究面临的挑战是：不同模态的数据在高层语义上具有关联关系,但在底层特征上存在异构鸿沟.现有方法主要通过单个相关性约束将不同模态的特征映射到具有一定相关性的特征空间中来解决底层特征上的异构鸿沟问题.然而,表征学习表明,不同层次的特征在帮助模型最终性能的提升上都会起作用.所以,现有方法学习到的单一特征空间的关联性是弱的,即该特征空间可能不是最优的检索空间.为解决该问题,提出了基于关联特征传播的跨模态检索模型,其基本思想是强化深度网络各层之间的关联性,即前一层具有一定关联的特征经过非线性变化传到后一层,有利于找到使2种模态关联性更强的特征空间.通过在Wikipedia,Pascal数据集上的大量实验验证得到,该方法提升了平均精度均值.     

支持基于内容检索的多媒体特征模型

信息系统的多媒体化给检索带来了新的挑战。本文从分析基于内容的多媒体信息检索的特点出发,研究并提出了一个多媒体信息特征模型。最后,结合基于特征模型的多媒体信息检索系统总体框架,讨论特征获取、特征管理以及特征学习等相关问题。     

多尺度多特征融合的行人重识别模型EI北大核心CSCD

为了解决行人重识别中行人特征表达不充分、忽视相邻区域的语义相关性等问题,提出了多尺度多特征融合的行人重识别模型.首先,通过多分支结构获取包含不同信息的特征图;其次,通过组合相邻的局部区域,强调局部特征之间的语义相关性;最后,结合最大池化和平均池化的优势,从不同的方向学习更加全面的特征信息.分别在Market-1501,DukeMTMC-reID以及MSMT17数据集上进行实验,结果表明,在光照不同、拍摄角度不同等环境下,文中模型的mAP分别达到了88.40%,78.50%,59.20%,能够有效地提取行人特征,识别精度较高.     

拓扑和形状特征相结合的三维模型检索

针对整体相似性检索算法在局部细节特征上的表达能力不足,提出了一种将拓扑和形状特征相结合的三维模型相似性比较方法.首先提取三维模型的骨架,获得模型的整体拓扑特征;然后根据骨架节点将模型分解为多个子部分,并利用球面谐波算法提取每一个子部分的形状特征.模型的匹配分为3步进行:整体骨架的拓扑特征相似性比较,相对应的子部分的局部形状特征相似性比较,模型总的相似性是整体骨架相似性与对应子部分局部形状相似性的加权和.实验结果表明:该方法从整体到局部、由粗到精,综合考虑了拓扑和形状特征,较传统的考虑单一拓扑或形状特征的检索算法有较高的检索精度,同时又支持基于局部特征的相似性检索.     

特征融合的装修案例跨模态检索方法

目前家装客服系统中主要依靠人工方式进行装修案例检索,导致该系统不能满足用户对咨询服务快捷、及时的需求而且人力成本高,故提出一种基于特征融合的装修案例跨模态检索算法。针对多模态数据的语义信息挖掘不充分,模型检索精度低等问题,对现有的风格聚合模块进行改进,在原始模块中引入通道注意力机制,以此来为每组装修案例中不同图片的特征向量添加合适的权重,从而增强包含更多有用信息的重要特征并削弱其他不重要的特征。同时,为充分利用多模态信息,设计一种适用于检索场景下的多模态特征融合模块,该模块能够自适应地控制2种不同模态的特征向量进行一系列的融合操作,以实现跨模态数据间的知识流动与共享,从而生成语义更丰富、表达能力更强的特征向量,进一步提升模型的检索性能。在自建的装修案例多模态数据集上将该方法与其他方法进行比较,试验结果表明本文方法在装修案例检索上具有更优越的性能。     

结合果蝇算法优化PCNN和相位一致性的图像检索EI北大核心CSCD

针对现有基于内容的图像检索方法不能有效地融合区域和边缘信息的不足,利用果蝇优化算法(FOA)优化脉冲耦合神经网络(PCNN),并将其与相位一致性(PC)相结合,提出一种图像检索方法.首先采用FOA对简化PCNN模型的3个关键参数进行设定,并结合最大信息熵准则进行图像分割和特征提取;然后利用PC提取图像的边缘,获取边缘颜色直方图特征;最后综合运用这2种特征进行图像检索.实验结果表明,该方法具有较好的检索性能,平均查准率和平均查全率均高于现有的代表性方法.     

相似度保持跨模态哈希检索

由于不同模态数据之间的异构性以及语义鸿沟等特点,给跨模态数据分析带来巨大的挑战.本文提出了一个新颖的相似度保持跨模态哈希检索算法.利用模态内数据相似性结构使得模态内相似的数据具有相似的残差,从而保证学习到的哈希码能够保持模态内数据的局部结构.同时利用模态间数据的标签,使得来自于不同模态同时具有相同标签的数据对应的哈希码...     

基于对抗点的局部点云神经网络特征匹配攻击EI北大核心CSCD

对基于点云神经网络的局部形状特征匹配模型进行对抗攻击,有益于评估并提高其对抗鲁棒性.针对上述问题,提出了3种基于对抗点的攻击方法,包括通过移动原始待匹配局部点云中点的坐标进行对抗点扰动;计算局部点云的显著图,通过添加点到显著图中关键点的位置并施加位移进行对抗点添加;通过将显著图中的关键点移动到形状中心位置进行对抗点删除.在3DMatch数据集上针对DIP模型和SpinNet模型的实验结果表明,3种攻击方法均能实现有效攻击;攻击的效果与所设置的扰动大小有关;在保证隐蔽性的前提下,随着扰动的增大,攻击效果逐渐显著,如DIP模型被攻击后的特征匹配召回率可从100%降低至2%.     

以图搜图:基于显著性注意力的美容产品检索网络EI北大核心CSCD

在基于深度学习的美容产品检索任务中,图片背景、拍摄角度和产品摆放姿态均是产品图片上潜在的干扰信息;同时,检索数据库中众多相似产品会互相干扰.针对这些问题,将显著性注意力机制融入损失函数、随即丢弃模块和相似项计算中,分别设计了显著性损失函数、显著性随即丢弃模块和显著相似性方法,有效地抑制了用户待检索图片与检索数据库图片中的干扰信息;然后,采用有效的特征提取器抵抗图片相似项的干扰;最后综合上述4个模块,提出基于显著性注意力的美容产品检索网络SA-Net.经过Pro-10k数据集训练,在Per-500k数据集上进行消融学习和对比实验的结果表明,SA-Net提升了美容产品检索的准确度,比已公开的最好同类算法AMAC提高3%.     

面向跨模态行人重识别的双向动态交互网络EI北大核心CSCD

为了解决当前跨模态行人重识别算法因采用权值共享的卷积核而造成模型针对不同输入动态调整能力差,以及现有方法因仅使用高层粗分辨率的语义特征而造成信息丢失的问题,提出一种双向动态交互网络的跨模态行人重识别方法.首先通过双流网络分别提取不同模态各个残差块后的全局特征;然后根据不同模态的全局内容动态地生成定制化卷积核,提取模态特有信息,并将其作为模态互补信息在模态间进行双向传递以缓解模态异质性;最后对各层不同分辨率的特征进行相关性建模,联合学习跨层的多分辨率特征以获取更具有判别性和鲁棒性的特征表示.在SYSU-MM01和RegDB跨模态行人重识别数据集上的实验结果表明,所提方法在第一命中率(R1)分别高于当前最好方法4.70%和2.12%;在平均检索精度(mAP)上分别高于当前最好方法4.30%和2.67%,验证了该方法的有效性.     

非侵入式负荷监测综述EI北大核心CSCD

非侵入式负荷监测通过对总负荷电表数据进行分析处理,能够实现对各个用电设备及其工作状态的辨识,可广泛应用于建筑节能、智慧城市、智能电网等领域.近年来,随着智能电表的大规模部署以及各类机器学习算法的广泛应用,非侵入式负荷监测引起了学术界与工业界的共同关注.本文对非侵入式负荷监测方面的研究进行综述.首先提炼非侵入式负荷监测的问题模型及基本框架;然后分别对非侵入式负荷监测的数据采集与预处理过程、负荷分解模型与方法、常用数据集及评估指标进行归纳总结;最后,对目前研究中存在的挑战进行分析,并对未来的研究方向进行展望.     

基于距离和曲率特征的三维模型检索研究

针对采用单一特征描述基于内容的三维模型检索时检索精度不高的问题,结合全局描述的距离特征和局部描述的曲率特征,提出一种新的三维模型检索算法,通过距离特征相似性和曲率特征相似性的加权和,确立模型新的相似度匹配。仿真实验结果表明,相对于单一形状特征的模型检索,该检索算法能够获得更准确的检索效果。     

基于几何关系约束的特征点匹配算法EI北大核心CSCD

特征匹配是计算机视觉中的一个基本问题,基于特征点的特征匹配方法则是其中最为常用的一种算法,有着重要的研究意义和研究价值.众所周知,特征点匹配的结果受很多因素的影响.为更好地处理视角变换的特征匹配问题,给出一种基于特征点位置关系的几何约束匹配方法.即通过引入新近发现的射影不变量——特征数,构建特征点位置间的几何信息描述子;进一步建立每个点的特征数直方图并使用巴氏系数度量几何相似度;最后在基于纹理特征描述子基础上增加文中所给出的几何信息描述子获得特征匹配的约束条件.实验结果证明,该算法可以有效的提高特征点匹配的精度,同时对视角变化较大及纹理相似的情况具有很好的匹配效果.     

跨模态多视角自监督的个性化食谱推荐异构图网络EI北大核心CSCD

为了更好地建模食物不同内容信息之间的关系,提出一种基于跨模态多视角自监督异构图网络的个性化食物推荐模型.首先,基于用户､食物以及食材,构建异构图;其次,基于信息传递,学习建模信息之间的复杂层级关系;再次,利用食物节点特征､食物食材特征以及食物图像特征,构建跨模态多视角对比自监督学习任务增强食物节点的表示;最后,利用用户表示以及基于注意力模块融合得到的食物综合表示完成食物推荐.在大规模食物推荐数据集上的实验结果表明,该方法比最优的基线方法在AUC,NDCG@10和Recall@10这3个指标上分别提升6.35%,8.13%和11.7%,从而证明了该方法的有效性.     

基于驾驶员转向模型的共享控制系统EI北大核心CSCD

针对车辆驾驶对于共享控制系统实用性的需求,提出了基于驾驶员转向模型的共享控制系统.基于驾驶员的视觉预瞄特性与神经肌肉特性建立了驾驶员转向模型,通过遗传算法辨识模型参数并分析其与车速和道路曲率之间的函数关系;采用模糊权重分配策略合理分配驾驶权重;本文利用基于所开发的CarMaker驾驶模拟实验平台,对系统进行在线测试和验证,结果表明该系统不仅能够更好地提升车辆的轨迹跟踪精度和安全性,辅助驾驶员转向,还能够极大地减轻驾驶员负荷.