融合整体和局部信息的三维模型检索方法

基于特征融合的三维模型检索方法能有效提高检索效率,提出一种融合整体和局部信息的三维模型检索方法。分别通过Canny算子提取边缘特征和基于尺度不变特征变换特征的词袋模型提取词频向量特征,边缘特征用于描述三维模型的整体信息,词频向量特征用于描述三维模型的局部信息,将这两种特征融合成为新的特征用于描述三维模型。试验表明,融合整体和局部信息的三维模型检索方法能够有效地提高检索结果的准确率。     

三维模型检索中的语义与形状异构特征融合

三维模型检索是多媒体信息检索领域的重要组成部分,由于"语义鸿沟"的存在使得当前基于内容的检索结果通常不十分令人满意。考虑到解决"语义鸿沟"的关键是将三维模型的底层形状特征与高层语义特征进行有效融合,为此提出一种三维模型的语义与形状异构特征融合方法,该方法将三维模型在基于内容的检索过程中用户反馈信息形成的语义关联作为模型的语义表达,并通过子空间学习方法将这种语义表达信息与模型的底层特征进行融合,最后将融合后的新特征应用于三维模型检索中。在Princeton shape benchmark上的测试表明,该方法的检索结果明显好于单纯形状特征的检索结果。     

基于F直方图的形状全方向顺序特征描述

为提高二维对象的形状描述识别精度,本文提出基于F直方图的形状全方向顺序特征描述方法。该方法在全方向上通过方向线对形状进行分割,计算各方向线上对象分割段之间的顺序特征描述量,构建形状的全方向顺序特征描述量,计算形状间的相似度。通过地物形状数据集、MPEG-7 CE-1 Part B形状数据集和瑞典叶子数据集对本方法进行了检索识别性能测试,并和其他形状相似性描述方法进行了对比。实验结果表明,本方法具有更高的检索准确率。形状全方向顺序特征描述方法将形状的边界和区域信息融合,可以准确描述形状的全局特征与局部特征,具有平移、旋转、尺度不变性,具有较强的形状描述识别能力。     

基于上下文特征融合的代码漏洞检测方法

针对现有代码漏洞检测方法误报率和漏报率较高的问题,提出基于上下文特征融合的代码漏洞检测方法.该方法将代码特征解耦分为代码块局部特征和上下文全局特征.代码块局部特征关注代码块中关键词的语义及其短距离依赖关系.将局部特征融合得到上下文全局特征从而捕捉代码行上下文长距离依赖关系.该方法通过局部信息与全局信息协同学习,提升了模型的特征学习能力.模型精确地挖掘出代码漏洞的编程模式,增加了代码漏洞对比映射模块,拉大了正负样本在嵌入空间中的距离,促使对正负样本进行准确地区分.实验结果表明,在9个软件源代码混合的真实数据集上的精确率最大提升了29%,召回率最大提升了16%.     

一种基于单一视图的三维模型检索方法

针对已有研究存在的视图冗余性问题,提出采用单一视图进行三维模型形状特征度量t并通 过动态规划进行相似性计算,实现三雏模型的单一视图特征描述和匹配．算法主要由三步组成：首先,将三维模型进行姿态调整,并通过渲染得到最能表达三堆模型外形特征的主视lit．其次,对渲染得到的视图进行轮廓采样,通过内在距离扣内角提取模型彤技特征描述,最后,采用动态规剐算法计算不同模型之间的相似程度．实验结果表明：尽管只采用单一视图进行特征描述,但所提出的算法检索精度要高于一些典型三雏形状特征描述符,包括采用深度视图定义的形状描述符.     

机械设计图像检索研究

基于内容的机械设计图像检索目前尚无针对性的研究,提出利用形状特征作为图像检索的标准,根据机械设计图像的特点,对3种不同的形状特征描述子的检索性能进行研究,分别提取图像库中各个图像的傅里叶描述子、Hu不变矩和距离分布直方图特征,并分组进行图像检索实验。实验结果表明:机械设计图的标引对其形状特征的描述有较大的影响,基于轮廓的形状特征描述法在检索中有最高的查准率。     

基于多特征非线性融合的草图-图像检索方法

草图-图像检索属于计算机视觉领域的跨域检索问题,由于草图的简单性和抽象性,导致其与自然图像的域间差异过大,至今其检索精度仍无法满足现实需求。本文提出了一种基于多特征非线性融合的草图-图像检索方法,非线性融合草图的形状特征和具有语义特性的深度特征,形成新的图像特征表示。该融合策略结合了两类特征的优点,既能有效刻画草图的边缘轮廓信息,又能兼顾语义信息。最后在两个公开数据集（Flickr15k和TU-Berlin）上进行实验,其结果显示本文提出的特征融合方法得到的检索效果优于其他融合方法和基于单一特征的方法。另外,本文提出的融合策略易于扩展到其他多特征融合情况。     

基于特征融合的文物碎片模型检索

基于特征的模型检索是计算机视觉领域的一个重要研究方向,主要包括特征提取和模型检索两个方面,其中特征的鲁棒性对模型检索结果起决定性作用.由于已有检索算法存在局部特征有效性较低的问题,该文提出一种基于特征融合的兵马俑碎片模型检索算法.针对兵马俑碎片的三维点云数据模型,首先计算点的主曲率和法向夹角,并对其加权融合;然后基于该...     

基于流形排序的三维模型检索方法

针对现有的基于视图的三维模型检索方法大多将二维投影视图特征直接用于表示三维模型,忽略不同视点下的二维投影视图特征的贡献度的问题,提出一种基于流形排序的三维模型检索方法,关注不同二维投影视图特征的贡献度。通过旋转三维模型获得34张不同视点的二维投影视图,采用基于尺度不变特征变换(scale invariant feature transform, SIFT)特征的词袋模型提取34张二维投影视图的词频向量特征,利用流形排序将同一个三维模型的34个词频向量特征聚合成一个三维模型特征。试验表明,基于流形排序的三维模型检索方法能够有效地提高检索结果的准确率。     

基于二维、三维信息融合的人脸识别

为解决光照、姿态等因素发生变化时二维人脸识别算法识别率骤然下降的问题,提出了基于二维、三维信息融合的人脸识别方法.与其他算法不同,该算法输入为一幅二维灰度图像,通过重建相应的三维模型提供三维信息.对于二维图像,选择局部二值模式(LBP)特征进行人脸表示.对于三维模型,定义了54个特征点,将鼻尖点与特征点之间的测地线距离作为三维特征.对2种特征识别结果采用加权融合的方式,权值的确定依据Fisher判别准则.通过CAS-PEAL-R1人脸库对提出的算法进行了测试,并与其他方法进行了比较.     

融合多尺度和多头注意力的医疗图像分割方法

为了从医疗图像中自动且准确地提取兴趣区域,提出基于神经网络的分割模型MS2Net.针对传统卷积操作缺乏获取长距离依赖关系能力的问题,为了更好提取上下文信息,提出融合卷积和Transformer的架构.基于Transformer的上下文抽取模块通过多头自注意力得到像素间相似度关系,基于相似度关系融合各像素特征使网络拥有全局视野,使用相对位置编码使Transformer保留输入特征图的结构信息.为了使网络适应兴趣区域形态的差异,在MS2Net中应用解码端多尺度特征并提出多尺度注意力机制.对多尺度特征图依次应用分组通道和分组空间注意力,使网络自适应地选取合理的多尺度语义信息. MS2Net在数据集ISBI 2017和CVC-ColonDB上均取得较U-Net、CE-Net、DeepLab v3+、UTNet等先进方法更优的交并比指标,有着较好的泛化能力.     

基于意象认知模型的图像检索技术

鉴于在产品造型设计过程中设计师对于图像检索技术的需求,提出了塑料产品的意象认知模型,并构建了基于该模型的意象看板系统（E-image board system）.该系统运用语意差异法分别建立了塑料椅子的形态和材质意象认知模型,利用距离分布直方图（DDH）结合Hu不变矩的形状提取与表示算法,提取和表示产品图像中的形态特征,采用纹理谱表示方法提取和表示产品图像中的纹理特征,并运用相似性度量和图像意象的相关度标注技术进行系统数据库的扩充和标注.该技术克服了传统检索方式不能体现用户意象的问题,满足了设计师利用意象词汇检索符合用户意象认知模型的产品图像的需求.     

z轴旋转不变的三维形状描述子

针对现有三维模型内容特征提取过程中很难实现精准的预处理这一问题,提出了一种具有z轴旋转不变性质的三维形状描述子.此描述子基于模型体素化、球采样和傅里叶变换.在将模型体素化后,对体素模型进行多个同心球面采样,最后对采样数据应用三维傅里叶变换并提取其低频系数后形成模型的形状特征.在标准通用三维模型测试库Princeton Shape Benchmark上的实验结果表明:对于通用三维模型库,在无需模型位姿标准化的情况下,z轴旋转不变的三维形状描述子即可取得较好的检索效果,其表现优于形状分布、球面调和分析和直接傅里叶变换3种特征提取方法.     

基于多特征融合的交通标志分类

为有效提高交通标志分类的准确度,提出一种融合全局特征和局部特征的多特征交通标志分类方法。首先提取能够描述标志图像内部纹理信息的局部二值模式(local binary pattern, LBP)特征,再提取能够表示标志图像形状信息的方向梯度直方图(histogram of oriented gradient, HOG)特征和描述图像粗略轮廓信息的全局Gist特征,然后采用线性组合方式,实现特征融合互补,并通过主成分分析(principal components analysis, PCA)法进行数据降维,最后采用支持向量机(support vector machine, SVM)分类器进行交通标志训练与识别。试验结果表明:相对于单一特征的交通标志分类方法,基于多特征融合的算法获得了更高的分类精确度,同时也满足实时性要求。     

基于形状和纹理的外观设计专利图像检索方法

提出一种多特征融合的外观设计专利图像检索方法。形状特征融合了几何结构特征与边界方向直方图特征来描述,通过整体结构和轮廓特征的融合全面表达了物体的形状;纹理特征融合了Gabor小波提取的特征和提出的分块统计特征;最后采用加权法融合形状特征和纹理特征,实现外观设计专利图像检索。     

基于点云特征提取的电力刀闸三维状态识别方法

电力刀闸是电力系统基本组成部件,系统运维时刀闸状态往往需要人工多次确认。在此背景下,提出一种新的刀闸状态识别方法。首先,将输入的三维刀闸图像转换为彩色点云数据,并从彩色点云数据中提取场景特征;然后,利用现有的方向直方图颜色特征描述算法,基于局部纹理和形状信息构建识别特征的描述符,并根据给定提取的特征描述符,执行两阶段匹配过程以找到场景和目标的彩色点云模型之间的对应关系;其次,使用霍夫投票算法过滤对应集中的匹配误差,并估计刀闸的初始三维姿态;最后,姿态估计阶段采用随机样本一致性和假设验证算法来改进初始姿态,且过滤带有错误假设的不良估计结果。实验结果表明,该方法不仅能成功识别复杂电力场景中的刀闸部件,而且能准确估计目标的三维姿态信息。     

基于融合约束局部模型的三维人脸特征点定位

提出基于特征融合约束局部模型的三维人脸特征点定位算法. 该算法对每个特征点分别使用三维网格的深度信息和网格局部形状信息训练分类器,对分类器的响应进行融合. 使用基于融合响应的正则化特征点均值漂移算法进行模型拟合,实现特征点定位. 三维人脸特征点定位经常需要对每个特征点的候选点集进行遍历产生候选点组合,该算法使用模型拟合代替穷举搜索,避免了嵌套循环带来的快速增长的时间开销. 使用FRGC v2.0和Bosphorus数据库,对算法进行实验评估. FRGC v2.0库上的特征点平均误差为2.48~4.12 mm,总体检测成功率为97.3%,其中中性、温和及极端表情下的检测成功率分别为97.6%、97.4%和95.5%. Bosphorus库上3种姿态下的检测成功率分别是94%、95%和89%. 实验结果表明,提出方法具有较好的效果,对表情和小幅度的姿态变化具有较好的鲁棒性.     

甲状腺结节超声图像特征提取及识别

采用多特征融合方法鉴别甲状腺结节超声图像的良恶性。首先用多尺度LBPV模型提取结节的局部纹理特征,然后与Tamura模型提取的全局纹理特征相结合,从全局和局部两方面对甲状腺结节的纹理特征进行了细致的描述。又提取了纵横比、圆形度、紧致度等形状特征,将上述特征进行融合并利用主成分分析法PCA对融合后的特征进行降维。实验结果表明,模型提取的特征用于分类识别时,较上述任一单一模型所提取特征用于分类时能获得更高的识别率。     

基于双通道混合3D-2D RBM模型的手势识别

为了挖掘基于视频的动态手势识别问题中手势的固有时空表示,提出一种3D-2D受限玻尔兹曼机(restricted Boltzmann machine,RBM)模型,以便建模手势视频数据的时空相关信息.特别地,为了更好地描述动态手势的时空特征,提出传统手工定义特征与3D-2D RBM结合的混合特征表示方法,该方法首先提取Canny-2D HOG表观特征以及光流-2D HOG运动特征,然后基于3D-2D RBM进一步学习动态手势潜在的高层时空语义特征,提升动态手势的特征描述力.融合手势外观判别和运动判别的双通道融合判别改进了单通道分类的能力.在公开的剑桥手势数据集上的实验验证了所提方法的有效性和优越性.