基于卷积神经网络的直线描述方法研究

为提高直线特征匹配的可靠性,提出一种基于卷积神经网络（CNN）学习的直线特征描述方法。构建用于网络学习的大规模直线数据集,该数据集包含约20.8万对匹配直线对,每条直线用其周围的局部图像块表征。将图像块输入CNN,利用HardNet网络结构提取特征,使用三元组损失函数进行训练,输出强鲁棒性的直线特征描述子。实验结果表明,与手工设计的描述子MSLD和IOCD相比,该描述子在视角、模糊、尺度和旋转变化下均具有较好的区分性,在图像拼接应用中同样表现出良好的描述性能。     

Harris相关与特征匹配

基于图像梯度提出一种图像特征,称为Harris相关.应用Harris相关特征,构造图像特征描述子,包括特征点描述子、直线描述子和曲线描述子.这些描述子的构造较简单,对图像旋转与图像亮度的线性变化具有不变性.直线与曲线描述子的构造方法为直线和曲线的匹配提供一种思路.实验表明,应用Harris相关构造的特征点描述子对图像变化表现出较好性能,直线与曲线描述子在实际图像中取得较好的匹配结果.     

基于多重约束条件的线特征多级匹配方法

为解决直线断裂、遮挡以及图像对视差较大等造成的直线匹配困难,提出了一种基于多重约束条件的线特征多级匹配方法。该方法在已匹配的可靠种子点完成点-线匹配的基础上,基于单应性矩阵利用几何特征信息约束和核线约束完成同名直线搜索实现线-线匹配,最后提出一种自适应的直线相似性约束实现线-面匹配获得正确的同名直线。通过与现有直线匹配算法的对比实验表明,该方法提高了匹配精度,可以实现含有遮挡、直线断裂和视差较大的图像中的直线匹配。     

均值-标准差描述子与直线匹配

提出一种通过直线描述子来进行自动直线匹配的思想.直线描述子的建立分为以下3个主要步骤:首先为直线定义平行邻域并将该邻域分解为一系列平行线,其次通过选择图像特征建立直线描述矩阵,最后通过计算描述矩阵列向量的均值和标准差获得直线描述子.基于不同的图像特征(灰度、梯度和梯度幅值),提出3个具有平移、旋转和线性光照不变性的直线描述子.实验结果表明本文提出的直线描述子具有较好的匹配性能.     

面向像对直线特征匹配的线特征矫正与提纯方法

目的 像对直线特征匹配是计算机视觉的重要研究内容,现有这类匹配方法均存在不同程度的误匹配问题。导致此问题的主要因素包括直线检测结果没有位于图像的真正边缘处、缺乏匹配线对的一致性校验。为此本文提出一种面向像对直线特征匹配的线特征矫正与提纯方法。方法 首先提取像对的边缘特征获得二值化边缘图,通过边缘梯度图及梯度矢量图（GVF）建立梯度引力图。其次,采用直线检测方法提取像对的直线特征,并通过梯度引力图矫正直线位置。最后,采用点特征匹配结果计算像对极线,并结合直线匹配结果确定最后的局部校验特征区域,通过随机抽样一致小邻域范围内特征相似性校验直线匹配结果,从而剔除误匹配直线。结果 对一组宽基线像对进行匹配实验,与直接采用直线匹配算法获得的匹配结果相比,矫正后的匹配结果剔除了大部分误匹配线对,将匹配准确率从50%提高到84%,继续提纯该匹配结果获得了100%的匹配准确率。在另一组宽基线像对的匹配实验中,经本文方法处理后的匹配准确率提高近30%。与前两组实验相比,第3组实验的像对摄影姿态变化不大,仅在尺度上有所区别,经本文方法处理后配准率从92%提高到100%。结论 采用本文方法可以大幅提高像对直线特征匹配的准确率,同时该方法可以很容易对其他直线匹配结果进行校正与提纯,具备较高的实用性。     

直线对几何特征约束的近景影像特征匹配

针对直线匹配过程中线特征提取不完整以及缺乏考虑邻近直线相关性,提出一种直线对几何特征约束的近景影像特征匹配方法:首先,利用直线检测算法(line segment detector,LSD)对参考影像和搜索影像进行直线提取,并对提取的直线进行特征编组获得特征直线对;然后,将特征直线对作为匹配基元,依次运用双重核线约束、仿射变换约束、最优相似性原则确定同名直线对;最后,根据同名直线对中2条直线端点与其邻域内同名点的距离关系拆分同名直线对,利用仿射变换约束整合拆分过程中对应不一致的单直线,得到最终匹配的同名单直线。为了验证该算法的有效性与可靠性,选取4组人工建筑物特征变换近景影像进行实验,验证了该算法在直线匹配过程中具有一定的稳健性和普适性。     

基于特征场景的快速图像匹配方法

提出基于特征场景的快速图像匹配方法,一定程度上解决了基于主流的局部特征匹配算法无法描述全局特征的问题。通过采集场景图像,使用主成分分析(PCA)重构特征场景,进而用于匹配范围划分;在划分后的匹配范围中使用SURF算法进行快速局部特征匹配。实验结果表明,此方法结合大尺度全局特征和尺度不变局部特征,使近似目标的区分能力得到了加强。在鲁棒性和时效性上,此方法达到了较好的平衡,拓展了主流局部特征匹配方法的应用范围。最后提出了对本方法的改进方向,表明了此方法的可拓展性。     

基于几何约束投票的图像特征匹配

为了改进单纯依靠相似度的图像特征匹配效果,提出了一种特征匹配方法,采用投票的方法在特征匹配的过程中引入几何约束。首先根据特征的描述向量进行初步的快速匹配,得到候选特征对以后通过投票的手段在特征之间相似度矩阵中引入一种鲁棒的几何约束,并通过自适应阈值过滤的方法获得图像特征匹配。在实验中验证了该方法对图像特征匹配正确与否具有较强的区分能力,在与已有技术接近的计算时间内得到了更高的匹配准确度。基于几何约束投票的图像特征匹配比单纯依靠相似度具有更好的匹配效果。     

基于联合特征匹配的多视角三维重建方法

本研究提出了一种基于角点与直线联合特征的三阶段匹配算法,依次经过相关匹配、松弛迭代匹配和最小平方中值法匹配三个步骤,并与此同时加入限定图像匹配区域、添加手工匹配点对以及局部直线匹配三个人机交互环节,将局部坐标系中得到的数据点进行三维数据融合到一个坐标系中,能较好解决视差不连续区域和遮挡区域的误匹配问题.实验证明该算法具有良好的运行效率和稳定性,能够对非平面物体进行精确三维重建并实现多视角显示.     

一个针对遥感图像特定目标的自动识别系统

介绍了一个应用于自动识别遥感图像中的特定目标的原型系统,包括系统结构与识别流程, 以及系统中所采用的基于直线特征的建模方法和图像与模型匹配算法。目标模型包括分类模型和 表述模型两种,前者描述目标的类别属性,用来快速判断目标的存在性与大概位置;后者是对目标 几何结构与物理特性的定量描述,用于鉴别同类目标中的特定个体。匹配算法中层次性地使用了几 何的和物理的多种特征,并考虑了直线提取时可能出现的错误结果,具有较好的稳定性和较高的匹 配效率。     

基于多特征因子融合的中文短文本实体消歧

现有中文短文本实体消歧模型在消歧过程中大多只考虑指称上下文与候选实体描述的语义匹配特征,对同一查询文本中候选实体间的共现特征以及候选实体与实体指称类别相似特征等有效的消歧特征考虑不足。针对这些问题,本文首先利用预训练语言模型获得指称上下文与候选实体描述的语义匹配特征;然后,针对实体嵌入和指称类别嵌入提出共现特征与类别特征;最后,通过融合上述特征实现基于多特征因子融合实体消歧模型。实验结果表明本文提出的共现特征及类别特征在实现实体消歧中的可行性和有效性,以及本文提出的基于多特征因子融合的实体消歧方法能够取得更好的消歧效果。     

基于改进的图像局部区域相似度学习架构的图像特征匹配技术研究

该文在AdaBoost算法的基础上提出了一种图像局部区域相似度的学习架构,利用该架构训练图像局部特征来获得低维数、独特的特征描述子,以实现对图像局部区域高精度地匹配.所提学习架构通过学习图像局部区域相似性得到一组非线性弱学习器对图像局部特征进行描述;同时,在响应函数组合形式和弱学习器权重优化配置方面,针对浮点描述子和二值描述子分别提出了新的补丁相似性度量函数作为目标函数的核函数,提高了图像特征相似性匹配效果.该学习架构不会受限于任何预定义的图像特征信息采集模式,能产生基于灰度信息或方向梯度信息的特征描述子.实验结果表明采用这种学习架构获得的特征描述子,在所有对比描述子中图像局部匹配查准率是最好的.所提学习框架能有效地配置优化描述子弱学习器,能提高图像特征描述子对图像尺度和视角变化的鲁棒性.     

一种基于特征编组的直线立体匹配全局算法

由于直线断裂、遮挡以及共面空间直线投影等因素的影响,从左右图像中提取出来的直线之间会出现"一配多"甚至"多配多"的匹配情况,然而目前很少有算法能可靠地处理这些情况.提出了一种基于特征编组的匹配算法来解决它.与已有方法不同,该方法是在由两幅图像共同组成的直线集上进行编组.每个特征编组包含了内部直线之间的匹配关系.这样,直线匹配的问题就转化为从直线集中提取一些相互兼容的特征编组的问题.整个算法分为两步:首先在几何和辐射约束的前提下构建所有可能的特征编组,并计算每个特征编组的匹配度,然后从所有可能的特征编组中寻找一个特征编组子集,在保证直线集中的每条直线最多属于该子集中一个特征编组的前提下,使得该子集中特征编组的匹配度之和最大.为了解决这个整数规划问题,设计了一种分两阶段的算法:首先将整个问题分为多个子问题,然后对于每个子问题,利用分支定限法寻找最优解.将所提出的算法应用于实际的立体图像对中,取得了满意的结果.     

手形特征点定位方法

针对特征点定位的准确性影响识别精度,提出手形特征点的定位方法。首先采用基于直线拟合的方法确定手指的指尖点,然后基于方向跟踪的方法定位手指指根点,最后细定位指根点。基于特征矢量匹配算法的识别结果表明,人工测量识别率为84.62%,自动定位的识别率为84.35%。该方法能准确提取手形特征,具有可行性。     

面向图文匹配任务的多层次图像特征融合算法

现有主流的利用预训练卷积神经网络提取图像特征的方法存在仅使用单层预训练特征表征图像和预训练任务与实际研究任务不一致的问题,使得现有图文匹配方法无法充分利用图像特征,极易受到噪声特征干扰。针对上述问题,使用了预训练网络中的多层特征,并提出了多层次图像特征融合算法。在图文匹配的学习目标指导下,利用多层感知机（multi-layer perceptron）有监督地融合和降维多层次的预训练图像特征,生成融合图像特征,从而充分利用预训练特征,减少噪声干扰。实验结果表明,提出的融合算法可实现对预训练的图像特征更有效的利用,相比于使用单层次特征的方法能获得更好的图文匹配效果。     

一种基于方向SUSAN特征的目标特征列表匹配

目标匹配识别中,特征列表相关算法可以有效减少计算时间,匹配具有较高的峰值系数和峰值信噪比,清晰识别目标。提出一种基于方向最小核值相似区（SUSAN）特征列表的目标匹配方法,考虑特征点的方向信息,应用SUSAN原理提取特征并列表描述图像,匹配相似测量基于特征点归一化误差均值,有效降低了算法的噪声敏感性。     

基于直线段特征的分级立体匹配方法

提出了一种基于直线段特征的分级立体图像匹配算法。根据直线段构造了长方形区域作为立体匹配的基元,计算区域的灰度均值及区域的转动惯量等属性值,构造相似性度量函数得到初级匹配结果;根据直线段间的几何关系建立二级匹配算法,求解基础矩阵。在基础矩阵的指导下,完成三级立体匹配,实验结果表明了该算法的有效性和可行性。     

基于卷积特征的非平衡人群密度估计方法

人群密度估计在智能监控领域具有重要的应用价值。大量理论和经验研究表明,基于数据驱动的深度神经网络往往优于传统的基于手工特征的方法。但是人群样本的数据规模很小,深层次的网络很难得到较优解。鉴于此,提出了3种解决方法:训练较浅的神经网络,使用预训练深度模型的全连接层特征和使用预训练深度模型的卷积-FV(Fisher Vector)特征。针对样本的不平衡性问题,提出了使用多个分类评估标准的解决方案。在标准数据集PETs2009上的实验结果表明,相比于现有的手工特征,卷积特征具有更好的效果。其次,相比于训练一个全新的卷积模型,基于迁移学习的深度卷积特征是更好的选择。另外,通过层数较少的深度模型获得的较低层特征的迁移性更好。     

影像匹配定位中的直线倾角直方图不变矩法

针对现有的基于图像直方图不变矩的匹配方法大多不能适应图像存在较大旋转变换的问题,提出直线倾角直方图不变矩的概念,并将其应用到影像的匹配与定位中.该方法采用直线段拟合表示图像边缘,利用直线倾角在基准图与待匹配图上的一致性进行影像匹配.实验结果证明,倾角直方图不变矩可以作为影像特征的描述形式,利用其进行影像匹配与定位是可行的.     

基于可变特征基元的视差估计新方法

视差估计是立体视频和多视点视频信号处理中的一个关键问题。选择可变长线段作为特征基元,提出一种基于特征匹配的视差估计新方法。算法结合唯一性和顺序性约束条件来增强视察估计的可靠性与准确性。在详细介绍了算法的基本原理后进行了实验仿真,实验结果表明新算法能获得较为准确、可靠、亚像素精度的密集视差场,其性能优于固定块匹配（Fixed Size Block Matching,FSBM）、可变块匹配（Variable Size Block Matching,VSBM）等传统的视差估计算法。