基于Gist和PHOG特征的场景分类

局部Gist方法提取的特征维数过高、计算复杂,单一的Gist特征不能很好地描述全局场景。为此,提出一种将改进的局部Gist特征与梯度方向直方图特征进行组合的场景描述方法。采用支持向量机作为分类器,在WS场景库中考察单一特征和组合特征的分类精度,在OT场景库下研究不同数量训练样本对于分类精度的影响。实验结果表明,与全局Gist、局部Gist等方法相比,该方法能降低计算的复杂度,且提高分类正确率。     

基于全局Gist特征和局部碎片特征的物体检测研究

提出了一种新的基于全局gist特征和局部碎片特征的物体检测方法。当物体较小或者场景比较复杂时,物体局部碎片特征存在一定的二义性,检测器经常在一些语义错误的位置输出不合理的检测结果。提取场景的全局特征并学习出物体位置和尺度的概率分布,有助于提高物体检测的准确率。我们首先提取场景的全局gist特征并预测出物体的可能出现位置和尺度,然后利用物体的局部碎片特征检测物体,并降低异常位置的检测得分。在Label Me数据集上的实验表明,结合全局Gist特征和局部碎片特征进行物体检测,可以有效地减少语义错误的检测输出,提高物体检测的准确率。     

采用逆近邻与影响空间的图像特征误匹配剔除方法

针对结构相似、纹理重复的场景中特征匹配结果存在特征误匹配率较高的问题,采用密度聚类分析,提出一种基于逆近邻与影响空间的误匹配剔除方法.首先依据初始特征匹配候选集,利用特征匹配的全局信息构建特征匹配集,充分体现特征匹配对间的局部相似性、几何与运动一致性;然后采用基于逆近邻与影响空间的密度聚类分析,利用可扩展半径方法构造特...     

结合注意力机制的循环神经网络复述识别模型

传统基于深度学习的复述识别模型通常以关注文本表示为核心,忽略了对多粒度交互特征的挖掘与匹配.为此,建模文本交互空间,分别利用双向长短时记忆网络对两个候选复述句按条件编码,基于迭代隐状态的输出,通过逐词软对齐的方式从词、短语、句子等多个粒度层次推理并获取句子对的语义表示,最后综合不同视角的语义表达利用softmax实现二元分类.为解决复述标注训练语料不足,在超过580000句子对的数据集上利用语言建模任务对模型参数无监督预训练,再使用预训练好的参数在标准数据集上有监督微调.与先前最佳的神经网络模型相比,所提出模型在标准数据集MSRP上准确率提高2.96%,$F_1$值改善2%.所提出模型综合文本全局和局部匹配信息,多粒度、多视角地描述文本交互匹配模式,能够降低对人工特征工程的需求,具有良好的实用性.     

基于视觉敏感区域信息增强的室内场景分类算法*

在室内场景分类问题中,由于场景本身结构的复杂性和多样性,存在各种干扰因素,影响分类的准确性.针对上述问题,文中提出基于视觉敏感区域信息增强的室内场景分类算法,通过融合基于视觉敏感区域信息增强的局部特征与全局特征,构成多尺度空间-频率融合特征,实现对室内场景的正确分类.在3个标准测试集上的实验表明,文中算法对多个不同场景分类数据集均有较好的分类结果,适用性较强.     

基于深度学习的深度图超分辨率采样

在深度图像采集场景下,为利用场景高分辨色彩图进行超分辨率上采样,提出一种采用卷积神经网络自适应学习局部滤波器核的算法,通过同时应用稠密/高分辨率颜色信息和稀疏/低分辨率深度信息全面提取场景信息。在Middlebury和ToFMark数据集上的实验结果表明,与传统深度超分辨率算法相比,提出的算法能够取得较好的超分辨率结果,尤其在颜色和深度的边缘、纹理不匹配区域,具有更好的鲁棒性。     

一种用于智能车环境探测的立体视觉传感器

设计了应用于户外智能车环境感知的立体视觉系统,并提出了两种立体匹配算法,分别实现不同的功能.基于多特征提取的稀疏匹配算法首先通过图像局部增强处理减弱光照和场景变化的影响,然后在对极线引导和连续性约束下提取立体图像的角点特征和边缘特征进行匹配,能够实时探测环境的三维概貌,并突出环境中的障碍物信息,实现辅助车辆自主导航的功能;基于特征引导的稠密匹配算法采用了最小割/最大流算法,并利用多特征匹配的结果来剔除稠密匹配中的成块误匹配,能够重建出未知环境详细的三维信息,实现三维可视化功能.最后通过试验验证了两种算法的有效性.     

结合多粒度信息的文本匹配融合模型

常规的文本匹配模型大致分为基于表示的文本匹配模型和基于交互的文本匹配模型.由于基于表示的文本匹配模型容易失去语义焦点,而基于交互的文本匹配模型会忽视全局信息,文中提出了结合多粒度信息的文本匹配融合模型.该模型通过交互注意力和表示注意力将两种文本匹配模型进行了融合,然后利用卷积神经网络提取了文本中存在的多个不同级别的粒度信息,使得模型既能抓住局部的重要信息又能获取全局的语义信息.在3组不同的文本匹配任务上的实验结果表明,所提出的模型在NDCG@5评价指标上分别优于其他最优模型5.3％,0.4％,1.5％.通过提取文本中的多个粒度信息并结合交互注意力和表示注意力,提出的模型能够有效地关注不同级别的文本信息,解决了传统模型在文本匹配过程中易失去语义焦点和忽视全局信息的问题.     

基于点对特征的三维点云匹配算法

针对现有的基于全局特征的三维物体识别方法和基于局部特征的三维物体识别方法在有遮挡和混叠场景中识别效果均不理想的问题,提出了一种基于点对特征的三维点云匹配算法。利用模型上的所有点对特征来完成全局模型描述构建,并在减少的二维空间上,利用快速投票方案,在局部对模型点云和场景点云进行匹配,从而恢复模型在场景中的全局姿态。实验结果表明:该算法在有遮挡和混叠的场景中识别效果比较理想。     

稠密特征编码的遥感场景分类算法

针对遥感影像快速有效的场景分类,提出了一种低维度稠密特征编码的场景分类算法.首先提取遥感图像不同尺度下的稠密特征,利用Hellinger kernel对原始特征进行映射变换形成新的特征空间,采用主成分分析对新的特征降维并进行Fisher编码量化,进而实现遥感图像的低维度稠密特征表达,最后在线性支持向量机中完成遥感影像的场景分类.所提出的算法分别在UC Merced、WHU和NWPU-RESISC45公开数据集进行了验证.实验结果表明,作为一种改进的中层语义特征表达算法,相比于传统中低层语义特征,分类准确度得到大幅度提高,相比于深度学习算法,所提算法能够有效兼顾计算复杂度和分类准确率,实现不同指标间良好的平衡,满足遥感场景分类的实用性要求.     

基于RGB-D融合特征的图像分类

当前经典的图像分类算法大多是基于RGB图像或灰度图像,并没有很好地利用物体或场景的深度信息,针对这个问题,提出了一种基于RGB-D融合特征的图像分类方法。首先,分别提取RGB图像dense SIFT局部特征与深度图Gist全局特征,然后将得到的两种图像特征进行特征融合;其次,使用改进K-means算法对融合特征建立视觉词典,克服了传统K-means算法过度依赖初始点选择的问题,并在图像表示阶段引入LLC稀疏编码对融合特征与其对应的视觉词典进行稀疏编码;最后,利用线性SVM进行图像分类。实验结果表明,所提出的算法能有效地提高图像分类的精度。     

高分辨率遥感影像复杂场景的汇总统计方法

针对高分辨率遥感影像场景的分类,受人类视觉系统从场景中提取汇总统计信息用于场景感知的启发,提出场景汇总统计特征提取方法。该方法提取场景的平均方向信息和视觉杂乱度,利用Gabor滤波器统计场景的平均方向信息,并基于视觉拥堵进行场景的杂乱度度量,然后将两者组合在一起,形成基于汇总统计特征的复杂场景描述。在21类遥感数据集上的实验表明,当训练样本和测试样本各为50幅时,该方法的分类精度比Gist方法高6.5%,比词包模型(BOW)方法高3.22%,且计算简单,同时与Gist相比,不需要人工干预。     

数据驱动的层次场景序列识别模型研究（英文）

Scene classification is a complicated task, because it includes much content and it is difficult to capture its distribution.A novel hierarchical serial scene classification framework is presented in this paper. At first, we use hierarchical feature to present both the global scene and local patches containing specific objects. Hierarchy is presented by space pyramid match, and our own codebook is built by two different types of words. Secondly, we train the visual words by generative and discriminative methods respectively based on space pyramid match, which could obtain the local patch labels efficiently. Then, we use a neural network to simulate the human decision process, which leads to the final scene category from local labels. Experiments show that the hierarchical serial scene image representation and classification model obtains superior results with respect to accuracy.     

数据驱动的层次场景序列识别模型研究

针对层次场景图像序列,本文提出了一种数据驱动的基于快速序列视觉表述任务（rapid serial visual presentation task,RSVP）的场景识别模型. 首先基于金字塔模型提取三层尺度图像块,然后构建包括全局和局部特征的词汇字典,接着分别利用生成模型和判决模型训练视觉词汇,最后通过神经网络从图像块标记中获得场景类别. 实验表明算法能够获得更为精确的分类结果.     

自然场景图像与合成图像的快速分类

目的 随着现代通信和传感技术的快速发展,互联网上多媒体数据日益增长,既为人们生活提供了便利,又给信息有效利用提出了挑战。为充分挖掘网络图像中蕴含的丰富信息,同时考虑到网络中图像类型的多样性,以及不同类型的图像需要不同的处理方法,本文针对当今互联网中两种主要的图像类型：自然场景图像与合成图像,设计层次化的快速分类算法。方法 该算法包括两层,第1层利用两类图像在颜色,饱和度以及边缘对比度上表现出来的差异性提取全局特征,并结合支持向量机（SVM）进行初步分类,第1层分类结果中低置信度的图像会被送到第2层中。在第2层中,系统基于词袋模型（bag-of-words）对图像不同类型的局部区域的纹理信息进行编码得到局部特征并结合第2个SVM分类器完成最终分类。针对层次化分类框架,文中还提出两种策略对两个分类器进行融合,分别为分类器结果融合与全局+局部特征融合。为测试算法的实用性,同时收集并发布了一个包含超过30 000幅图像的数据库。结果 本文设计的全局与局部特征对两类图像具有较强的判别性。在单核Intel Xeon（R）（2.50 GHz）CPU上,分类精度可达到98.26%,分类速度超过40帧/s。另外通过与基于卷积神经网络的方法进行对比实验可发现,本文提出的算法在性能上与浅层网络相当,但消耗更少的计算资源。结论 本文基于自然场景图像与合成图像在颜色、饱和度、边缘对比度以及局部纹理上的差异,设计并提取快速有效的全局与局部特征,并结合层次化的分类框架,完成对两类图像的快速分类任务,该算法兼顾分类精度与分类速度,可应用于对实时性要求较高的图像检索与数据信息挖掘等实际项目中。     

基于感知哈希算法和特征融合的恶意代码检测方法

在当前的恶意代码家族检测中,通过恶意代码灰度图像提取的局部特征或全局特征无法全面描述恶意代码,针对这个问题并为提高检测效率,提出了一种基于感知哈希算法和特征融合的恶意代码检测方法。首先,通过感知哈希算法对恶意代码灰度图样本进行检测,快速划分出具体恶意代码家族和不确定恶意代码家族的样本,实验测试表明约有67%的恶意代码能够通过感知哈希算法检测出来。然后,对于不确定恶意代码家族样本再进一步提取局部特征局部二值模式（LBP）与全局特征Gist,并利用二者融合后的特征通过机器学习算法对恶意代码样本进行分类检测。最后,对于25类恶意代码家族检测的实验结果表明,相较于仅用单一特征,使用LBP与Gist的融合特征时的检测准确率更高,并且所提方法与仅采用机器学习的检测算法相比分类检测效率更高,检测速度提高了93.5%。     

一种基于深度学习的多尺度深度网络的场景标注算法

针对场景标注中如何产生良好的内部视觉信息表达和有效利用上下文语义信息两个至关重要的问题,提出一种基于深度学习的多尺度深度网络监督模型。与传统多尺度方法不同,模型主要由两个深度卷积网络组成:首先网络考虑全局信息,提取大尺度图像低层特征;其次网络利用图像局部信息,结合低层特征获取一组稠密的、完备的图像特征,有效地捕获图像像素的纹理特征、颜色特征和上下文信息。对比许多经典方法,该算法不依赖图像分割技术和人工制作特征,在Stanford Background Dataset取得了很好的效果。