基于显著性语义区域加权的图像检索算法

针对计算视觉领域图像实例检索的问题，提出了一种基于深度卷积特征显著性引导的语义区域加权聚合方法。首先提取深度卷积网络全卷积层后的张量作为深度特征，并利用逆文档频率（IDF）方法加权深度特征得到特征显著图；然后将其作为约束，引导深度特征通道重要性排序以提取不同特殊语义区域深度特征，排除背景和噪声信息的干扰；最后使用全局平均池化进行特征聚合，并利用主成分分析（PCA）降维白化得到图像的全局特征表示，以进行距离度量检索。实验结果表明，所提算法提取的图像特征向量语义信息更丰富、辨识力更强，在四个标准的数据库上与当前主流算法相比准确率更高，鲁棒性更好。     

基于多尺度特征融合的行人重识别方法

针对行人重识别任务在特征提取时缺乏对行人特征尺度变化的考虑,导致其易受环境影响而具有低行人重识别准确率的问题,提出了一种基于多尺度特征融合的行人重识别方法。首先,在网络浅层通过混合池化操作来提取多尺度的行人特征,从而帮助网络提升特征提取能力;然后,在残差块内添加条形池化操作以分别提取水平和竖直方向的远程上下文信息,从而避免无关区域的干扰;最后,在残差网络之后利用不同尺度的空洞卷积进一步保留多尺度的特征,从而帮助模型灵活有效地解析场景结构。实验结果表明,在Market-1501数据集上,所提方法的Rank1达到95.9%,平均精度均值（mAP）为88.5%;在DukeMTMC-reID数据集上,该方法的Rank1达到90.1%,mAP为80.3%。可见所提方法能够较好地保留行人特征信息,从而提高行人重识别任务准确率。     

面向三维模型视图特征提取的残差卷积网络优化

在已有残差卷积神经网络基础上,采用加权损失函数提高视图特征的可分性,提出面向三维模型视图特征提取的残差卷积网络优化算法.首先对三维模型进行多视图渲染得到二维视图;然后通过残差网络扩展模块加深网络深度;最后采用中心损失函数和交叉熵损失函数定义加权损失函数,解决交叉熵损失函数因为类内距离小于类间距离而导致的特征不可分问题.在ModelNet数据集上的实验结果表明,该算法提取到的特征在三维模型分类问题上性能表现优异.     

改进的Faster RCNN煤矿井下行人检测算法

针对煤矿井下环境恶劣、光照差、背景混杂、行人模糊、行人多尺度等问题，提出了一种改进的Faster RCNN煤矿井下行人检测方法，使用深度卷积神经网络代替传统的手工设计特征方式自动地从图片中提取特征。利用深度学习通用目标检测框架Faster RCNN，以Faster RCNN算法为基础，对候选区域网络（Region Proposals Network，RPN）结构进行了改进，提出了一种“金字塔RPN”结构，来解决井下行人存在的多尺度问题；同时算法中加入了特征融合技术，将不同卷积层输出的特征图进行融合，增强煤矿井下模糊、遮挡和小目标行人的检测性能。实验结果表明：改进的Faster RCNN可以有效解决井下行人检测问题，在井下行人数据集上获得了90%的检测准确率，并在公测数据集VOC 07上对改进算法进行了验证。     

融合知识图谱和图注意力网络的引文推荐算法

针对传统协同过滤（CF）中的数据稀疏和冷启动问题，以及元路径、随机游走算法没有充分利用节点信息的问题，提出融合知识图谱和图注意力网络的引文推荐算法（C-KGAT）。首先，使用TransR算法将知识图谱信息映射为低维稠密向量，以获取节点的嵌入特征表示；其次，利用图注意力网络通过多通道融合机制聚合邻居节点信息以丰富目标节点的语义，并捕获节点间高阶连通性；接着，在不影响网络的深度或宽度的情况下，引入动态卷积层动态地聚合邻居节点信息以提升模型的表达能力；最后，通过预测层计算用户和引文的交互概率。在公开数据集AAN(ACL Anthology Network)和计算机科学文献库（DBLP）上的实验结果表明，所提算法的效果优于所有对比模型，所提算法的MRR(Mean Reciprocal Rank)相较于次优模型NNSelect分别提升了6.0和3.4个百分点，所提算法的精确率和召回率指标也有不同程度的提升，验证了算法的有效性。     

基于孪生网络和重排序的行人重识别

针对非重叠多摄像头下的行人重识别（Re-ID）易受到光照、姿势及遮挡等影响和实验过程中存在图像错误匹配的情况，提出一种基于孪生网络和重排序的行人重识别方法。首先，给定一对行人训练图像，孪生网络可以同时学习一个具有辨别力的卷积神经网络（CNN）特征和相似性度量，并预测两个输入图像的行人身份以及判断它们是否属于同一个行人；然后，通过k互近邻方法来降低图像错误匹配的情况；最后，将欧氏距离和杰卡德距离加权来对排序表进行重排序。在数据集Market1501和CUHK03上进行多次实验，实验结果显示在Market1501上Single Query情况下在图库中第一次就成功匹配的概率（Rank1）达到83.44%，平均精度均值（mAP）为68.75%，在CUHK03上single-shot情况下Rank1达到85.56%，mAP为88.32%，明显高于传统的基于特征表示和度量学习的方法。     

特征金字塔融合的多模态行人检测算法

针对单模态行人检测在光照条件较差、目标部分遮挡、目标多尺度时检测效果较差的问题，提出了一种基于可见和红外双模态特征金字塔融合的行人检测算法。使用深度卷积神经网络代替传统的手工设计特征方式分别自动从可见模态及红外热模态的图片中提取单模态特征，根据ResNet（Residual Net）的阶段性特征图谱搭建特征金字塔网络，生成每个模态的特征金字塔，并将两个模态的特征金字塔进行逐层融合。选择深度学习通用目标检测算法--Faster R-CNN作为后续的目标定位与分类算法来解决多模态行人检测问题。在特征金字塔融合阶段，针对级联融合和较大值融合容易忽略弱特征，无法有效融合互补特征的问题，提出了一种锐化特征的特征金字塔融合方法，根据阈值强化突出强特征，互补叠加弱特征，有效利用每个模态的特征，进一步提高模型的检测效果。实验结果表明，特征金字塔聚合的多模态行人检测算法可以有效解决多模态行人检测问题，在KAIST数据集上的检测效果超过了目前该数据集上的最佳模型。     

基于块稀疏表示的行人重识别方法

针对非重叠视角下的行人重识别和高维特征提取等问题,提出基于块稀疏表示的行人重识别方法。采取典型相关分析（CCA）方法进行特征投影变换,通过提高特征匹配能力来避免高维特征运算引起的维数灾难问题,并在CCA转换后的投影空间使投影后查询集行人特征向量与相应的数据集特征向量近似成线性关系;利用行人数据集的块结构特征构建行人重识别模型,采用交替方向框架求解优化问题;最后对查询集中要识别的行人采用残差项处理,并将最小残差项所对应的指标作为最终识别的行人记号。在公开数据集PRID 2011、iLIDS-VID和VIPeR上进行多次实验,结果显示所提方法的Rank1性能在三个数据集上分别达到40.4%、38.11%和23.68%,明显高于大间隔最近邻分类（LMNN）等算法,其在Rank-1上的匹配率也远大于LMNN算法;其总体性能也优于经典的基于特征表示与度量学习的算法。实验结果验证了所提方法在行人重识别上的有效性。     

基于深度卷积神经网络特征层融合的小尺度行人检测

针对目前行人检测算法计算量过大和对小尺度行人检测精度不高的问题,提出了一种基于深度卷积神经网络特征层融合的小尺度行人检测方法,设计了一种包含9个卷积层的深度神经网络架构.在进行行人检测时,首先,对输入图像进行分块预处理操作,避免损失原始图像的视觉信息;然后,将网络不同层的卷积特征进行融合,提升行人特征的区分能力和表达能力,进而提升行人检测的精度,在保证检测精度的同时有效降低网络的复杂度.在INRIA、Caltech等公共行人数据集上的实验结果表明,所提出的行人检测方法能够有效检测小尺度的行人,且网络架构的参数量更少,检测速度更快,能得到更高精度的行人检测结果.     

基于深度学习的井下巷道行人视觉定位算法

自主驾驶矿井机车需要实时检测和定位行驶前方的巷道行人，激光雷达等非视觉类方法成本高昂，而传统基于特征提取视觉类方法无法解决井下光照差且光线不均匀的问题。提出一种基于深度学习的井下巷道行人视觉定位算法。首先给出基于深度学习网络的系统整体结构；其次，搭建目标检测多层卷积神经网络（CNN），生成自主驾驶机车前方视野范围内行人的二维坐标及边界框的尺寸；再次，通过多项式拟合计算出图像中行人到机车之间的第三维距离；最后通过真实样本集实施模型训练、验证与测试。实验结果表明，所提算法的检测准确率达94%，速度达每秒25帧，测距误差小于4%，实现了实时高效的巷道行人视觉定位。     

选择性卷积特征融合的花卉图像分类

目的 针对花卉图像标注样本缺乏、标注成本高、传统基于深度学习的细粒度图像分类方法无法较好地定位花卉目标区域等问题,提出一种基于选择性深度卷积特征融合的无监督花卉图像分类方法。方法 构建基于选择性深度卷积特征融合的花卉图像分类网络。首先运用保持长宽比的尺寸归一化方法对花卉图像进行预处理,使得图像的尺寸相同,且目标不变形、不丢失图像细节信息;之后运用由ImageNet预训练好的深度卷积神经网络VGG-16模型对预处理的花卉图像进行特征学习,根据特征图的响应值分布选取有效的深度卷积特征,并将多层深度卷积特征进行融合;最后运用softmax分类层进行分类。结果 在Oxford 102 Flowers数据集上做了对比实验,将本文方法与传统的基于深度学习模型的花卉图像分类方法进行对比,本文方法的分类准确率达85.55%,较深度学习模型Xception高27.67%。结论 提出了基于选择性卷积特征融合的花卉图像分类方法,该方法采用无监督的方式定位花卉图像中的显著区域,去除了背景和噪声部分对花卉目标的干扰,提高了花卉图像分类的准确率,适用于处理缺乏带标注的样本时的花卉图像分类问题。     

基于区块自适应特征融合的图像实时语义分割

近年来结合深度学习的图像语义分割方法日益发展,并在机器人、自动驾驶等领域中得到应用.本文提出一种基于区块自适应特征融合(Block adaptive feature fusion,BAFF)的实时语义分割算法,该算法在轻量卷积网络架构上,对前后文特征进行分区块自适应加权融合,有效提高了实时语义分割精度.首先,分析卷积网...     

基于SSD的小目标检测改进算法

目标检测算法因数据存在分辨率较低、噪声等干扰,不能有效利用特征图中目标的边缘纹理和语义信息,导致小目标检测效果较差。为此,本文提出一种基于SSD的小目标检测改进算法。首先,采用普通卷积和深度可分离卷积进行同步特征学习并融合,获得信息丰富的浅层特征。然后,在固有的5个尺度的特征层后添加通道和空间自适应权重分配网络,使得模型更关注通道和空间的重要特征信息。最后,将候选目标框进行非极大抑制筛选得到检测结果。通过将改进的方法与Faster RCNN、SSD等方法在VOC2007数据集上测试结果进行比较,该方法降低了小目标的误检率,提升了整体目标的精度,所提模型mAP达到了78.94%,比SSD网络提高了3.13%。     

基于卷积特征深度融合的海上目标跟踪算法

针对海上复杂环境下深度学习方法跟踪速度慢和尺度变化问题,以及现有跟踪算法仅使用单层深度特征或手动融合多层特征的问题,提出一种基于卷积神经网络特征深度融合的多尺度相关滤波海上目标跟踪算法。以VGG-NET-16深度模型为基础,加入多层特征融合结构,实现深度卷积融合网络,用于特征提取,通过相关滤波算法构建定位滤波器,确定目标的中心位置,通过多尺度采样构建尺度滤波器,实现对目标的判断。实验结果表明,该算法可对海上移动目标实现多尺度的有效跟踪。     

基于深层特征融合的行人重识别方法

针对现有基于深度学习的行人重识别方法对于行人姿态变化、部分遮挡等引起的行人判别特征信息缺失的问题,提出了一种深层特征融合的行人重识别方法。首先,利用卷积层和池化层多次提取网络深层特征,从空间维度提升网络性能,使用融合后的深层特征作为行人图像的全局特征属性;其次,为提高模型的泛化能力,在深层融合特征后加入一个批量归一化层,同时采用标签平滑损失函数和三元组损失函数对模型进行联合训练。实验结果表明,所提的深层特征融合方法具有很好的表达能力。在Market1501、DukeMTMC-reID、CUHK03和MSMT17 4个数据集上对所提方法进行了验证,其中在Market1501数据集上,Rank-1值达到了95.0%,mAP达到了85.6%。     

多尺度分解和八度卷积相结合的红外与可见光图像融合

目的 在基于深度学习的红外与可见光图像融合方法中,多尺度分解是一种提取不同尺度特征的重要方式。针对传统多尺度分解方法里尺度设置粗糙的问题,提出了一种基于八度(octave)卷积的改进图像融合算法。方法 融合方法由4部分组成：编码器、特征增强、融合策略和解码器。首先,使用改进后的编码器获取源图像的多尺度上的低频、次低频和高频特征。这些特征会被从顶层到底层进行强化。其次,将这些特征按照对应的融合策略进行融合。最后,融合后的深度特征由本文设计的解码器重构为信息丰富的融合图像。结果 实验在TNO和RoadScene数据集上与9种图像融合算法进行比较。主观评价方面,所提算法可以充分保留源图像中的有效信息,融合结果也符合人的视觉感知;客观指标方面,在TNO数据集上所提算法在信息熵、标准差、视觉信息保真度、互信息和基于小波变换提取局部特征的特征互信息5个指标上均有最优表现,相较于9种对比方法中最优值分别提升了0.54%,4.14%,5.01%,0.55%,0.68%。在RoadScene数据集上所提算法在信息熵、标准差、视觉信息保真度和互信息4个指标上取得了最优值,相较9种对比方法的最优值分别提升了...     

基于静态特征融合的恶意软件分类方法

针对现有恶意软件分类方法融合的静态特征维度高、特征提取耗时、Boosting算法对大量高维特征样本串行训练时间长的问题,提出一种基于静态特征融合的分类方法。提取原文件和其反编译的Lst文件的灰度图像素特征、原文件的结构特征和Lst文件的内容特征,对特征融合和分类。在训练集采样时启用GOSS算法减少对训练样本的采样,使用LightGBM作为分类器,该分类器通过EFB对互斥特征降维。实验证明在三类特征融合下分类准确率达到了97.04%,通过启用GOSS采样减少了29%的训练时间,在分类效果上,融合的特征优于融合Opcode n-gram的特征,LightGBM优于传统深度学习和机器学习算法。     

特征互补的图像美学质量评分方法*

深度卷积神经网络(DCNN)难以针对性地分析图像的特定区域及其相互关系.文中将深度特征与人工设计的特征进行互补结合,提出对图像美学质量评分的方法.首先确定并抽取对美感起主导作用的特定区域,针对该区域及其与其它区域的关系,选择和设计5组美学相关的人工特征,特别是提出线条角度特征和清晰度对比特征.基于Siamese网络结构获取深度特征.选用支持向量回归(SVR)对上述两类特征进行回归预测,并设计基于spearman秩相关系数的权值调节最终的分数.实验表明,文中方法效果较优,与图像美学质量的主观评价具有较好的一致性.     

语义导向多尺度多视图深度估计算法

目前利用深度学习进行多视图深度估计的方法可以根据卷积类型可以大致分为两类.其中,基于2D卷积网络的模型预测计算速度快,但预测精度较低;基于3D卷积网络的模型预测精度高,却存在高硬件消耗.同时,多视图中相机外部参数的变化使得模型无法在物体边缘、遮挡或纹理较弱区域生成高精度预测结果.针对上述问题,提出了基于3D卷积的语义导...