一种基于全卷积网络的目标检索方法

基于预训练卷积神经网络的图像表示已成为一种新的图像检索方法,但这种图像表示方法是对图像整体特征的表示,无法适用于目标仅占被检索图像部分区域的检索,故主要研究将深度全卷积网络应用于实例目标较小、仅占被检索图像部分区域的检索.首先,利用全卷积网络对输入图像大小不受限制的优势,给定被检索图像,经过全卷积网络得到该图像的特征矩阵;其次,给定查询目标图像,利用全卷积神经网络得到目标图像的特征表示;最后,将目标特征与被检索图像的特征矩阵的每一个特征进行相似性比对,得到相似值和匹配最优位置.实验表明,本算法的检索性能优于现有算法.     

一种改进卷积神经网络的教学图像检索方法

针对卷积神经网络在提取图像特征时所造成的特征信息损失以及降低高维度图像特征数据等问题,提出了一种改进卷积神经网络的图像检索优化方法。该方法首先利用融合的卷积层提取图像特征,并在融合的卷积层之间添加全连接层以减少特征信息的丢失;然后采用主成分分析法对高维的特征数据进行有效的降维处理;最后采用余弦相似度的方法进行相似度匹配,以实现相似图像的检索。采用当前经典的LeNet-L、LeNet-5等方法同文中方法在图像检索性能评价指标上进行对比实验。实验结果表明,所提出的检索方法比文中其他检索方法在查全率和平均查准率方面提高了3%27.3%。     

基于三元组卷积神经网络的图像检索

针对图像检索中图像间相似度和训练集带标签样本不足问题,提出一种改进的三元组卷积神经网络的图像检索算法。采用基于三元组卷积神经网络,在相似数据集上进行网络训练,为图像检索项目提取更好的特征。实验结果表明,该算法在相似数据集上进行重训练,有助于提高基于内容的图像检索任务的性能。     

基于卷积神经网络的水墨画合成方法

针对传统基于图像的水墨画绘制方法生成的图像只具备水墨画的一些基本特征,不能给其指定某一种风格,使得生成的图像显得呆板、缺乏意境层次的表达的情况,提出一种基于卷积神经网络的水墨画合成方法。该算法调整一个训练完成的卷积神经网络模型的结构,定义图像在卷积神经网络模型中的卷积层映射的特征响应的表示,以及特征响应之间的相互关系表示。先对照片作对比度增强预处理,然后在一张随机的图像上,匹配照片的特征响应来获取内容信息,匹配水墨画的特征响应相互关系来获取风格信息。实验表明,基于卷积神经网络的水墨画合成方法可以生成效果较好的水墨画图像,既保留了原照片轮廓信息,又带有原水墨画整体纹理信息,对水墨画灰度图像的风格合成效果出色。     

一种低功耗的电网巡检故障图像识别方法

针对计算机平台在图像处理过程中面临的高能耗问题，研究了电网巡检故障图像识别的低功耗神经网络加速方法.采用直接映射方式将卷积层与全连接层的计算分别映射至独立的计算核心，提出了针对图像处理过程不同阶段的优化方案，实现了不同运算层次与硬件资源之间的匹配，并通过遗传算法得到了神经网络的并行优化参数.结果表明，优化后的LetNet-5与AlexNet卷积神经网络运行能效分别为优化前的1.94倍和1.8倍，单张图片的平均处理速度约为原来的4～5倍和2～3倍.     

基于卷积神经网络的彩色铅笔画算法

为了解决传统彩色铅笔画算法生成结果单一的问题,提出了一种基于卷积神经网络（CNN）生成彩色铅笔画的算法.采用分数阶微分获取原始图像轮廓信息,用卷积神经网络获取艺术家手绘铅笔画风格,利用直方图匹配获取与手绘铅笔画相似的色调,并使用L-BFGS优化算法来合成具有铅笔画效果的图像.该算法能够生成具有不同风格的彩色铅笔画图像.实验结果表明,该算法生成的图像保留了更多原始图像的细节信息,风格更加灵活多样.     

基于深度卷积特征的图像实例检索方法

针对计算机视觉领域的图像实例检索问题,提出了一种从卷积神经网络提取图像全局特征表示和目标对象区域特征表示的图像实例检索方法。该方法首先利用区域生成网络学习目标实例的区域位置坐标,并结合相关卷积网络提取的图像区域特征构建由过滤阶段和空间重排阶段组成的实例检索系统。在此基础上提出过滤阶段和空间重排两阶段查询扩展方法进一步提高系统检索性能。最后,提出了两种微调网络模型策略,更新网络前两个卷积层后所有层的权重以适应图像实例检索和位置坐标。通过在两个公用实例检索数据集(Oxford Buildings 5k和Paris Buildings 6k)上进行详尽实验验证,结果表明,提出的基于深度卷积特征的图像实例检索方法有效地提高了图像实例检索的准确率和可靠性,降低了实例检索误检率,得到的实例位置更加准确。     

一种基于卷积神经网络的谱匹配地震动选取方法

选取与目标设计谱匹配的地震动记录是建筑结构抗震分析与设计中的重要问题之一。鉴于卷积神经网络在图像识别与分类领域具有突出的性能，本文提出了一种基于卷积神经网络的谱匹配地震动选取方法以考虑反应谱图像的二维特征。首先阐述了通过卷积神经网络进行谱匹配地震动选取的基本原理和训练数据的生成方法，然后讨论了Keras深度学习框架中11个神经网络结构在谱匹配地震动选取中的特性，最后采用Xception和InceptionResNetV2两种性能最优的网络结构从200次地震的11462条地震动水平分量中选取与我国规范设计谱相匹配的数据。研究表明，卷积神经网络能够有效地提取反应谱图像的特征，所选地震动平均反应谱与目标设计谱之间的差异较小。本文的研究工作可为工程实践中选取与目标设计谱匹配的地震动提供方法参考和技术支撑。     

一种多尺度嵌套卷积神经网络模型

卷积神经网络模型要求训练图像与测试图像在空间尺度上一致.为弱化这一限制,对卷积层特征提取器进行多尺度改进,提出了一种尺度不变卷积神经网络模型,以自动适应输入图像在平面空间上的尺度变化.同时,将多层Maxout网络嵌入新模型中,以进一步提高特征提取能力,提高图像识别与分类的准确性.实验测试结果表明,该模型提高了传统卷积神经网络模型的尺度不变性和分类精度.     

基于深度特征聚类的海量人脸图像检索

针对海量人脸图像数据库检索时长的问题,提出了一种基于深度特征聚类的海量人脸图像检索算法.该算法首先使用人脸图像训练集对深度卷积神经网络模型进行人脸图像分类训练,在此基础上采用三元组损失方法对已训练好的人脸图像分类网络模型进行微调,使得网络能够更加有效地提取人脸图像的高层语义特征,构建更具有表征性的人脸图像深度特征.其次采用K-means聚类算法对提取的人脸图像深度特征进行聚类,使得同一个人的人脸图像能够划分到同一簇中,然后在相应的簇中进行人脸图像的深度特征相似度匹配执行人脸图像检索任务.为了进一步提高系统的检索性能,提出人脸图像深度特征融合的查询扩展方法,对待检索的人脸图像深度特征进行融合再次执行检索任务得到最终的检索结果.通过在两个人脸检索数据集(Celebrities Face Set和Labeled Faces in the Wild dataset)上进行详尽实验验证,结果表明,该算法能极大地缩小海量人脸图像数据库的检索范围,在保证一定准确率的前提下有效地提高了人脸图像检索的速度.     

基于三流卷积神经网络模型的图像分类方法

为了提高卷积神经网络在提取图像特征的充分性与有效性,提出了一种基于三流卷积神经网络模型的图像分类方法.第一个和第二个网络流的特征提取部分采用交叉"间隔"的方式训练提取图像的不同特征,第三个网络流的特征提取部分采用初始参数,以此来构建三流卷积神经网络模型,提取到更充分有效的图像特征.同时针对每个网络流训练一个分类器,然后运用分类器融合算法对每个网络流的分类器赋予不同权重,得到3个网络流的融合输出,实现最终的分类.在CIFAR-100、Stanford Dogs和UEC FOOD-100和数据集上的实验结果验证了该方法的有效性和鲁棒性.     

基于特征融合的卷积神经网络乳腺癌图像分类

传统乳腺癌图像分类方法需要从医学图像中人工提取特征,不仅需要具备专业医学知识,而且存在耗时费力、提取高质量特征困难等问题.因此,提出了一种基于特征融合的卷积神经网络乳腺癌图像分类方法.首先预训练了两个不同结构的卷积神经网络,然后利用卷积神经网络自动提取特征的特性,将两个结构提取到的特征进行融合,最后利用分类器对融合的特征进行分类;同时,为避免卷积神经网络模型受小样本量限制出现过拟合现象,通过乳腺病变区域提取、区域细化和数据增强等方法对图像进行适当预处理,并通过过采样方法解决了正负样本不平衡的问题.实验结果显示,该方法在乳腺癌图像数据集BCDR-F03上分类AUC达到89%,对乳腺癌图像的分类精度较传统方法有明显提高.     

基于卷积神经网络的视觉闭环检测研究

闭环检测是视觉SLAM中很重要的一部分,成功地检测出闭环能减小定位算法所产生的累积里程漂移.鉴于深度卷积神经网络在分类问题上的优越表现,本文首次将应用于图像分类的vgg16-places365卷积神经网络模型应用于视觉SLAM闭环检测中,将配准数据输入训练好的该卷积神经网络,其各个隐藏层的输出对应于图像特征表示.然后通过实验比较选用匹配精度较高的中间层完成场景特征提取,通过计算场景特征的相似性得到闭环区域.最后在闭环检测数据集上进行实验测试.测试结果表明,相比于传统的闭环检测方法,vgg16-places365卷积神经网络模型在相同召回率条件下准确率要高约3%;对于特征提取时间,在CPU上要快约5~10倍,而在GPU上更是比传统人工设计特征的闭环检测快近100倍.     

基于小波散射网络下的图像检索

小波散射卷积神经网络由于其优越的性能而被迅速、广泛地运用到图像、音频等领域.本文利用这种新型的网络结构提取图像的特征，结合相似度度量方法，实现该特征提取在图像检索方面的应用.此外，将小波散射网络得到的特征系数，以其均值和方差作为新的特征，实现大规模图像检索的降维.最后，利用实验算法对比验证了上述降维方法的可行性和优越性.     

采用多层卷积稀疏表示的红外与可见光图像融合

为提升光学图像在低照度条件下的可用性,对红外图像与可见光图像进行融合从而结合两者的优势是一种有效的技术手段。稀疏表示理论在红外与可见光图像融合领域已经得到了广泛的应用,然而基于稀疏表示理论的图像融合方法所采用的局部建模方式易于导致语义信息损失和对误匹配的低容忍度两大缺陷。卷积稀疏表示的全局建模能力对克服上述不足具有巨大的优势,本研究借鉴卷积神经网络的结构设计了一种前馈式基于多层卷积稀疏表示的红外与可见光图像融合网络,该网络包含5层:第1、2层为卷积稀疏层,通过预训练的字典滤波器获取源图像的卷积稀疏响应;第3层为融合层,通过活性图评价以获取融合结果;第4、5层为重建层,基于融合结果结合字典滤波器重建融合图像。实验结果表明,所提出的图像融合方法有效抑制了稀疏表示理论应用于图像融合的两大不足,在客观评价指标方面明显优于基于稀疏表示、基于单层卷积稀疏表示和基于卷积神经网络的图像融合算法,在算法的计算复杂度和运行时间方面优于基于稀疏表示和基于卷积神经网络的图像融合算法。     

基于尺度配准的航拍图像与卫星影像匹配方法

随着无人机航拍技术的普及,航拍图像在目标检测和跟踪的应用得到普遍研究,而航拍图像与卫星影像的匹配研究相对较少。由于成像机理和成像视角的不同,无人机航拍图像与卫星影像存在较大的尺度差异,现有的图像匹配方法难以实现航拍图像与卫星影像的有效匹配。为了解决这一问题,提出了一种实现具有大尺度差异的航拍图像与卫星影像匹配的方法。该方法通过卫星影像的经纬坐标信息和无人机航拍图像成像时刻的相机位姿信息,对无人机航拍图像进行方向和尺度的配准;然后利用航拍图像成像时刻的位置信息,对卫星影像进行粗匹配,得到包含航拍图像匹配区域在内的卫星影像子图；再利用神经网络提取配准后的航拍图像与卫星影像子图的卷积神经网络（convolutional neural networks,CNN）特征,并基于CNN特征实现航拍图像与卫星影像的精匹配。仿真实验结果表明,本文所提方法能够有效的实现大尺度差异的航拍图像与卫星影像匹配。通过将本文匹配方法与现有图像匹配算法匹配精度的对比分析,证明了本文匹配算法的有效性和优越性。     

基于TensorFlow的车牌字符识别方法

全连接神经网络将车牌字符图像以一维矩阵的形式进行矩阵运算,忽略了图像自身的特性,且一旦图像像素过多,神经网络的参数规模会急剧增加,常规的神经网络很难训练.基于TensorFlow深度学习框架搭建一种卷积神经网络训练模型,在自制的大小为40×32像素点车牌字符灰度图像数据集基础上,使用搭建的神经网络模型训练得到较好的训练效果,利用多次卷积和池化层提取特征,与全连接神经网络相比极大减少节点数量,提高识别的精准度.通过不同识别算法的准确率对比可见,卷积神经网络对中文、英文和数字的识别更加准确,模型的鲁棒性和泛化能力有很大提高.     

应用卷积神经网络的遥感图像云层自主检测

为实现遥感卫星对遥感图像的自主云层判别能力,提升目标自主识别的效率,避免云层覆盖面积较大的遥感图像丢失关键的目标信息而给后续算法处理带来不必要的计算资源浪费,提出一种基于卷积神经网络的云层自主检测方法,实现遥感图像云层的自主检测,达到了较高的检测精度.首先,根据遥感图像的特性建立卷积神经网络.然后,使用大量人工标识的遥感图像完成云层检测网络训练,使其达到预期检测精度.最后,在卫星在轨运行阶段,将所拍摄的遥感图像根据尺寸划分为若干个子图,并通过训练完成的卷积神经网络对子图是否被云层覆盖进行分类预测.综合所有子图的预测结果给出整幅遥感图像的云层覆盖占比.结果表明:以Landsat卫星遥感图像为测试对象,该方法可以实现有云层覆盖检测正确率为95.3%,无云层覆盖检测精度为97.8%,误判率为2.58%,漏判率为0.90%,综合精度为97.9%;由于使用了卷积神经网络和并行计算技术,该方法基本满足实时性需求,提高了算法的自主性与鲁棒性,为基于遥感图像的在轨实时应用奠定了基础.     

CNN图像标题生成

图像标题生成任务需要生成一个有意义的句子来准确地描述该图像的内容,而现有研究通常采用卷积神经网络编码图像信息、循环神经网络来编码文本信息,由于循环神经网络的“串行特性”,导致模型的性能低。为解决该问题,基于卷积神经网络来构建一种模型,采用不同结构的卷积神经网络来同时处理两个模态的数据,得益于卷积运算的“并行特性”,该模型的运行效率有明显提升。在两个公开数据集上进行了实验,实验结果在指定的评价指标上也有一定的提升,表明了该模型对于处理图像标题生成任务的有效性。     

多尺度卷积神经网络的单幅图像去雨方法

雨天气会影响户外拍摄图像质量,模糊和覆盖图像信息.为提高受雨天气影响的户外拍摄图像的清晰度,恢复图像特征信息,提高很多计算机视觉算法在雨天气条件下的准确性,提出一种基于多尺度卷积神经网络的单幅图像去雨方法.首先建立多尺度卷积神经网络网络结构,通过多尺度卷积提取图像信息,用于去除雨线和重建图像,然后结合雨线在图像中的低饱和度、高亮度的特征,对网络进行训练,获取网络最优参数值,最终得到可以有效去除雨线的卷积神经网络.实验结果表明:提出的方法相较于现有算法有更好的雨线去除效果,并且可以更好地保持图像的原有信息,避免图像模糊现象.同时,利用多尺度卷积提取图像特征信息可以使特征信息更加丰富,有利于提升卷积神经网络的去雨能力.