基于深度卷积神经网络的图像自编码算法

针对目前图像编码的研究工作更加重视信息无损性,而没有体现出社交网络图像区分度的问题,本研究提出一种新颖的基于深度卷积神经网络的社交网络图像自编码算法,将深度卷积神经网络提取特征的能力与社交网络中图像的特点相结合,得到性能良好的图像自编码。结合社交网络图片的特性与聚类算法,先将图片进行聚类得到距离信息,再利用深度卷积神经网络学习图片的距离信息,提取深度卷积神经网络中的全连接层作为编码,重复以上步骤,并得到最终的图像编码。试验结果表明,本研究提出的算法在图像搜索中的效果好于其他算法,更利于在社交网络图像搜索中使用。     

基于深度卷积神经网络的高光谱遥感图像分类

传统的高瀑布图像分类模型只考虑光谱特征信息,忽略了图像空间结构信息在分类中的重要作用。为提高高光谱遥感图像的分类精度,提出一种同时利用高瀑布图像的光谱信息和空间信息的深度卷积神经网络分类模型。通过对低层特征自动分层地学习来提取更加抽象的高层特征,提取的特征具有平移、缩放及其他形式扭曲等高度不变性;基于学习到的深度特征,用logistic回归分类器进行分类训练。高光谱数据实验结果表明,深度卷积神经网络模型能够提高高光谱遥感图像的分类精度,从而验证了深度卷积神经网络进行高瀑布图像分类的可行性和有效性。     

基于Gabor及深度神经网络的葡萄种子分类

种子成熟度需要受过长期训练的专家通过肉眼进行观察和判断。为了改变传统人工经验判断的方式,该文提出了一种基于Gabor小波特征提取及深度神经网络的葡萄种子图像分类识别算法,以便实现高效、准确的分类识别效果。首先,利用背景差分法在背景图像中分割出兴趣目标,从而完成图像的预处理。然后,通过改进的Gabor小波特征提取,使得Gabor滤波后的图像具有更多的细节纹理信息。最后,将深度卷积神经网络和提取到的纹理特征信息相结合进行分类。实验结果表明,基于机器学习的葡萄种子成熟度识别是切实可行的。且相比于其他类似分类算法,本文算法的图像分类精度有了一定的改善。     

一种基于多模态特征融合的骨质疏松评估方法

针对现有骨质疏松评估中诊断依据单一、准确率低的问题,综合考虑骨骼图像数据和问卷数据,首先提出一种基于深度神经网络的多模态特征融合骨质疏松评估方法;然后,针对骨骼图像特征较浅、结构固定的特点,使用Unet进行图像分割预处理,去除冗余信息以提升分类准确性;最后,针对普通卷积操作在把握全局信息方面的不足,提出采用基于non-local模块的卷积神经网络来进一步丰富特征信息.交叉验证结果表明,提出的多模态特征融合方法与仅单独使用图像数据或问卷数据的机器学习方法相比具有明显的优势,分类准确率分别提升了3.2%和22.3%.     

高效通道注意力和特征融合的协同显著性检测算法

针对现有的协同显著性检测算法在多显著目标复杂场景下表现不佳的问题,提出了一种基于高效通道注意力和特征融合的协同显著性检测算法。首先,检测算法利用预训练的深度卷积神经网络对场景进行多尺度特征的提取,结合边缘显著信息设计了显著性语义特征提取模块,以避免全卷积神经网络导致边缘信息的缺失;其次,通过内积基本原理得到组内图片间的关联性信息并根据其关联程度进行自适应加权,结合高效通道注意力层设计了协同特征提取算法;最后,为了将各级高层语义特征经过协同显著性特征提取之后的结果与浅层次的特征进行融合,并实现对预测结果进行多分支同步监督,设计了基于高效通道注意力的特征融合模块。通过对3个经典的数据集进行测试,并与6种现有的协同显著检测算法进行对比,结果表明本文所提算法提高了复杂场景中图像的协同显著性检测的精度以及边缘信息的丰富程度,并具有更优的协同显著性信息检测性能;通过消融实验进一步验证了所提设计算法各个模块的有效性和必要性。     

基于RCNN的图像修复技术

目前,失真图像在图像获取、转存和传输过程中发生图像信息丢失问题日益严重,然而目前很多基于深度学习的图像修复方法都需要大量的数据集支持才能实现图像修复的高复原度这一指标,严重耗费时间和资源。提出一种新型循环卷积融合神经网络模型来实现图像恢复,将原本的卷积层重构后获得的特征图导入循环模型进行信息获取,并通过U-net网络结构实现重建以得到结果。在失真数据集TID2008和TID2013上的实验结果证明,数据集较少的情况下,修复效果相对于传统方法更佳。     

基于深度学习的法院信息文本分类

为解决在法院数据信息化过程中,海量的法院文书存在缺乏自动管理分类的问题,提出一种基于字符级卷积神经网络的文本分类模型。模型通过卷积神经网络进行特征提取,能够精确有效地解决文本分类问题。实验结果证明,该模型可以实现在测试集上准确率99.67%的分类,且训练用时只有常用循环神经网络算法的50%。     

基于空间注意力和卷积神经网络的视觉情感分析

为了解决现有基于深度学习方法的视觉情感分析忽略了图像各局部区域情感呈现的强度差异问题,提出一种结合空间注意力的卷积神经网络spatial attention with CNN, SA-CNN用于提升视觉情感分析效果。设计一个情感区域探测神经网络用于发现图像中诱发情感的局部区域;通过空间注意力机制对情感映射中各个位置赋予注意力权重,恰当抽取各区域的情感特征表示,从而有助于利用局部区域情感信息进行分类;整合局部区域特征和整体图像特征形成情感判别性视觉特征,并用于训练视觉情感的神经网络分类器。该方法在3个真实数据集TwitterⅠ、TwitterⅡ和Flickr上的情感分类准确率分别达到82.56%、80.23%、79.17%,证明利用好图像局部区域情感表达的差异性,能提升视觉情感分类效果。     

基于深层卷积神经网络的图像美感度分类

针对图像美感度分类中出现的准确率低、美感特征描述差等问题,提出了一种基于深层卷积神经网络的图像美感度分类算法.首先将图片输入55层卷积神经网络自动学习并获得更加细致和深层次的美感特征,然后通过softmax分类器进行图像美感度分类,从而得到最优的分类结果.将该算法与多种传统算法和浅层深度卷积神经网络的算法进行对比实验,结果表明该算法在A1和A0数据库的准确率分别达到80.13%和87.32%,且在CUHKPQ数据库的6种场景下,获得了更好的分类准确率.     

基于卷积神经网络的视觉闭环检测研究

闭环检测是视觉SLAM中很重要的一部分,成功地检测出闭环能减小定位算法所产生的累积里程漂移.鉴于深度卷积神经网络在分类问题上的优越表现,本文首次将应用于图像分类的vgg16-places365卷积神经网络模型应用于视觉SLAM闭环检测中,将配准数据输入训练好的该卷积神经网络,其各个隐藏层的输出对应于图像特征表示.然后通过实验比较选用匹配精度较高的中间层完成场景特征提取,通过计算场景特征的相似性得到闭环区域.最后在闭环检测数据集上进行实验测试.测试结果表明,相比于传统的闭环检测方法,vgg16-places365卷积神经网络模型在相同召回率条件下准确率要高约3%;对于特征提取时间,在CPU上要快约5~10倍,而在GPU上更是比传统人工设计特征的闭环检测快近100倍.     

Contour reconstruction method for noisy image based on depth residual learning

In order to improve the recognition ability of noisy images, a method of contour reconstruction based on depth residuals learning is proposed. The sharpening template matching technique is used to enhance the noisy image information, the local gray level information on the image is used to construct the edge active contour model of the image, and the active contour lasso method is used to reconstruct the image with a high resolution. The feature quantities of local gray energy and local gradient energy of the noisy image are extracted, and a convolutional neural network classifier is constructed to classify the features. The learning depth of the learning convolutional neural network is judged by combining the similarity of the gray histogram of the image. The resolution ability of image detail information is improved, and the contour high resolution reconstruction of the noisy image is realized. Simulation results show that the proposed method has a high resolution and a high peak signal to noise ratio (PSNR), which improves the recognition ability of the image effectively.     

结合注意力与无监督深度学习的单目深度估计

针对当前的无监督单目深度估计方法边界模糊的问题, 提出了一种基于双重注意力模块的网络架构。这种架构能有效利用图像特征的远程上下文信息解决深度估计中的边界模糊问题。整个框架使用基于视图合成的无监督方法训练, 模型框架包括深度估计网络与位姿估计网络, 同步估计深度和相机位姿变换。双重注意力模块嵌入在深度估计网络中, 包含位置注意力模块和通道注意力模块, 能表示远程空间位置和不同特征图间的上下文信息, 从而使网络估计出细节更好的深度信息。在KITTI数据集以及Make3D数据集上的实验结果表明, 本文的方法能有效提高单目深度估计的精度和解决深度估计边界模糊问题。     

基于深度学习的变压器图像识别系统

针对变压器型号多、图像复杂,以及传统基于机器学习的人工设计特征的方法不能对大规模变压器图像准确分类等问题提出了基于深度学习的变压器图像识别系统直接对原始图像进行"端对端"的学习。为实现变压器图像的准确分类,提出了改进VGG-16卷积神经网络的变压器图像识别模型。在VGG-16模型的基础上,重新构建了全连接层,针对原有的SoftMax分类器,采用3标签的SoftMax分类器进行替换,以实现网络结构优化,并通过迁移学习共享V GG-16模型卷积层和降采样层的权值参数。通过构建变压器图像的训练集和测试集对改进模型进行了训练,并进行性能测试。结果表明,与深度神经网络、卷积神经网络模型相比,改进VGG-16模型具有更好的效果,识别误差达到了9.17%,并实现了对3种变压器的准确区分。     

多尺度卷积神经网络的单幅图像去雨方法

雨天气会影响户外拍摄图像质量,模糊和覆盖图像信息.为提高受雨天气影响的户外拍摄图像的清晰度,恢复图像特征信息,提高很多计算机视觉算法在雨天气条件下的准确性,提出一种基于多尺度卷积神经网络的单幅图像去雨方法.首先建立多尺度卷积神经网络网络结构,通过多尺度卷积提取图像信息,用于去除雨线和重建图像,然后结合雨线在图像中的低饱和度、高亮度的特征,对网络进行训练,获取网络最优参数值,最终得到可以有效去除雨线的卷积神经网络.实验结果表明:提出的方法相较于现有算法有更好的雨线去除效果,并且可以更好地保持图像的原有信息,避免图像模糊现象.同时,利用多尺度卷积提取图像特征信息可以使特征信息更加丰富,有利于提升卷积神经网络的去雨能力.     

Monocular depth estimation based on deep learning: An overview

Depth information is important for autonomous systems to perceive environments and estimate their own state. Traditional depth estimation methods, like structure from motion and stereo vision matching, are built on feature correspondences of multiple viewpoints. Meanwhile, the predicted depth maps are sparse. Inferring depth information from a single image(monocular depth estimation) is an ill-posed problem. With the rapid development of deep neural networks, monocular depth estimation based on deep learning has been widely studied recently and achieved promising performance in accuracy. Meanwhile, dense depth maps are estimated from single images by deep neural networks in an end-to-end manner. In order to improve the accuracy of depth estimation, different kinds of network frameworks, loss functions and training strategies are proposed subsequently. Therefore, we survey the current monocular depth estimation methods based on deep learning in this review. Initially, we conclude several widely used datasets and evaluation indicators in deep learning-based depth estimation. Furthermore, we review some representative existing methods according to different training manners: supervised, unsupervised and semi-supervised. Finally, we discuss the challenges and provide some ideas for future researches in monocular depth estimation.     

基于串并行卷积门阀循环神经网络的短文本特征提取与分类

针对短文本数据特征少、提供信息有限,以及传统卷积神经网络（convolutional neural network,CNN）和循环神经网络（recurrent neural network,RNN）对短文本特征表示不充分的问题,提出基于串并行卷积门阀循环神经网络的文本分类模型,处理句子特征表示与短文本分类。该网络在卷积层中去除池化操作,保留文本数据的时序结构和位置信息,以串并行的卷积结构提取词语的多元特征组合,并提取局部上下文信息作为RNN的输入;以门阀循环单元（gated recurrent unit,GRU）作为RNN的组成结构,利用文本的时序信息生成句子的向量表示,输入带有附加边缘距离的分类器中,引导网络学习出具有区分性的特征,实现短文本的分类。实验中采用TREC、MR、Subj短文本分类数据集进行测试,对网络超参数选择和卷积层结构对分类准确率的影响进行仿真分析,并与常见的文本分类模型进行了对比实验。实验结果表明：去掉池化操作、采用较小的卷积核进行串并行卷积,能够提升文本数据在多元特征表示下的分类准确率。相较于相同参数规模的GRU模型,所提出模型的分类准确率在3个数据集中分别提升了2.00%、1.23%、1.08%;相较于相同参数规模的CNN模型,所提出模型的分类准确率在3个数据集中分别提升了1.60%、1.57%、0.80%。与Text-CNN、G-Dropout、F-Dropout等常见模型相比,所提出模型的分类准确率也保持最优。因此,实验表明所提出模型可改善分类准确率,可实际应用于短文本分类场景。     

基于深度特征聚类的海量人脸图像检索

针对海量人脸图像数据库检索时长的问题,提出了一种基于深度特征聚类的海量人脸图像检索算法.该算法首先使用人脸图像训练集对深度卷积神经网络模型进行人脸图像分类训练,在此基础上采用三元组损失方法对已训练好的人脸图像分类网络模型进行微调,使得网络能够更加有效地提取人脸图像的高层语义特征,构建更具有表征性的人脸图像深度特征.其次采用K-means聚类算法对提取的人脸图像深度特征进行聚类,使得同一个人的人脸图像能够划分到同一簇中,然后在相应的簇中进行人脸图像的深度特征相似度匹配执行人脸图像检索任务.为了进一步提高系统的检索性能,提出人脸图像深度特征融合的查询扩展方法,对待检索的人脸图像深度特征进行融合再次执行检索任务得到最终的检索结果.通过在两个人脸检索数据集(Celebrities Face Set和Labeled Faces in the Wild dataset)上进行详尽实验验证,结果表明,该算法能极大地缩小海量人脸图像数据库的检索范围,在保证一定准确率的前提下有效地提高了人脸图像检索的速度.     

基于压电薄膜传感器的机器人触觉识别系统

为了使机器人通过触觉感知外部环境信息,弥补视听交互信息缺失的不足,根据聚偏氟乙烯（PVDF）材料的压电效应设计开发基于触觉传感器和卷积神经网络的机器人触觉识别系统,能够根据所采集的触觉信号识别出材质类型. 提出基于渐进式级联卷积神经网络的触觉识别算法. 该算法基于卷积神经网络提取机器人传感器的信号特征,包括经过短时傅里叶变换的触觉数据频谱图和信号表征周期内的时域特征. 为了解决特定材质识别混淆的问题,利用K-Medoids聚类算法和动态时间规整（DTW）距离度量算法将分类过程区分为粗、细2个层次,构建渐进式分类模型. 实验表明,设计的触觉传感器对物体材质的平均识别正确率约为97%,机器人能够成功识别触摸到的真实材质,为下一步的探索交互任务奠定基础.     

基于双注意力卷积神经网络模型的情感分析研究

卷积神经网络（Convolutional Neural Networks,CNN）无法判别输入文本中特征词与情感的相关性.因此提出一种双注意力机制的卷积神经网络模型（Double Attention Convolutional Neural Networks,DACNN）,将词特征与词性特征有效融合后得到本文的特征表示,确定情感倾向.本文提出局部注意力的卷积神经网络模型,改进卷积神经网络的特征提取能力,采用双通道的局部注意力卷积神经网络提取文本的词特征和词性特征.然后使用全局注意力为特征分配不同的权重,有选择地进行特征融合,最后得到文本的特征表示.将该模型在MR和SST-1数据集上进行验证,较普通卷积神经网络和传统机器学习方法,在准确率上分别取得0.7%和1%的提升.