基于卷积神经网络的多模态视频场景分割优化算法

针对基于内容的视频检索中场景分割效率有待提高的问题,提出了一种基于卷积神经网络提取特征的多模态视频场景分割优化算法。首先利用改进的VGG19网络从视频镜头中提取多种模态的底层特征和语义特征,再将这些特征组成向量,然后通过三重损失学习与镜头相似度计算等方法,使场景分割问题转换为对镜头边界的二分类问题,最后建立评分机制优化所得结果,获取分割好的视频场景及对应的场景边界,完成场景分割任务。实验结果表明,该算法能对视频场景进行有效分割,整体查全率与查准率分别能达到85.77%、87.01%。     

基于卷积神经网络的畜牧业动物图像识别研究

目前,青藏高原地区有多种放牧管理方式,但因家庭劳动力、草场规模、种群品种数量等因素存在着一定的局限性。因此,本文将深度学习技术引入畜牧业动物图像识别中,还通过数据增强技术对原始图像进行了平移、旋转、翻转、缩放等操作,建立了青藏高原地区常见的畜牧业动物图像数据集。设计了卷积神经网络模型并实现了图像识别和统计。实验表明,该方法对畜牧业动物图像的识别率达到87.89%。     

基于差分孪生卷积神经网络的大规模不平衡数据分类算法

传统基于支持向量机的不平衡数据分类算法包含矩阵运算,无法应用于大规模的不平衡数据集。针对这种情况,提出基于差分孪生卷积神经网络的大规模不平衡数据分类算法。设计差分卷积机制增强卷积神经网络的深度结构表示能力,在不改变滤波器数量的情况下提高模型的判别能力。通过差分孪生卷积神经网络分别优化每个类的特征图,每个类关联多个超平面,根据输入样本与超平面的距离决定输出样本的类标签。基于多组不平衡数据集的实验结果表明,该算法实现了较好的分类性能。     

基于卷积神经网络的三维目标检测研究综述

深度学习尤其卷积神经网络为精确目标检测提供可能,推动三维目标检测在自动驾驶、机器人等领域发挥重要作用.文中综述基于卷积神经网络的三维目标检测研究进展.首先总结三维目标检测的应用价值、基本流程及存在的挑战.再介绍卷积神经网络基本原理、典型的二维目标检测网络结构、常用的开源数据集及点云表示形式等相关基础知识.然后介绍卷积神经网络在三维目标检测中的应用进展,根据不同数据模态及方法共性对方法进行梳理.最后对当前三维目标检测研究存在的问题进行论述,对未来的研究发展趋势进行展望.     

基于卷积神经网络的图像数据增强算法

提升卷积神经网络的泛化能力和降低过拟合的风险是深度卷积神经网络的研究重点。遮挡是影响卷积神经网络泛化能力的关键因素之一,通常希望经过复杂训练得到的模型能够对遮挡图像有良好的泛化性。为了降低模型过拟合的风险和提升模型对随机遮挡图像识别的鲁棒性,提出了激活区域处理算法,在训练过程中对某一卷积层的最大激活特征图进行处理后对输入图像进行遮挡,然后将被遮挡的新图像作为网络的新输入并继续训练模型。实验结果表明,提出的算法能够提高多种卷积神经网络模型在不同数据集上的分类性能,并且训练好的模型对随机遮挡图像的识别具有非常好的鲁棒性。     

基于卷积神经网络的遮挡目标图像检测识别技术研究

为了尽可能降低图像目标的重复识别概率、错误率,提出了利用卷积神经网络算法对图像识别信息的重复识别进行分析的实验研究。遮挡目标的数据集经过图像增强后输入给卷积层卷积,初始化得到的图像数据经过卷积层卷积后,提交至池化层进行进一步处理,提取图像特征数据,将提取的图像特征数据经过池化层处理后进行压缩,提取遮挡目标的关键特征信息。最后经过TensorFlow深度机器学习框架的实验测试,进一步证明使用注意模块后可以通过引导网络去关注被遮挡目标图像上的可视细节部分,并完善对遮挡目标图像检测进行验证研究。     

基于DeepFM和卷积神经网络的集成式多模态谣言检测方法

随着以微博为代表的社交媒体越来越流行,谣言信息借助社交媒体迅速传播,容易造成严重的后果,因此自动谣言检测问题受到了国内外学术界、产业界的广泛关注.目前,越来越多的用户使用图片来发布微博,而不仅仅是文本,微博通常由文本、图像和社会语境组成.因此,文中提出了一种基于深度神经网络,针对配文文本内容、图像以及用户属性信息的多模...     

基于卷积神经网络的植物图像分类方法研究

近年来,卷积神经网络已经成为图像分类领域的应用研究热点,其对图像特征进行自提取、自学习,解决了以往图像分类方法的图像低层特征到高层概念之间存在的语义鸿沟。为了解决植物图像的自动分类问题,该文提出一种基于卷积神经网络(CNN)的植物图像分类方法,以植物图像为研究对象,将经典卷积神经网络VGG16与全卷积网络(FCN)相结合,把VGG16中两个通道数为4096的全连接层改为卷积层,构造一个新的VGG16模型为植物图像分类模型。文中制作了一个由43类每类500张总共21500张植物图像组成的图像数据集,作为植物图像分类模型的训练数据集。实验结果表明,所提方法在植物的图像分类上的准确率达到97.23%。应用文中提出的卷积神经网络对植物图像进行分类可以取得目前最好的植物图像分类效果。     

面向多中心数据的超图卷积神经网络及应用

近年来,图神经网络在神经性脑疾病诊断中的应用引起了广泛关注。然而,现有研究中使用的图通常只是基于简单的点对点连接,无法反映3个或更多受试者之间的复杂关联,尤其是在多中心数据集中,即由不同医疗机构所使用的不同采集设备和不同受试人群而集成的具有异质性的数据集。为解决医疗影像数据中存在的多中心异质性问题,提出了一种多中心超图数据结构来描述多中心数据之间的关系。这种超图由两种不同的超边构成,一种是描述单个中心内部关系的中心内超边,另一种是描述不同中心之间关系的跨中心超边。另外,还提出了一种超图卷积神经网络来学习节点的特征表示,这种超图卷积由两部分构成,第一部分是超图节点卷积,第二部分是超边卷积。在两个多中心数据集上的实验结果证明了所提方法的有效性。     

卷积神经网络混合截断量化

量化是压缩卷积神经网络、加速卷积神经网络推理的主要方法.现有的量化方法大多将所有层量化至相同的位宽,混合精度量化则可以在相同的压缩比下获得更高的准确率,但寻找混合精度量化策略是很困难的.为解决这种问题,提出了一种基于强化学习的卷积神经网络混合截断量化方法,使用强化学习的方法搜索混合精度量化策略,并根据搜索得到的量化策略混合截断权重数据后再进行量化,进一步提高了量化后网络的准确率.在ImageNet数据集上测试了ResNet18/50以及MobileNet-V2使用此方法量化前后的Top-1准确率,在COCO数据集上测试了YOLOV3网络量化前后的mAP.与HAQ, ZeroQ相比, MobileNet-V2网络量化至4位的Top-1准确率分别提高了2.7%和0.3%;与分层量化相比, YOLOV3网络量化至6位的mAP提高了2.6%.     

基于并行深度卷积神经网络的图像美感分类

随着计算机和社交网络的飞速发展, 图像美感的自动评价产生了越来越大的需求并受到了广泛关注. 由于图像美感评价的主观性和复杂性, 传统的手工特征和局部特征方法难以全面表征图像的美感特点, 并准确量化或建模. 本文提出一种并行深度卷积神经网络的图像美感分类方法, 从同一图像的不同角度出发, 利用深度学习网络自动完成特征学习, 得到更为全面的图像美感特征描述; 然后利用支持向量机训练特征并建立分类器, 实现图像美感分类. 通过在两个主流的图像美感数据库上的实验显示, 本文方法与目前已有的其他算法对比, 获得了更好的分类准确率.     

基于词注意力卷积神经网络模型的情感分析研究

情感分类任务需要捕获文本中的情感特征,利用重要的局部特征构建文本的特征表示。卷积神经网络(convolutional neural networks,CNN)已经被证明拥有出色的特征学习能力,但是该模型无法判别输入文本中特征词与情感的相关性,卷积层缺乏对单一词特征的提取。基于目前运用非常成功的注意力模型,该文提出一种基于词注意力的卷积神经网络模型(word attention-based convolutional neural networks,WACNN)。相比于卷积神经网络,该模型以篇章的文本信息作为输入,首先在词嵌入层之后增加注意力机制层,获取重要的局部特征词,使模型有选择地进行特征提取;然后在卷积层中增加大小为1的卷积核,提取单一词的特征;最后该方法对输入文本进行适当的文本填充,保证每个词都存在上下文信息,使模型有效提取到每个词的n-grams局部特征,避免卷积处理过程中局部信息的丢失。该模型在MR5K和CR数据集上进行验证,较普通卷积神经网络和传统机器学习方法,在准确率上分别取得0.5%和2%的提升。     

基于残差量化卷积神经网络的人脸识别方法

针对大规模人脸识别问题,基于残差学习的超深卷积神经网络模型能取得比其他方法更高的识别精度,然而模型中存在的海量浮点参数需要占用大量的计算和存储资源,无法满足资源受限的场合需求.针对这一问题,本文设计了一种基于网络参数量化的超深残差网络模型.具体在Face-ResNet模型的基础上,增加了批归一化层和dropout层,加深了网络层次,对网络模型参数进行了二值量化,在模型识别精度损失极小的情况下,大幅压缩了模型大小并提升了计算效率.通过理论分析与实验验证了本文设计方法的有效性.     

Deep Imitation Learning for Autonomous Vehicles Based on Convolutional Neural Networks

Providing autonomous systems with an effective quantity and quality of information from a desired task is challenging. In particular, autonomous vehicles, must have a reliable vision of their workspace to robustly accomplish driving functions. Speaking of machine vision, deep learning techniques, and specifically convolutional neural networks, have been proven to be the state of the art technology in the field. As these networks typically involve millions of parameters and elements, designing an optimal architecture for deep learning structures is a difficult task which is globally under investigation by researchers. This study experimentally evaluates the impact of three major architectural properties of convolutional networks, including the number of layers, filters, and filter size on their performance. In this study, several models with different properties are developed,equally trained, and then applied to an autonomous car in a realistic simulation environment. A new ensemble approach is also proposed to calculate and update weights for the models regarding their mean squared error values. Based on design properties,performance results are reported and compared for further investigations. Surprisingly, the number of filters itself does not largely affect the performance efficiency. As a result, proper allocation of filters with different kernel sizes through the layers introduces a considerable improvement in the performance.Achievements of this study will provide the researchers with a clear clue and direction in designing optimal network architectures for deep learning purposes.     

基于Leap Motion的手势控制技术初探

最新体感设备Leap Motion的面世提供给用户一种全新的体验, 即通过跟踪探测动态手势可以进行体感游戏、虚拟演奏、凌空绘画等的非接触式人机交互. 文章首先对Leap Motion的技术特点进行介绍, 并对同类型设备进行对比总结, 介绍了Leap Motion的相关应用和发展前景. 文章分析了Leap Motion的原理和技术基础, 然后提出基于Leap Motion的手势控制技术, 最后以一个基于Unity 3D的手势控制虚拟场景中的物品运动的具体实例, 对Leap Motion手势控制技术的实现进行了细节介绍.     

基于卷积神经网络的实时人群密度估计

针对传统实时人群密度估计方法存在误差大、分类效果不佳等缺陷,提出了基于 卷积神经网络的实时人群密度估计方法。通过对比4 种常见网络结构：AlexNet、VGGNet、 GoogLeNet 和ResNet 的准确度与实时性,选择综合性较好的GoogLeNet 作为人群密度估计的 模型,利用关键帧截取技术实现人群密度的实时估计并简要分析人群密度特征图。最后用实例 验证了该方法的实时性与准确度,证明了其可行性。     

基于Leap Motion的可抓取无人机系统

为了解放无人机的传统控制方式和解决高空取物等实际问题,提出一种将手势识别技术与无人机相结合的可抓取无人机系统。该系统通过Leap Motion采集手势数据,使用Python并结合Leap Motion v2 SDK库将数据进行处理,通过NRF24L01无线模块对数据进行发送,在无人机端将收到的数据通过Arduino进行分析处理,输出相应的PWM波来控制无人机的飞行状态以及机械爪的抓取。经试验证实该系统可通过手势改变无人机的飞行状态,以及控制机械爪的抓取,表明了该系统实现方法的可靠性及有效性。     

基于卷积神经网络的微博情感倾向性分析

微博情感倾向性分析旨在发现用户对热点事件的观点态度。由于微博噪声大、新词多、缩写频繁、有自己的固定搭配、上下文信息有限等原因,微博情感倾向性分析是一项有挑战性的工作。该文主要探讨利用卷积神经网络进行微博情感倾向性分析的可行性,分别将字级别词向量和词级别词向量作为原始特征,采用卷积神经网络来发现任务中的特征,在COAE2014任务4的语料上进行了实验。实验结果表明,利用字级别词向量及词级别词向量的卷积神经网络分别取得了95.42%的准确率和94.65%的准确率。由此可见对于中文微博语料而言,利用卷积神经网络进行微博情感倾向性分析是有效的,且使用字级别的词向量作为原始特征会好于使用词级别的词向量作为原始特征。