深度神经网络图像语义分割方法综述

图像语义分割是计算机视觉领域近年来的热点研究课题,随着深度学习技术的兴起,图像语义分割与深度学习技术进行融合发展,取得了显著的进步,在无人驾驶、智能安防、智能机器人、人机交互等真实场景中应用广泛。首先对应用于图像语义分割的几种深度神经网络模型进行简单介绍,接着详细阐述了现有主流的基于深度神经网络的图像语义分割方法,依据实现技术的区别对图像语义分割方法进行分类,并对每类方法中代表性算法的技术特点、优势和不足进行分析与总结。之后归纳了图像语义分割常用的大规模公共数据集和性能评价指标,并在此基础上对经典的语义分割方法的实验结果进行了对比,最后对语义分割领域未来可行的研究方向进行展望。     

Attention-CNN在恶意代码检测中的应用研究

恶意代码攻击已经成为互联网最重要的威胁之一,并且现存的恶意代码数据庞大,特征多样。为了更好地提取恶意代码特征以及掌握恶意代码的行为,提出了基于注意力机制的Attention-CNN恶意代码检测模型。首先结合卷积神经网络(CNN)和注意力机制,构建了Attention-CNN恶意代码检测模型;然后将恶意代码转化为灰度图像作为模型输入,通过对Attention-CNN模型训练及测试得到恶意代码对应的注意力图以及检测结果;最终将从恶意代码注意力图中提取的重要字节序列用于人工分析,以揭示恶意代码的相关行为。实验结果表明,相比于支持向量机(SVM)、随机森林、J48.trees以及未结合注意力机制的CNN,Attention-CNN取得了更好的检测效果。相比于vsNet,Attention-CNN在准确率方面提高了4.3个百分点。并且从注意力图中提取的重要字节序列能够有效减轻人工分析的负担,获取恶意代码的相关行为,同时弥补了灰度图形式的恶意代码检测的不可解释性。     

改进胶囊网络优化分层卷积的亚健康识别算法

针对传统卷积神经网络(CNN)为获得高准确率不断堆叠卷积层、池化层致使模型结构复杂、训练时间长且数据处理方式单一的问题,提出改进胶囊网络优化分层卷积的亚健康识别算法。首先,对原始振动数据进行小波降噪和小波包降噪两种数据处理,更好地保留原始信号中对亚健康识别有用的信息;其次,CNN采用分层卷积的思想,并行3个不同尺度的卷积核,多角度地进行特征提取;最后,将卷积核提取的特征输入到剪枝策略的胶囊网络中进行亚健康识别,改进的胶囊网络在保证准确率的同时加快亚健康识别时间,解决CNN结构过于复杂以及识别效果不佳的问题。实验结果表明,提出算法识别准确率高且识别时间较少。     

融合迁移学习的AlexNet神经网络不锈钢焊缝缺陷分类

针对不锈钢焊缝缺陷特征提取存在主观单一性和客观不充分性等问题,提出一种融合迁移学习的AlexNet卷积神经网络模型,用于不锈钢焊缝缺陷的自动分类。首先,由于不锈钢焊缝缺陷数据较为缺乏,通过采用迁移学习对网络前3层冻结,减少网络对输入数据量的要求;对后2层卷积层提取的特征信息批量归一化(batch normalization, BN),以加快网络的收敛速度;并使用带泄露线性整流(leaky rectified linear unit, LeakyReLU)函数对抑制神经元进行激活,从而提高模型的鲁棒性和特征提取能力。结果表明,该模型最终达到了95.12%的准确率, 相比原结构识别精度提高了9.8%。验证了改进后方法能够对裂纹、气孔、夹渣、未熔合和未焊透5类不锈钢焊缝缺陷实现高精度分类。相比现有方法,其识别面更广,精度更高,具有一定的工程实践意义。     

基于时空循环神经网络的下一个兴趣点推荐方法

下一个兴趣点推荐已经成为基于位置的社交网络(location-based social networks,LBSNs)中一个重要任务。现有的模型没有深入考虑相邻签到兴趣点之间的转移时空信息,无法对用户访问下一个兴趣点的长短时间偏好和远近距离偏好进行有效建模。本文通过对循环神经网络(recurrent neural network, RNN)进行扩展,提出一个新的基于会话的时空循环神经网络模型(sesson-based spatial-temporal recurrent neural network, SST-RNN)用于下一个兴趣点推荐。该模型通过设置时间转移矩阵和空间转移矩阵分别对用户的时间和空间偏好信息进行建模,综合考虑连续签到兴趣点的序列信息、时空信息以及用户偏好进行下一个兴趣点推荐。通过在2个真实公开的数据集上进行实验,结果显示本文提出的SST-RNN模型的推荐效果比主流的推荐模型有显著提升。在Foursquare和CA数据集上,ACC@5评价指标分别提升了36.38%和13.81%,MAP评价指标分别提升了30.72%和17.26%。     

面向车规级芯片的对象检测模型优化方法

卷积神经网络复杂的网络结构使得模型计算复杂度高,限制了其在自动驾驶等实际终端场景中的应用。针对终端场景下的计算资源受限的问题,本文从轻量化深度模型设计和车规级芯片模型部署验证两方面进行研究。针对深度模型计算效率和检测精度的矛盾,本文设计了基于中心卷积的轻量化对象检测模型,实现功耗低且精度高的模型性能。进一步,本文基于量化感知训练的模型加速部署方法在车规级芯片上开展了系统级部署验证,在车规级芯片tda4上成功实现了高效的对象检测模型,在自动驾驶场景中取得了良好的性能。     

改进Faster R-CNN的汽车仪表指针实时检测

针对产业化的汽车仪表指针人工视觉检测效果差、检测速度慢和实时性低等问题,本文提出了一种改进的Faster R-CNN汽车仪表指针实时检测算法。通过改进原始的RoI网络层结构,实现小目标高低层特征之间的完整传递;采用双线性内插算法替代两次量化操作,使得特征聚集变成连续的过程,能够有效减少计算时间;最后将工业机采集的视频数据,预处理成VOC格式数据集进行训练,调整超参数得到改进汽车仪表指针检测模型。实验结果表明:所提出的方法能够快速、准确地实现汽车仪表指针检测,单张图片的平均检测时间为0.197 s,平均检测精度可达92.7%。在不同类别仪表指针的迁移实验中,展示了良好的泛化性能。     

基于机器学习合成高分辨率布料褶皱

为了精化布料网格得到逼真的布料模拟效果,提出了一种基于机器学习的方法合成高分辨率布料褶皱。首先模拟真实的布料运动,获取布料运动的帧数据信息,将布料运动的帧数据信息转换为图像信息的形式进行存储。然后将图像信息作为输入,输入到卷积神经网络(CNN)中进行训练,通过将卷积神经网络与缩小网络相结合,最终得到高分辨率布料图像。最后将高分辨率布料图像转换为高分辨率布料网格,对布料进行模拟。实验结果表明,与初始的低分辨率布料网格对比,合成的高分辨率布料网格模拟出的布料有着大量且细微的褶皱,并且能够模拟出真实的布料效果,与真实场景中的布料模拟效果相似。该方法在不同的场景中都可以模拟出高质量的布料动画效果,而且减少了仿真速度,验证了该方法的有效性。     

自然语言处理预训练技术综述

在目前已发表的自然语言处理预训练技术综述中,大多数文章仅介绍神经网络预训练技术或者极简单介绍传统预训练技术,存在人为割裂自然语言预训练发展历程.为此,以自然语言预训练发展历程为主线,从以下四方面展开工作:首先,依据预训练技术更新路线,介绍了传统自然语言预训练技术与神经网络预训练技术,并对相关技术特点进行分析、比较,从中归纳出自然语言处理技术的发展脉络与趋势;其次,主要从两方面介绍了基于B E RT改进的自然语言处理模型,并对这些模型从预训练机制、优缺点、性能等方面进行总结;再者,对自然语言处理的主要应用领域发展进行了介绍,并阐述了自然语言处理目前面临的挑战与相应解决办法;最后,总结工作,预测了自然语言处理的未来发展方向.旨在帮助科研工作者更全面地了解自然语言预训练技术发展历程,继而为新模型、新预训练方法的提出提供一定思路.     

一种融合 KPCA 和 BP 神经网络的用水总量预测方法

针对影响用水总量的相关用水因子的不确定性和非线性多维特点,论文研究并提出了一种融合KPCA和思维优化BP神经网络的用水总量预测方法。首先运用相关系数法确定预测因子,然后利用核主成分分析（KPCA）对所述预测因子进行降维处理,解决数据之间的非线性特征,最后采用BP神经网络建立用水总量预测模型,同时采用思维进化学习算法优化BP神经网络的权值和阈值。该方法在国家统计局的2007-2016年度开放统计用水数据中实验,通过实验比较,该模型的相对预测误差小于5%,结果表明,融合 KPCA和思维优化BP神经网络的用水总量预测模型能很好的预测未来用水总量。