基于“神威太湖之光”的Caffe分布式扩展研究

随着深度学习的快速发展,其规模越来越大,需要的计算越来越复杂。分布式扩展技术可以有效提高大规模数据的处理能力。基于神威太湖之光超算平台对深度学习框架Caffe进行分布式扩展研究,对比同步方式下参数服务器分布式扩展方法和去中心化的分布式扩展方法。实验表明,同步方式下,去中心化的分布式扩展方法相比参数服务器分布式扩展方法在通信效率方面具有明显的优势,对特定的模型通信性能提高可达98倍。     

HPSEPS 在元与神威 • 太湖之光上的移植和性能分析

“神威·太湖之光”高效能计算机系统是世界上首台峰值运算速度超过 10 亿亿次量级的超级计算机,HPSEPS (High Performance Symmetric Eigenproblem Solvers) 是自主开发的大规模对称稠密矩阵特征问题并行求解器,包括标准对称稠密矩阵特征问题的并行计算方法, 对大规模数据问题的计算,表现出较好的性能,本文分别在中科院的“元”超级计算机上和神威·太湖之光超级计算机上进行了移植, 对比了两种超级计算机的系统性能, 并且在“神威·太湖之光”上分别链接适合其异构众核结构的 xMath 数学库和 mkl 数学库, 对求解器在链接两种不同数学库的计算机效果进行了测试与分析。     

神威太湖之光上分子动力学模拟的性能优化

"神威·太湖之光"国产超级计算机的特点是适用于高通量计算系统,此类系统往往存储器访问延迟,网络延迟较长.在实际应用中,有一大类问题是时间演化的模拟问题,往往需要高频状态迭代,每次迭代需要通信.此类应用问题的典型代表是分子动力学模拟,分子的性质依赖于时间演化,导致状态相关的时间尺度上难以并行化.实际应用中,全原子模型需要...     

一种基于深度学习的自动识别分拣机器人设计

通过对煤和岩石的纹理特征值进行分析,使用图像处理与模式辨别技术分拣煤矸石中的大粒度煤矸石,针对工作制作出了一种将机器视觉作为基础的多机械臂煤矸石分拣机器人系统。该系统在运用过程中通过机器视觉搜集煤矸石信息,采用深度学习的方法辨别与提取煤矸石的特点;当提取煤矸石基本信息后,依据煤矸石的位置开展排序工作,同时利用多目标任务分配策略把提取任务传送至机械臂控制器;当机械臂接收到任务之后,依据接收到任务实时监测目标,在目标进入机械臂工作区域后,使用视觉伺服系统促使机械臂分拣煤矸石。     

SOM算法在申威众核上的实现和优化

自组织神经网络(SOM)是一种被广泛使用的经典机器学习算法,但在处理复杂数据时其执行时间将急剧延长。并行化是解决这个问题的有效途径。基于目前TOP500上排名第一的“神威·太湖之光”超算平台,从模型并行和数据并行的角度出发,设计了SOM在申威众核处理器上的单核组和多核组的并行。一方面,通过程序重构将主要计算步骤转换为矩阵运算并利用高性能扩展数学库实现向量计算的并行化;另一方面,针对超算硬件的特性使用多种优化手段进行进一步的性能优化,使算法的性能得到了极大的提升。实验中,当使用64个核组时,所提算法的总加速比超过10000倍,同时最高可达900多倍的从核加速比也证明了所提算法有效发挥了申威核组中众核的能力。     

基于深度学习的控制器设计研究

深度学习目前在学术和工业领域中具有非常重要的地位,深度学习在特征提取与模型拟合方面存在相当的优势.对于存在高维数据的控制系统,引入深度学习具有一定的意义.论文介绍了使用深度学习算法来设计控制器,探索将深度学习应用于控制领域的情况.论文是通过让深度学习控制器来模拟控制领域中经典的PID控制器,来控制带负载的直流电机.用P...     

一种面向神威·太湖之光的通用并行卷积算法

神威·太湖之光深度学习库中的并行卷积算法存在批量受限的问题,且传统gemm卷积算法在其硬件架构上效率较低。基于申威异构众核处理器,提出一种无批量限制的通用并行卷积算法。结合异步DMA访存操作和从核间的寄存器通信,使用数据重用和软件流水等方法降低从核访存开销,利用手动向量化的方法充分发挥从核浮点的计算能力。实验结果表明,与基础7层循环算法、gemm算法和Intel平台上的MKL-DNN算法相比,该算法的加速性能较好。     

基于深度学习的计算机软件安全性能检测方法

由于计算机软件的大范围开发及开发者编写的代码逐渐简单化,导致软件存在漏洞,影响其安全性能,故提出基于深度学习的计算机软件安全性能检测方法。提取计算机软件代码数据,预处理代码数据作为模型输入参数,基于深度学习构建一个软件安全漏洞检测模型。实验结果表明,该方法的检测漏报率为0.04%、误报率为2.71%、检测时间为254 s,具有良好的软件安全漏洞检测能力。     

基于深度学习的课堂行为分析与应用

课堂学生行为分析能够以客观、定量化的方式评估学生的学习行为特征,为教师提供相应的辅助决策。随着教育进入人工智能时代,智能化学生课堂行为识别分析成为教学质量评估的重要手段。文章基于深度学习技术构建了课堂行为分析模型,可以及时准确地识别课堂学生行为,帮助教师或学校管理人员及时了解学生在课堂中的学习状态和表现,进而采取相应的措施优化教学过程和提升教育教学成效,促进教学改革。     

一种基于伪标签的深度迁移学习算法

深度学习的成功依赖于海量的训练数据,然而获取大规模有标注的数据并不容易,成本昂贵且耗时;同时由于数据在不同场景下的分布有所不同,利用某一特定场景的数据集所训练出的模型往往在其他场景表现不佳。迁移学习作为一种将知识从一个领域转移到另一个领域的方法,可以解决上述问题。深度迁移学习则是在深度学习框架下实现迁移学习的方法。提出一种基于伪标签的深度迁移学习算法,该算法以ResNet-50为骨干,通过一种兼顾置信度和类别平衡的样本筛选机制为目标域样本提供伪标签,然后进行自训练,最终实现对目标域样本准确分类,在Office-31数据集上的三组迁移学习任务中,平均准确率较传统算法提升5.0%。该算法没有引入任何额外网络参数,且注重源域数据隐私,可移植性强,具有一定的实用价值。     

Side-channel analysis attacks based on deep learning network

There has been a growing interest in the side-channel analysis (SCA) field based on deep learning (DL) technology. Various DL network or model has been developed to improve the efficiency of SCA. However, few studies have investigated the impact of the different models on attack results and the exact relationship between power consumption traces and intermediate values. Based on the convolutional neural network and the autoencoder, this paper proposes a Template Analysis Pre-trained DL Classification model named TAPDC which contains three sub-networks. The TAPDC model detects the periodicity of power trace, relating power to the intermediate values and mining the deeper features by the multi-layer convolutional net. We implement the TAPDC model and compare it with two classical models in a fair experiment. The evaluative results show that the TAPDC model with autoencoder and deep convolution feature extraction structure in SCA can more effectively extract information from power consumption trace. Also, Using the classifier layer, this model links power information to the probability of intermediate value. It completes the conversion from power trace to intermediate values and greatly improves the efficiency of the power attack.     

基于深度学习的传感器故障数据分析系统设计

传统传感器故障数据分析系统硬件及程序设计不够兼容,存在实时性差,分析结果不够精准的问题。据此,提出基于深度学习设计了一种新的传感器故障数据分析系统,由传感器、ARM数据处理器、主电路板、FODI数据处理器、集成采集接口板、故障数据传感器、多转质感器、场效应传感器、GKCL储存器组成系统的硬件结构,ASVH248的最大特点就是分辨率高,能够有效提高系统显示的清晰度。分别设计了故障数据采集程序、数据处理程序和数据存储程序。为了检测系统的有效性,由采集程序采集传感器内部数据,处理程序对数据结果进行分析,存储程序负责记录分析后的结果。设定对比实验,结果表明,基于深度学习设计的传感器故障数据分析系统分析结果精准度提高了15.28%,实时性更强,使用价值更高。     

基于深度学习的判决结果倾向性分析

裁判文书中判决结果的倾向性分析是指判断裁判文书中的判决结果是否支持原告的诉讼请求。判决结果的倾向性分析对于裁判文书的规范化、推荐诉讼律师等后续工作有重大的意义,但是缺少有效的分析模型。为了充分利用海量数据的裁判文书,提出了一个判决结果倾向性分析的模型。从半结构化的裁判文书中抽取出关键特征,利用模糊匹配的方式对判决结果中的多重实体进行识别和清洗,将处理结果交由基于LSTM的深度学习神经网络进行倾向性判断。通过对三种案由的数据集进行实验,该模型的准确率最高可达98.3%,验证了该模型在判决结果的倾向性分析任务中具有很高的有效性。     

基于深度学习的跨模态检索综述

由于多模态数据的快速增长,跨模态检索受到了研究者的广泛关注,其将一种模态的数据作为查询条件检索其他模态的数据,如用户可以用文本检索图像或/和视频。由于查询及其检索结果模态表征的差异,如何度量不同模态之间的相似性是跨模态检索的主要挑战。随着深度学习技术的推广及其在计算机视觉、自然语言处理等领域的显著成果,研究者提出了一系列以深度学习为基础的跨模态检索方法,极大缓解了不同模态间相似性度量的挑战,本文称之为深度跨模态检索。本文从以下角度综述有代表性的深度跨模态检索论文,基于所提供的跨模态信息将这些方法分为3类：基于跨模态数据间一一对应的、基于跨模态数据间相似度的以及基于跨模态数据语义标注的深度跨模态检索。一般来说,上述3类方法提供的跨模态信息呈现递增趋势,且提供学习的信息越多,跨模态检索性能越优。在上述不同类别下,涵盖了7类主流技术,即典型相关分析、一一对应关系保持、度量学习、似然分析、学习排序、语义预测以及对抗学习。不同类别下包含部分关键技术,本文将具体阐述其中有代表性的方法。同时对比提供不同跨模态数据信息下不同技术的区别,以阐述在提供了不同层次的跨模态数据信息下相关技术的关注点与使用异同。为评估不同的跨模态检索方法,总结了部分代表性的跨模态检索数据库。最后讨论了当前深度跨模态检索待解决的问题以及未来的研究方向。     

基于图神经网络与深度学习的商品推荐算法

基于图神经网络的推荐算法可以提取传统方法无法提取用户与商品之间的关联关系.目前此类算法大多忽略了用户和商品的评论数据中所存在的一般偏好.针对这一问题,提出了一种方法,在利用图神经网络提取关联关系的同时,利用深度学习提取评论的优势提取用户和商品的一般偏好,并进行特征融合来提升推荐效果.在四组公共数据集中进行了对比实验,使用召回率和归一化折损累计增益作为评价指标,并通过消融实验验证了方法的有效性.实验表明该方法比已有相关算法的效果更好.两种网络的特征融合对推荐效果有提升作用.     

基于注意力机制的深度学习推荐研究进展

近年来,注意力机制AM被广泛应用到基于深度学习的自然语言处理任务中,基于注意力机制的深度学习推荐也成为推荐系统研究的一个新方向.探讨了注意力机制的结构和分类标准,从基于注意力机制的DNN推荐、CNN推荐、RNN推荐、GNN推荐4个方面分析了现有融合注意力机制的深度学习推荐研究的主要进展和不足,阐明了其中的主要难点,最后指出了多特征交互的注意力机制推荐、多模态注意力机制深度学习推荐、融入注意力机制的多种深度神经网络混合推荐和注意力机制的群组推荐等基于注意力机制的深度学习推荐未来的主要研究方向.     

Effective deep learning based multimodal sentiment analysis from unstructured big data

More recently, as images, memes and graphics interchange formats have dominated social feeds, typographic/infographic visual content has emerged as an important social media component. This multimodal text combines text and image, defining a novel visual language that must be analysed because it has the potential to modify, confirm or grade the sentiment's polarity. The problem is how to effectively use information from the visual and textual content in image-text posts. This article presents a new deep learning-based multimodal sentiment analysis (MSA) model using multimodal data such as images, text and multimodal text (image with embedded text). The text analytic unit, the discretization control unit, the picture analytic component and the decision-making component are all included in this system. The discretization unit separates the text from the picture using the variant and channel augmented maximally stable extremal regions (VCA-MSERs) technique, which are then analysed as discrete elements and fed into the appropriate image and text analytics units. The text analytics system utilizes a stacked recurrent neural network with multilevel attention and feedback module (SRNN-MAFM) to detect the sentiment of the text. A deep convolutional neural network (CNN) structure with parallel-dilated convolution and self-attention module (PDC-SAM) is developed to forecast the emotional response to visual content. Finally, the decision component employs a Boolean framework including an OR function to evaluate and classify the output into three fine-grained sentiment classes: positive, neutral and negative. The proposed work is simulated in the python platform using the STS-Gold, Flickr 8k and B-T4SA datasets for sentiment analysis of text and visual and multimodal text. Simulation outcomes proved that the suggested method achieved better accuracy of 97.8%, 97.7% and 90% for text, visual and MSA individually compared to other methods.     

基于深度学习的Webshell检测

以AWD攻防中Webshell检测为背景,在超空间利用模糊C均值聚类分析发现了攻击向量全局稀疏、局部紧密的特点,提出了2种深度学习模型。由于GitHub收集的攻击行为多为随机获取,没有很好的针对性,所以对训练数据的长度进行了限制,并保留了有限的相关样本数量。由于一次攻击与相邻的2～4次操作紧密相关,而且攻击向量垂直方向关联特征明显,水平方向相对稳定,考虑到特征向量在传递过程中规模会减小,增加了卷积层的补零选项。针对深度学习训练曲线中的锯齿振荡现象,证明了Adam优化算法的快速计算公式,并修正了学习参数,不断消除了训练的Loss曲线中的锯齿,使得训练曲线按照指数规律平滑下降,迅速得到需要的训练结果。将目前已有的类似工作与提出的2种深度学习模型进行对比。实验结果表明,提出的的深度学习模型能够很好地检测出AWD中的Webshell攻击。     

一种基于深度学习的时间序列预测方法

时间序列是一种广泛存在于现实各领域之中的海量高维数据,时间序列预测是该领域的一个研究重点.传统的时间序列预测方法仅仅从时间的维度对时间序列进行分析,忽略了外界影响因素对时间序列可能产生的影响.针对传统时间序列预测方法存在的问题,提出一种基于深度学习的时间序列预测模型DAFDC-RNN(dual-stage attent...     

基于深度学习的视频异常检测方法综述

近年来,随着视频监控技术的广泛应用,对海量视频进行智能分析并及时发现其中的异常状态或事件的视频异常检测任务受到了广泛关注。对基于深度学习的视频异常检测方法进行了综述。首先,对视频异常检测问题进行概述,包括基本概念、基本类型、建模流程、学习范式及评价方式。其次,提出将现有基于深度学习的视频异常检测方法分为基于重构的方法、基于预测的方法、基于分类的方法及基于回归的方法4类并详细阐述了各类方法的建模思想、代表性工作及其优缺点。然后,在此基础上介绍了常用的单场景视频异常检测公开数据集和评估指标,并对比分析了代表性异常检测方法的性能。最后,总结全文并从数据集、方法及评估指标3方面对视频异常检测研究的未来发展方向进行了展望。