TensorFlow平台下基于深度学习的数字识别

TensorFlow是谷歌开源的机器学习及深度学习框架,具有高度的灵活性,可以运行在多种平台上,如CPU、GPU以及移动设备,支持当前流行的深度学习模型。卷积神经网络具有多个处理层,能对图像的特征进行逐层抽象,相比于传统的图像识别方法具有良好的效果,对输入图像的旋转、扭曲、变形具有良好的鲁棒性,并且不用对图像进行预处理,简化了图像识别的步骤。在TensorFlow平台上,搭建了一个卷积神经网络模型,利用MNIST数据集对模型进行训练及测试,最终测试能达到99%的识别率。     

基于TensorFlow的交通标志识别系统研究

在经济快速发展、人们生活水平逐渐提高的同时,社会上行驶的车辆数目迅速增多,交通拥堵现象成为常态,并且交通事故也频频出现,对社会造成了巨大损失。基于此种形势,无人驾驶领域的智能交通系统受到很多人的关注。TensorFlow是近年来比较流行的深度学习框架,本文将基于TensorFlow实现卷积神经网络模型,并解决交通标志识别的实际应用。     

TensorFlow中OpenCL核函数的实现与优化

目前,异构计算技术已经被广泛应用于人工智能领域,旨在利用以GPGPU为主的并行加速设备和CPU协同工作,更高效地完成大规模的并行计算.深度学习模型的构建、训练以及推理离不开机器学习框架的支持,但目前主流的机器学习框架基本仅支持CUDA异构编程模型.CUDA的私有性和封闭性导致机器学习框架严重依赖于英伟达GPGPU.众多其它厂商的硬件加速器,尤其是国产加速器难以充分发挥其在深度学习中的潜力.使用开源统一异构编程标准OpenCL代替私有的CUDA编程模型,是打破这一技术壁垒的有效方法.本文提出了TensorFlow中CUDA到OpenCL核函数的代码转换方案,总结整理了核函数转换的基本规则、典型难点问题的解决方法以及OpenCL核函数的性能优化等关键技术.本文首次完成了TensorFlow 2.2版本中135个OpenCL核函数的实现.经一系列测试验证,转换生成的135个OpenCL核函数能够在多种支持OpenCL标准的加速器上正确运行,优化后,近八成的OpenCL核函数在英伟达Tesla V100S上达到了与CUDA核函数相当的计算性能.测试结果验证了本文提出的CUDA到OpenCL核函...     

基于Kubernetes的分布式TensorFlow平台的设计与实现

文中介绍了基于Kubernetes的分布式TensorFlow平台的设计与实现,针对分布式TensorFlow存在的环境配置复杂、底层物理资源分布不均、训练效率过低、模型研发周期长等问题,提出了一种容器化TensorFlow的方法,并基于Kubernetes容器PaaS平台来统一调度管理TensorFlow容器。 文中将Kubernetes和TensorFlow的优点相结合,由Kubernetes提供可靠、稳定的计算环境,以充分发挥TensorFlow异构的优势,极大地降低了大规模使用的难度,同时建立了一个敏捷的管理平台,实现了分布式TensorFlow资源的快速分配、一键部署、秒级启动、动态伸缩、高效训练等。     

基于深度强化学习的云边协同DNN推理

现有基于云边协同的深度神经网络(DNN)推理仅涉及边缘设备同构情况下的静态划分策略,未考虑网络传输速率、边缘设备资源、云服务器负载等变化对DNN推理计算最佳划分点的影响,以及异构边缘设备集群间DNN推理任务的最佳卸载策略。针对以上问题,提出基于深度强化学习的自适应DNN推理计算划分和任务卸载算法。以最小化DNN推理时延为优化目标,建立自适应DNN推理计算划分和任务卸载的数学模型。通过定义状态、动作空间和奖励,将DNN推理计算划分和任务卸载组合优化问题转换为马尔可夫决策过程下的最优策略问题。利用深度强化学习方法,从经验池中学习动态环境下边缘设备与云服务器间DNN推理计算划分和异构边缘集群间任务卸载的近似最优策略。实验结果表明,与经典DNN推理算法相比,该算法在异构动态环境下的DNN推理时延约平均降低了28.83%,能更好地满足DNN推理的低时延需求。     

基于DNN的汉语框架识别研究

框架识别是语义角色标注的基本任务,它是根据目标词激起的语义场景,为其分配一个合适的语义框架。目前框架识别的研究主要是基于统计机器学习方法,把它看作多分类问题,框架识别的性能主要依赖于人工选择的特征。然而,人工选择特征的有效性和完备性无法保证。深度神经网络自动学习特征的能力,为我们提供了新思路。该文探索了利用深度神经网络自动学习目标词上下文特征,建立了一种新的通用的框架识别模型,在汉语框架网和《人民日报》2003年3月新闻语料上分别取得了79.64%和78.58%的准确率,实验证明该模型具有较好的泛化能力。     

基于组合DNN的语音分离方法

近年来,随着深度学习的发展,深层模型被越来越多的学者用于语音分离.其中,以深度神经网络(Deep Neural Networks,DNN)为代表的深度学习在语音分离领域表现出了强大的优势.为了更好的提高目标语音的质量,我们提出一种基于组合DNN的语音分离方法(CE_DNN).首先把两种不同的训练集放入DNN中进行训练,得到了两种不同参数的DNN训练模型,然后将测试数据放入两种训练模型后得到的输出结果进行结合,并且将不同类型的噪声与纯净语音进行混合,再配以噪声的不同输入信噪比进行试验.实验结果表明,与DNN语音分离系统相比,CE_DNN不仅可以很好的提高理想二值掩蔽(IBM)中的HIT-FA指标(命中率-误报率),还可以提高语音目标的短时客观语音可懂度(STOI).     

改进的基于DNN的恶意软件检测方法

当前基于深度学习的恶意软件检测技术由于模型结构及样本预处理方式不够合理等原因,大多存在泛化性较差的问题,即训练好的恶意软件检测模型对不属于训练样本集的恶意软件或新出现的恶意软件的检出效果较差.提出一种改进的基于深度神经网络(Deep Neural Network,DNN)的恶意软件检测方法,使用多个全连接层构建恶意软件...     

基于深度学习的乳腺癌预测

随着人民生活水平的不断进步与对美好生活的向往,人们对于个人的健康越来越重视.乳腺癌是对女性健康威胁最大的恶性肿瘤之一,对乳腺癌进行快速、精准诊断并提供个性化治疗方案已成为目前社会的迫切需求.论文使用深度学习TensorFlow框架构建前馈神经网络,根据从乳房块细针抽吸(FNA)数字化图像数据描述的细胞核特征中,分析不同维度的病理特点,预测乳腺癌是良性还是恶性.为医疗行业提供一种高效乳腺癌预测手段,具有一定的实际意义.     

基于FPGA的高效可伸缩的MobileNet加速器实现

MobileNet网络是一种广泛应用于嵌入式领域的深度神经网络,为了解决其硬件实现效率低的问题,同时达到在不同硬件资源下具有一定可伸缩性,提出了基于FPGA的一款MobileNet网络加速器结构,针对网络的堆叠结构特性设计了三级流水的加速阵列,并实现了在0～4000乘法器开销下都达到70％ 以上的计算效率.最终在XIL...     

一种面向分布式深度学习的轻量级聚合通信库

聚合通信操作在分布式训练中应用广泛,特别是AllReduce操作被用于同步每个节点上模型的参数。为了获得更高的精度,数据集和神经网络模型的规模越来越大,节点间的通信开销在训练过程中占比很大且已成为训练加速的瓶颈。目前已有许多针对这一场景下聚合操作的优化工作,但都聚焦于操作的合理使用而不是其本身,例如通信调度和梯度量化。事实上,聚合操作与分布式训练应用之间存在许多不相匹配的地方,比如后者不要求所有节点同时同步梯度,而前者却需要。这使得针对分布式训练中聚合通信的研究是有必要的。然而发现目前分布式训练中的通信框架结构复杂、代码量大,对开展相关工作来说是不合适的。为了解决这一问题,设计并实现了一个轻量级的聚合通信库,以方便分析和改进分布式训练中的聚合操作。它支持主流框架和网络,并且架构简洁。这便于研究人员实现自定义通信操作,并能应用到主流的实验环境中以产生较广的影响。在多种情况下分别通过纯聚合操作和分布式深度学习应用来评估所设计的聚合通信库。实验结果显示,该库可以实现与MPI相近的性能,可以作为分析和研究分布式训练中梯度同步的聚合通信库。     

一种深度强化学习的C-RAN动态资源分配方法

移动边缘计算(MEC)技术已成为云无线接入网(C-RAN)提供近距离服务的一个很有前途的例子,从而减少了服务延迟,节约了能源消耗.本文考虑一个多用户MEC系统,解决了计算卸载策略和资源分配策略问题.我们将延迟总成本和能耗作为优化目标,在一个动态的环境中获得一个最优的策略.提出了一个基于深度强化学习的优化框架来解决资源分配问题,利用深度神经网络(DNN)对批评者的价值函数进行估计,从当前状态直接提取信息,不需要获取准确的信道状态.从而降低了优化目标的状态空间复杂度.参与者使用另一个DNN来表示参数随机策略,并在批评者的帮助下改进策略.仿真结果表明,与其它方案相比,该方案显著降低了总功耗.     

一种用于加速神经视觉识别的硬件架构

深度学习的广泛应用带来了视觉分析中许多类似人类认知任务的实现。HMAX 是基于视觉皮层的生物启发模型,已在多类物体识别中被证明优于标准计算机视觉方法。但是,由于神经形态算法的高复杂性,在边缘设备上实现 HMAX 模型仍然面临巨大挑战。已有研究表明,HMAX 的 S2 阶段是运行最耗时的阶段。该文提出了一种基于脉动阵列的新架构来加速 HAMX 模型的 S2 阶段。仿真结果表明,与基准模型相比,HMAX 模型最耗时的 S2 阶段执行时间平均减少了 14.65％、内存所需的带宽减少了 3.34 倍。     

面向小型边缘计算的深度可分离神经网络模型与硬件加速器设计

神经网络参数量和运算量的扩大,使得在资源有限的硬件平台上流水线部署神经网络变得更加困难。基于此,提出了一种解决深度学习模型在小型边缘计算平台上部署困难的方法。该方法基于应用于自定义数据集的深度可分离网络模型,在软件端使用迁移学习、敏感度分析和剪枝量化的步骤进行模型压缩,在硬件端分析并设计了适用于有限资源FPGA的流水线硬件加速器。实验结果表明,经过软件端的网络压缩优化,这种量化部署模型具有94.60%的高准确率,16.64 M的较低的单次推理定点数运算量和0.079 M的参数量。此外,经过硬件资源优化后,在国产FPGA开发板上进行流水线部署,推理帧率达到了366 FPS,计算能效为8.57 GOPS/W。这一研究提供了一种在小型边缘计算平台上高性能部署深度学习模型的解决方案。     

一种基于Web的分布式软构件库组织框架

1 引言基于构件的软件开发(CBSD),或称为基于构件的软件工程(CBSE)对于软件开发有着广泛的、深刻的影响,是目前实现软件重用的较为成熟的技术。从使用者的角度看,构件的获取是个最基本的问题。它的来源大致可分为三个方面:(1)个人或组织内部积累的构件库;(2)向软件商购买商品构件;(3)与他人或其它组织交换或分享。当然,也可以是几个方面兼而有之。丰富的、多渠道的构件来源可以大大提高重用的可能性和有效性。但是,由于历史的、环境的和技术上的变迁以及安全性、知识产权、协作问题、市场和商业因素等种种技术上的和非技术上的原因,用户可用的构件库的分散、独立存     

基于TensorFlow的恶意代码片段自动取证检测算法

针对数字犯罪事件调查,在复杂、异构及底层的海量证据数据中恶意代码片段识别难的问题,通过分析TensorFlow深度学习模型结构及其特性,提出一种基于TensorFlow的恶意代码片段检测算法框架;通过分析深度学习算法训练流程及其机制,提出一种基于反向梯度训练的算法;为解决不同设备、不同文件系统的证据源中恶意代码片段特征提取问题,提出一种基于存储介质底层的二进制特征预处理算法;为进行反向传播训练,设计并实现了一个代码片段数据集制作算法。实验结果表明,基于TensorFlow的恶意代码片段检测算法针对不同存储介质以及证据存储容器中恶意代码片段的自动取证检测,综合评价指标F₁达到 0.922,并且和 CloudStrike、Comodo、FireEye 等杀毒引擎相比,该算法在处理底层代码片段数据方面具有绝对优势。     

基于Tensorflow深度学习框架的手写体数字识别模型优化及应用

优化后的基于TensorFlow的全连接神经网络模型,在手写体数字数据集上的识别正确率从91.2%提升到98.3%。增加隐藏层和加入RELU激活函数,对提升识别率效果显著,而指数衰减的学习率、滑动平均模型和正则化损失则对识别正确率无明显影响。将改进后的模型,移植到ROS操作系统中,调用已训练好的模型及参数,并将识别功能封装成ROS节点,最后运用消息机制对摄像头采集到的图像消息完成识别。     

一种基于PROLOG的ES建造工具库的研究与实现

本文描述了一基于ＰＲＯＬＯＧ的专家系统建造工具库ＰＴＥＳ的实验系统。ＰＴＥＳ是用ＰＲＯＬＯＧ编写的，该系统根据支持基于规则的知识表示及近似推理对ＰＲＯＬＯＧ的知识处理能力进行了扩充。ＰＴＥＳ的推理机制使用了可能性逻辑及模糊集合理论作为其逻辑基础并以一种形式化的方法提供了处理非确定事实及非确定规则的能力。