改进的VGG网络可提升年龄与性别预测准确率

由于深度卷积网络（Convolutional Neural Network,CNN）具有良好特征学习的性质,它得到了研究者们重点关注,并且已被广泛应用。相比较于深度CNN在物体识别与分类等任务上所达到的出色效果,其在年龄预测与人物性别识别任务上的应用还远远不能令人满意。基于公安业务背景,设计了一个深度卷积网络模型,并在证件照和Adience数据集上训练该模型,从而将其应用在人物年龄预测和性别分类上。通过基于Tensorflow的实验表明,提出的深度卷积网络模型,对人物年龄的预测准确率可达到90%以上;性别分类的准确率也达到93%以上。这明显优于现有文献中的结果。     

深度学习的双人交互行为识别与预测算法研究

基于卷积神经网络的双人交互行为识别算法存在提取的深度特征无法有效表征交互行为序列特性的问题,本文将长短期记忆网络与卷积神经网络模型相结合,提出了一种基于深度学习的双人交互行为识别与预测一体化方法。该方法在训练过程中,完成对卷积神经网络和长短期记忆网络模型的参数训练。在识别与预测过程中,将不同时间比例长度的未知动作类别的视频图像分别送入已经训练好的卷积神经网络模型提取深度特征,再将卷积神经网络提取的深度特征送入长短期记忆网络模型完成对双人交互行为的识别与预测。在国际公开的UT-interaction双人交互行为数据库进行测试的结果表明,该方法在保证计算量适当的同时对交互行为的正确识别率达到了92.31%,并且也可完成对未知动作的初步预测。     

Spindle thermal error prediction approach based on thermal infrared images: A deep learning method

It is essential to precisely model the spindle thermal error due to its dramatic influence on the machining accuracy. In this paper, the deep learning convolutional neural network (CNN) is used to model the axial and radial thermal errors of horizontal and vertical spindles. Unlike the traditional CNN model that relies entirely on thermal images, this model combines the thermal image with the thermocouple data to fully reflect the temperature field of the spindle. After pre-processing and data enhancement of the thermal images, a multi-classification model based on CNN is built and verified for accuracy and robustness. The experimental results show that the model prediction accuracy is approximately 90 %–93 %, which is higher than the BP model. When the spindle rotation speed changes, the model also shows good robustness. Real cutting tests show that the deep learning model has good applicability to the spindle thermal error prediction and compensation.     

An explainable deep learning model for prediction of early-stage chronic kidney disease

Chronic kidney disease (CKD) is a major public health concern with rising prevalence and huge costs associated with dialysis and transplantation. Early prediction of CKD can reduce the patient's risk of CKD progression to end-stage kidney failure. Artificial intelligence offers more intelligent and expert healthcare services in disease diagnosis. In this work, a deep learning model is built using deep neural networks (DNN) with an adaptive moment estimation optimization function to predict early-stage CKD. The health care applications require interpretability over the predictions of the black-box model to build conviction towards the model's prediction. Hence, the predictions of the DNN-CKD model are explained by the local interpretable model-agnostic explainer (LIME). The diagnostic patient data is trained on five layered DNN with three hidden layers. Over the unseen data, the DNN-CKD model yields an accuracy of 98.75% and a roc_auc score of 98.86% in detecting CKD risk. The explanation revealed by the LIME algorithm echoes the influence of each feature on the prediction made by the DNN-CKD model over the given CKD data. With its interpretability and accuracy, the proposed system may effectively help medical experts in the early diagnosis of CKD.     

基于残差网络和GRU的XSS攻击检测方法

传统的XSS攻击及其漏洞检测方法在面对多样化的攻击payload时其效果难以令人满意,需要大量人工参与,具有较大的主观性;而如CNN、RNN等深度学习方法只能单一地学习数据样本的空间特征或时序特征.提出一种基于残差网络和GRU的XSS攻击检测方法,在CNN基础上引入残差框架并与GRU相结合来学习数据的时空特征,且通过利...     

基于深度森林的无线传感器网络故障分类算法

针对无线传感器网络(WSN)节点容易出现故障从而导致网络瘫痪的问题,提出了一种基于改进的深度森林的无线传感器网络故障分类方法;深度森林是基于森林的集成学习方法,其输入是多维特征向量,特征向量将由多粒度扫描和级联森林这两个主要组成部分进行处理,多粒度扫描通过处理数据之间的关系来增强数据表示的能力,级联森林用于分类或预测;针对级联森林部分随着层数的增加可能造成的维数问题进行优化后,将该算法用于故障分类可以提高故障诊断的精确度;在仿真验证阶段,将该算法与深度神经网络(DNN)和支持向量机(SVM)算法进行对比;结果显示,该算法可以准确地识别出不同的故障类型,并且在损坏故障和电源故障的识别达到了最高精度,综合平均精度在98.4%;对偏移故障、漂移故障和通信故障的识别略低于卷积神经网络(CNN)算法,但综合训练时间、参数调节来看,该算法更能满足实际工程的需要。     

基于CNN-LSTM-CS工业管道腐蚀率预测模型

针对传统工业管道腐蚀率预测模型存在特征提取依赖人工经验和泛化能力不足的问题, 本文将卷积神经网络(convolutional neural network, CNN)和长短期记忆网络(long short-term memory, LSTM)相结合, 提出了基于布谷鸟优化算法(cuckoo search, CS)的CNN-LSTM-CS网络模型, 实现对工业管道腐蚀率预测. 首先, 对采集的管道腐蚀数据集进行归一化预处理; 然后, 利用CNN网络提取影响管道腐蚀率因素的深层次特征信息, 并通过训练LSTM网络构建CNN-LSTM预测模型; 最后, 采用CS算法对预测模型进行参数优化, 减少预测误差, 实现腐蚀率的精准预测. 实验结果表明, 对比几种典型的腐蚀率预测方法, 本文提出的方法具有更高的预测精度, 为工业管道腐蚀率检测提供新的思路.     

基于堆叠卷积注意力的网络流量异常检测模型

入侵检测系统（IDS）在发现网络异常和攻击方面发挥着重要作用,但传统IDS误报率较高,不能准确分析和识别异常流量。目前,深度学习技术被广泛应用于网络流量异常检测,但仅仅采用简单的深度神经网络（DNN）模型难以有效提取流量数据中的重要特征。针对上述问题,提出一种基于堆叠卷积注意力的DNN网络流量异常检测模型。通过堆叠多个以残差模块连接的注意力模块增加网络模型深度,同时在注意力模块中引入卷积神经网络、池化层、批归一化层和激活函数层,防止模型过拟合并提升模型性能,最后在DNN模型中得到输出向量。基于NSL-KDD数据集对模型性能进行评估,将数据集预处理生成二进制特征,采用多分类、二分类方式验证网络流量异常检测效果。实验结果表明,该模型性能优于KNN、SVM等机器学习模型和ANN、AlertNet等深度学习模型,其在多分类任务中识别准确率为0.807 6,较对比模型提高0.034 0~0.097 5,在二分类任务中准确率和F1分数为0.860 0和0.863 8,较对比模型提高0.013 0~0.098 8和0.030 6~0.112 8。     

Software Defect Prediction Based Ensemble Approach

Software systems have grown significantly and in complexity. As a result of these qualities, preventing software faults is extremely difficult. Software defect prediction (SDP) can assist developers in finding potential bugs and reducing maintenance costs. When it comes to lowering software costs and assuring software quality, SDP plays a critical role in software development. As a result, automatically forecasting the number of errors in software modules is important, and it may assist developers in allocating limited resources more efficiently. Several methods for detecting and addressing such flaws at a low cost have been offered. These approaches, on the other hand, need to be significantly improved in terms of performance. Therefore in this paper, two deep learning (DL) models Multilayer preceptor (MLP) and deep neural network (DNN) are proposed. The proposed approaches combine the newly established Whale optimization algorithm (WOA) with the complementary Firefly algorithm (FA) to establish the emphasized metaheuristic search EMWS algorithm, which selects fewer but closely related representative features. To find the best-implemented classifier in terms of prediction achievement measurement factor, classifiers were applied to five PROMISE repository datasets. When compared to existing methods, the proposed technique for SDP outperforms, with 0.91% for the JM1 dataset, 0.98% accuracy for the KC2 dataset, 0.91% accuracy for the PC1 dataset, 0.93% accuracy for the MC2 dataset, and 0.92% accuracy for KC3.     

基于CNN深度学习的径流预判方法及应用

为快速预判流量等级,将复杂洪水预报过程简化为径流预判任务,借鉴卷积神经网络（CNN）在图像识别领域的应用思路,研究 CNN 径流预判模型搭建过程,深入分析样本处理、网络搭建、参数率定、性能测试、精度检验、知识训练等关键环节,提出基于 CNN 深度学习的径流预判方法。根据某水库 2008—2017 年的历史运行资料,构建其入库径流等级预测 CNN 模型实例,采用 61 362 个样本进行参数训练,17 532 个样本进行模型测试,8 766 个样本进行成果检验,预测准确率为 92.94%。研究结果表明,CNN 径流预判方法可作为防汛形势分析及会商决策的重要依据。     

基于深度混合卷积模型的肺结节检测方法

基于高维肺部计算机断层扫描（CT）图像的肺结节检测是一项极具挑战性的任务。在诸多肺结节检测算法中，深度卷积神经网络（CNN）最引人注目，其中二维（2D） CNN具有预训练模型多、检测效率高等优点，应用非常广泛，但肺结节本质是三维（3D）病灶，2D CNN会不可避免地造成信息损失，从而影响检测精度。3D CNN能充分利用CT图像空间信息，有效提升检测精度，但是3D CNN存在参数多、计算消耗大、过拟合风险高等不足。为了兼顾两者的优势，提出基于深度混合CNN的肺结节检测模型，通过在神经网络模型的浅层部署3D CNN，在模型的深层部署2D CNN，并增加反卷积模块，融合了多层级的图像特征，达到了在不损失检测精度的情况下减少模型参数、增强模型泛化能力，提高检测效率的目的。在LUNA16数据集上的实验结果表明，所提出的模型在平均每次扫描8个假阳性的情况下的敏感度为0.924，优于现有的先进模型。     

A Novel Two-stage Learning Pipeline for Deep Neural Networks

In this work, a training method was proposed for Deep Neural Networks (DNNs) based on a two-stage structure. Local DNN models are trained in all local machines and uploaded to the center with partial training data. These local models are integrated as a new DNN model (combination DNN). With another DNN model (optimization DNN) connected, the combination DNN forms a global DNN model in the center. This results in greater accuracy than local DNN models with smaller amounts of data uploaded. In this case, the bandwidth of the uploaded data is saved, and the accuracy is maintained as well. Experiments are conducted on MNIST dataset, CIFAR-10 dataset and LFW dataset. The results show that with less training data uploaded, the global model produces greater accuracy than local models. Specifically, this method focuses on condition of big data.     

基于深度混合卷积模型的肺结节检测方法

基于高维肺部计算机断层扫描（CT）图像的肺结节检测是一项极具挑战性的任务。在诸多肺结节检测算法中,深度卷积神经网络（CNN）最引人注目,其中二维（2D） CNN具有预训练模型多、检测效率高等优点,应用非常广泛,但肺结节本质是三维（3D）病灶,2D CNN会不可避免地造成信息损失,从而影响检测精度。3D CNN能充分利用CT图像空间信息,有效提升检测精度,但是3D CNN存在参数多、计算消耗大、过拟合风险高等不足。为了兼顾两者的优势,提出基于深度混合CNN的肺结节检测模型,通过在神经网络模型的浅层部署3D CNN,在模型的深层部署2D CNN,并增加反卷积模块,融合了多层级的图像特征,达到了在不损失检测精度的情况下减少模型参数、增强模型泛化能力,提高检测效率的目的。在LUNA16数据集上的实验结果表明,所提出的模型在平均每次扫描8个假阳性的情况下的敏感度为0.924,优于现有的先进模型。     

基于深度置信网络的广告点击率预估的优化

随着互联网广告的飞速发展,如何预测目标用户对互联网广告的点击率（click-through rate,简称CTR）,成为精确广告推荐投放的关键技术,并成为计算广告领域的研究热点和深度神经网络的应用热点.为了提高广告点击率预估的精确度,提出了基于深度置信网络的广告点击率预估模型,并通过基于Kaggle数据挖掘平台数据集的1 000万条随机数据的实验,研究不同的隐藏层层数和隐含节点数目对预测结果的影响.为了解决深度置信网络在数据规模较大的工业界解决方案中的训练效率问题,通过实验证明：广告点击率预估中,深度置信网络的损失函数存在大量的驻点,并且这些驻点对网络训练效率有极大的影响.为了提高模型效率,从发掘网络损失函数特性入手,进一步提出了基于随机梯度下降算法和改进型粒子群算法的融合算法,以优化网络训练.融合算法在迭代步长小于阈值时可以跳出驻点平面,继续正常迭代.实验结果表明,与传统的基于梯度提升决策树和逻辑回归的广告点击率预估模型以及模糊深度神经网络模型相比,基于深度置信网络的预估模型具有更好的预估精度,在均方误差、曲线下面积和对数损失函数指标上分别提升2.39%,9.70%,2.46%和1.24%,7.61%,1.30%;使用融合方法训练深度置信网络,训练效率提高30%~70%.     

对抗彩色贴片：一种针对DNNs的对抗攻击手段

深度神经网络（deep neural networks,DNNs）在图像分类、分割、物体检测等计算机视觉应用方面表现出了先进的性能。然而,最近的研究进展表明,DNNs很容易受到输入数据的人工数字扰动（即对抗性攻击）的干扰。深度神经网络的分类准确率受到其训练数据集的数据分布的显著影响,而输入图像的颜色空间受到扭曲或扰动会产生分布不均匀的数据,这使深度神经网络更容易对它们进行错误分类。提出了一种简单且高效的攻击手段——对抗彩色贴片（AdvCS）,利用粒子群优化算法优化彩色贴片的物理参数,实现物理环境下的有效攻击。首先,提出了一个图片背景颜色变化的数据集,通过在ImageNet的一个子集上用27个不同的组合改变他们的RGB通道颜色,研究颜色变化对DNNs性能的影响。在提出的数据集上对几种最先进的DNNs架构进行了实验,结果显示颜色变化和分类准确率损失之间存在显著相关性。此外,基于ResNet 50架构,在提出的数据集上演示了最近提出的鲁棒训练技术和策略（如Augmix、Revisiting、Normalizer Free）的一些性能实验。实验结果表明,这些鲁棒训练技术可以提高深度神经网络对颜色变化的鲁棒性。然后,使用彩色半透明贴片作为物理扰动,利用粒子群优化算法优化其物理参数,将其置于摄像头上执行物理攻击,实验结果验证了提出的方法的有效性。     

基于贝叶斯优化的无标签网络剪枝算法

针对深度神经网络（DNN）的参数和计算量过大问题,提出一种基于贝叶斯优化的无标签网络剪枝算法。首先,利用全局剪枝策略来有效避免以逐层方式修剪而导致的模型次优压缩率;其次,在网络剪枝过程中不依赖数据样本标签,并通过最小化剪枝网络与基线网络输出特征的距离对网络每层的压缩率进行优化;最后,利用贝叶斯优化算法寻找网络每一层的最优剪枝率,以提高子网搜索的效率和精度。实验结果表明,使用所提算法在CIFAR-10数据集上对VGG-16网络进行压缩,参数压缩率为85.32%,每秒浮点运算次数（FLOPS）压缩率为69.20%,而精度损失仅为0.43%。可见,所提算法可以有效地压缩DNN模型,且压缩后的模型仍能保持良好的精度。     

基于图像聚类的交通标志CNN快速识别算法

为了提高交通标志图像识别的准确性和实时性,提出一种基于图像聚类的交通标志CNN快速识别算法。利用图像聚类算法对原始数据集进行样本优化;采用多种图像预处理操作使样本整体质量进一步提升;构造了深度为9的CNN结构,通过多次训练得到最终的网络模型,将待识别的图像输入到CNN模型来实现自动识别。在德国交通标志数据集（German traffic sign recognition benchmark, GTSRB）和比利时交通标志数据集（Belgium traffic sign dataset, BTSD）上证明了算法的有效性,单张图片的识别速度只需0.2 s,识别精度高达98.5%以上。本算法具有识别速度快、准确率高的特点,可为智能驾驶的可靠性和安全性提供理论依据和技术支持。     

雾无线接入网中基于神经网络的资源分配方案

考虑雾无线接入网（Fog Radio Access Network,F-RAN）中的性能优化问题,提出一种基于深度神经网络（Deep Neural Network,DNN）的资源分配方案。该方案旨在通过资源分配策略来最大化经济频谱效率（Economical Spectral Efficiency,ESE）。为解决传统资源分配方案需要大量计算的问题,该方案借助神经网络模型,将ESE作为损失函数,使用更少的计算量来确定用户的波束赋形,从而实现实时处理。仿真结果表明,相比于基于传统凸优化功率分配方案或者是基于监督学习的CNN方法,所提出的方案的光谱效率（Spectral Efficiency,SE）和ESE的最大增益分别可以达到5%和20%。此外,该方案在执行时间上与CNN方案接近,明显优于传统算法。     

雾天车道线识别方法：FoggyCULane数据集的创建

为了提高深度学习算法在雾天场景下的车道线识别率,扩充雾天车道线数据集是有效途径之一。以目前最具有权威性的CULane数据集为基础,通过对该数据集内晴天车道线图片进行单幅图像深度提取,随后依照大气散射模型生成3种不同浓度的雾天车道线图片,并保留原图的车道线标签,以此方法实现对CULane数据集的人为扩充。通过增加了107?451张带标签的雾天车道线图像,从而将原始CULane数据集扩充了1.8倍,建立了包含雾天图像的新车道线数据集FoggyCULane。分别采用原始CULane数据集和FoggyCULane数据集对SCNN车道识别网络进行训练,并将训练结果在包含3种不同浓度雾天场景的12种复杂车道线场景中进行测试评估,以验证该方法的有效性。研究结果表明,人工生成雾天场景车道线图片以扩充数据集的方法能够在薄雾情况下将雾天车道线的识别率从74.65%提升至86.65%,在中度雾下从51.41%提升至81.53%,在浓雾下从11.09%提升至70.41%。