基于兴趣区域深度神经网络的静态面部表情识别

通过在面部表情数据集上训练深度卷积神经网络、深度稀疏校正神经网络两种模型,对两种深度神经网络在静态面部表情识别方面的应用作了对比和分析.基于面部表情的结构先验知识,提出一种面向面部表情识别的改良方法——K兴趣区域方法,该方法在构建的开放实验数据集上,降低了由于训练数据过少而导致深度神经网络模型泛化能力不佳的问题,使得混合模型普遍且显著地降低了测试错误率.进而,结合实验结果进行了深入分析,并对深度神经网络在任意图像数据集上的可能有效性进行了深入剖析和分析.     

深度学习硬件方案综述

深度学习技术促进了人工智能的迅速发展,被广泛应用于各个领域.但深度神经网络模型规模庞大、结构复杂,对其进行优化需要耗费巨大的计算资源.随着计算机硬件的快速发展,各种加速器的处理能力显著增强,为深度学习提供了硬件基础.本文首先介绍深度学习背景及其对硬件的需求;然后对当前主要的硬件加速器进行对比分析;最后进行总结展望.     

基于深度LSTM辅助卷积网络的新型自动调制分类

自动调制分类在无线频谱异常检测和无线电环境感知中将发挥重要作用.随着深度学习算法的突破,调制分类任务可利用神经网络达到前所未有的高分类精确度.文中提出了一种新颖的神经网络,称为长短期卷积深度神经网络(LCDNN).该网络创造性地结合了长短期记忆网络(LSTM)、卷积神经网络(CNN)和深度网络体系结构的优点.该模型无需...     

基于深度学习的频谱感知研究综述

频谱感知可以提高认知无线电网络的频谱利用率,但传统的频谱感知方法不能在复杂的通信环境中进行快速的频谱感知.因此,借助计算机计算能力的提升,将深度学习应用于频谱感知,以快速、智能地获得感知结果.首先,介绍在频谱感知中应用较为广泛的深度学习模型,包括卷积神经网络、长短期记忆网络和深度强化学习;其次,对近几年基于深度学习频谱...     

Mobile＿BLNet：基于Big-Little Net的轻量级卷积神经网络优化设计

针对深度卷积神经网络难以部署到资源受限的端侧设备这一问题,本文提出一种高效精简的轻量化卷积神经网络Mobile＿BLNet,在模型规模、计算量和性能之间取得了良好的平衡.该网络引入深度可分离卷积和倒残差结构,通过合理分配不同分支的运算量缩减模型规模并节省大量计算资源;采用通道剪枝操作压缩网络模型,基于占总和比值方法裁剪对模型贡献度低的卷积通道,在相同压缩效果情况下提升了分类准确率;基于通道裁剪情况重构网络,进一步降低模型所需计算资源.实验结果表明,Mobile＿BLNet结构精简、性能优异,在CIFAR-10/CIFAR-100数据集上以0.1 M/0.3 M参数量、9.6 M/12.7 M浮点计算量获得91.2%/71.5%分类准确率;在Food101/ImageNet数据集上以1.0 M/2.1 M参数量、203.0 M/249.6 M浮点计算量获得82.8%/70.9%分类准确率,满足轻量化卷积神经网络的端侧硬件高能效部署需求.     

一种基于深度神经网络的电波传播损耗模型构建方法

将传统经验模型用于电波传播损耗计算,存在泛化性差等问题,在复杂传播环境下难以取得良好的计算效果。针对该问题,本文从数据驱动的角度出发,设计了一种基于深度神经网络的电波传播损耗模型构建方法并进行了仿真验证。首先,基于辐射源与接收机的距离特征及环境特征,构建一定地域内电磁环境感知数据与地形数据的联合数据集,作为本模型的数据源;其次,构建深度神经网络,迭代训练网络参数,并通过网格搜索法优化超参数;最后,运用联合数据集与深度神经网络模型开展计算机仿真实验。结果表明,提出的方法在复杂地域电波传播损耗计算方面能够取得良好的预测精度。     

深度学习光流计算技术研究进展

图像序列光流计算是图像处理与计算机视觉等领域的重要研究方向.随着深度学习技术的快速发展,以卷积神经网络为代表的深度学习理论与方法成为光流计算技术研究的热点.本文主要对深度学习光流计算技术研究进行综述,首先介绍了有监督学习、无监督学习和半监督学习的光流计算网络模型与训练策略,然后重点阐述并分析了不同网络模型优化方法.针对光流计算模型的评估问题,分别介绍了Middlebury、MPI-Sintel和KITTI等数据库及评价基准,并对不同类型深度学习和传统变分光流模型进行对比与分析.最后,总结了深度学习光流计算技术在模型复杂度与泛化性、光流估计鲁棒性、小样本训练准确性等方面的关键技术问题,并指出了可能的解决方案与研究思路.     

基于深度谱卷积神经网络的高效视觉目标跟踪算法

提出了一种基于深度频谱卷积神经网络的视觉目标跟踪算法。该算法在深度模型训练阶段采用谱池化替代深度卷积神经网络中的最大池化过程,用贝叶斯分类器替代softmax损失层计算最大分类值,并将其整合到深度神经网络跟踪框架中,通过新网络计算输入正负样本的概率分布预测目标位置。该算法充分利用谱池化在频域下降维到任意维度且计算高效的优点,克服了最大池化采样造成大量空间信息丢失的不足,提升了计算速度。在权威多场景视频标准测试库上对所提算法进行验证,结果验证了该算法兼顾了效率和跟踪精度,有效提高跟踪器的性能,在相同测试条件下,文中算法性能优于同类对比算法。     

基于深度学习的雷达目标航迹起始方法

本文提出了一种基于深度学习的雷达目标航迹起始方法,将目标航迹起始问题转化为深度神经网络模型二分类问题—“真实航迹”类和“虚假航迹”类。首先对空间配准后的目标点迹进行环形波门粗关联,得到粗关联暂时航迹;对粗关联暂时航迹进行特征向量建模,获得深度神经网络模型输入向量;利用仿真系统雷达数据,提取神经网络模型训练样本,设计深度全连接神经网络结构,训练网络模型得到优化的模型参数;使用训练好的模型参数实时计算目标起始航迹。仿真试验证明了该算法的有效性。     

基于TensorFlow的不同深层卷积神经网络的对比与分析

自从2012年Alex~([1])提出了深度卷积神经网络模型AlexNet,相关领域的算法创新使得神经网络学习走出了低谷期,并极大的推动了深度学习在图像识别,文字处理和语音识别等领域的广泛应用。而谷歌不断更新的Tensorflow深度学习开发平台使得快速搭建复杂的极深卷积神经网络成为了可能。本文将对近年来应用广泛的VGGNet和ResNet深度卷积神经网络的模型结构进行阐述和分析,并在谷歌Tensorflow开源框架上对此类模型进行重建,训练和对比。     

基于CNN-SVM性别组合分类的单通道语音分离

实际语音分离时,混合语音的说话人性别组合相关信息往往是未知的。若直接在普适的模型上进行分离,语音分离效果欠佳。为了更好地进行语音分离,本文提出一种基于卷积神经网络-支持向量机（CNN-SVM）的性别组合判别模型,来确定混合语音的两个说话人是男-男、男-女还是女-女组合,以便选用相应性别组合的分离模型进行语音分离。为了弥补传统单一特征表征性别组合信息不足的问题,本文提出一种挖掘深度融合特征的策略,使分类特征包含更多性别组合类别的信息。本文的基于CNN-SVM性别组合分类的单通道语音分离方法,首先使用卷积神经网络挖掘梅尔频率倒谱系数和滤波器组特征的深度特征,融合这两种深度特征作为性别组合的分类特征,然后利用支持向量机对混合语音性别组合进行识别,最后选择对应性别组合的深度神经网络/卷积神经网络（DNN/CNN）模型进行语音分离。实验结果表明,与传统的单一特征相比,本文所提的深度融合特征可以有效提高混合语音性别组合的识别率;本文所提的语音分离方法在主观语音质量评估（PESQ）、短时客观可懂度（STOI）、信号失真比（SDR）指标上均优于普适的语音分离模型。     

采用DBN的TV改进方法在语种识别中的应用

近年来基于深度神经网络（Deep Neural Network,DNN）的全差异空间建模方法（Total Variability, TV）在语种识别领域得到了广泛研究。本文提出了一种基于DNN的改进TV方法,既利用了DNN对数据的音素状态对齐效果,又充分考虑了语种任务的相关性。该方法首先利用带有瓶颈层的深层神经网络(Deep Bottleneck Network, DBN)对语种数据特征按照音素状态进行聚类,得到语种任务相关通用背景模型(Universal Background Model, UBM),然后利用该UBM模型并结合深度瓶颈特征(Deep Bottleneck Feature, DBF)进行TV建模。实验表明,与经典的TV方法相比,该方法能够显著的提升系统性能和效率,并且融合后性能得到了进一步提升。      

基于改进RetinaNet的SAR图像目标检测方法

近年来,深度学习方法在合成孔径雷达(SAR)图像目标检测中得到了广泛的应用.船舶出现在近海、港口、岛礁、远洋等各种场景中,同时海洋环境复杂多变,使得船舶目标检测很难排除混乱背景的干扰.对于大纵横比、任意方向、密集分布的目标,精确定位变得更加复杂.本文基于深度学习的方法提出用于SAR图像目标检测的改进RetinaNet模...     

基于深度神经网络的单通道语音增强方法回顾

语音增强是一种试图从噪声中分离出语音的技术,目的是提高语音的质量和可懂度。在过去的几十年里,人们提出了多种类型的语音增强方法,但这些方法在非平稳噪声环境中的表现还未达到最佳程度,因为他们没有充分利用语音和噪声的先验信息。近年来,随着深度学习的发展,深度神经网络已成为当下实现语音增强的主流方法,在改善语音质量和提升可懂度方面发挥了积极作用。本文从深度神经网络的结构出发,回顾了基于深度学习的单通道语音增强方法。首先,介绍了语音增强的背景;其次,详细描述了四种不同类型神经网络实现语音增强的方法;最后,给出了未来语音增强方法的建议和本文的结论。      

使用多智能体反馈神经网络实现的数字预失真器

近年来,深度学习（Deep Learning,DL）在通信场景中的应用逐渐兴起,其中就包括射频发射机的数字预失真（Digital Predistortion,DPD）处理。然而,由于射频功率放大器（Power Amplifier,PA）固有的非线性失真和记忆效应特点,如果直接应用传统DL算法去实现DPD会出现拟合效果不佳、自适应性差等现象。针对这个问题,本文提出了一种由多智能体反馈神经网络实现的数字预失真器（Multi-Agent Feedback Enabled Neural Network for Digital Predistortion,MAFENN-DPD）,该网络引入了具有高纠错能力的反馈智能体结构,其主要特点是基于Stackelberg博弈理论去加速网络训练和收敛,同时我们还应用信息瓶颈理论指导网络超参数设计以增强MAFENN-DPD对PA记忆效应变化的动态适应能力。我们进行了一系列的实验来验证MAFENN-DPD的有效性。与使用典型前馈网络实现的DPD方案相比,基于MAFENN-DPD的方案在相邻信道功率比（Adjacent Channel Power Ratio,ACPR）指标上提高了约5 dB。同时,在没有通信过程中的大量先验知识的情况下,MAFENN-DPD实现了与使用记忆多项式方法建模的DPD方案十分接近的ACPR性能。仿真结果说明MAFENN-DPD相比传统神经网络可进一步提升ACPR性能,同时相比记忆多项式方法具有更好的自适应建模能力和通用性,并且具有多智能体反馈结构特征的神经网络未来在其他的通信场景中也具有应用推广的潜力。      

基于深度神经网络的多传感器联合信号检测方法

针对多传感器分布式接收中的信号检测问题,提出了一种最小错误概率准则下的联合检测方法。所提方法采用分布式软信息融合处理策略,将多传感器信号检测视为二元假设检验,借助深度神经网络优异的函数逼近能力,在对神经网络结构、目标函数和网络输入输出进行分析基础上,给出了基于深度神经网络的假设检验后验概率求解方法。各独立接收单元利用深度神经网络估计信号有无两种假设的后验概率,然后送入融合中心,计算联合后验概率分布,并做出判决。与传统处理过程依赖严密的数学推导不同,所提方法参数解析和特征提取无需人工解算。最后,通过仿真实验对所提方法有效性进行了验证,并与现有方法进行了对比。结果表明,所提方法能够实现多个传感器信号有效融合,随着接收单元数目增加,能够显著提升信号检测概率,并降低虚警概率;与当前典型的S/K融合方法相比,所提方法在低信噪比下具有明显优势。     

面向复杂太赫兹信道的智能调制系统设计

太赫兹通信是未来高速无线通信极具潜能的技术,受到广泛关注。在本文中,提出基于简单、稀疏空域调制的太赫兹通信系统,探索了由硬件缺陷导致的信号失真对系统性能的影响,并结合收发端失真相关性,进行了系统噪声建模,得到了发端噪声、背景噪声和收端噪声的联合模型。在此多维度噪声背景下,依据后验概率最大化准则,本文推导了太赫兹空间调制系统极大似然信号检测算法。此外,考虑到未来太赫兹通信在多域多维度通信的应用场景,传统检测算法匹配度差且复杂,本文提出了利用具有简单结构的极端学习机来实现太赫兹空间调制系统的低复杂度智能算法。仿真结果表明,本文所提出的极大似然检测算法的性能优于传统的极大似然算法,另外本文中所提出的基于极端学习机的接收机方案,其性能接近最优检测方案,并且明显优于基于深度学习网络和支持向量机的方案。      

Defect Prediction in Android Binary Executables Using Deep Neural Network

Software defect prediction locates defective code to help developers improve the security of software. However, existing studies on software defect prediction are mostly limited to the source code. Defect prediction for Android binary executables (called apks) has never been explored in previous studies. In this paper, we propose an explorative study of defect prediction in Android apks. We first propose smali2vec, a new approach to generate features that capture the characteristics of smali (decompiled files of apks) files in apks. Smali2vec extracts both token and semantic features of the defective files in apks and such comprehensive features are needed for building accurate prediction models. Then we leverage deep neural network (DNN), which is one of the most common architecture of deep learning networks, to train and build the defect prediction model in order to achieve accuracy. We apply our defect prediction model to more than 90,000 smali files from 50 Android apks and the results show that our model could achieve an AUC (the area under the receiver operating characteristic curve) of 85.98% and it is capable of predicting defects in apks. Furthermore, the DNN is proved to have a better performance than the traditional shallow machine learning algorithms (e.g., support vector machine and naive bayes) used in previous studies. The model has been used in our practical work and helped locate many defective files in apks.     

基于SENET-DEEP的CTR预测方法

深度神经网络(Deep Neural Networks,DNN)在点击率预测(CTR)领域应用广泛。这些模型通对特征之间的交互和改变深度网络结构来优化CTR预测模型。然而现有的方法忽略了特征本身的重要性的对深度网络的影响,限制了模型的学习能力。为了更好地预测用户可能点击的对象,文章提出了基于SENET机深度网络(Squeeze-and-Excitation Deep Network,SENET-Deep)模型。该模型利用Squeeze-and-Excitation Networks(SENET)动态学习特征,同时引入深度神经网络提高了模型学习隐式交互的能力,既注重了在浅层网络中学习特征重要性的能力,也引入深层网络提高了模型的泛化能力。两个真实数据集的实验表明,文中提出的模型在点击率预测性能上有着明显的提升。     

海面短波地波通信中基于DNN神经网络的单样本极化滤波器预测研究

针对海面通信受大气噪声干扰严重的问题,该文提出一种基于DNN（Deep Neural Network）神经网络的单样本极化滤波器预测模型,研究其对海面短波地波通信链路中的大气噪声的抑制作用.与传统算法不同,DNN神经网络直接从大量输入数据获取信息间的非线性特性,并以此更新网络参数,通过对模型参数调整使得模型达到最优状态.选择三种脉冲成分比例不同的大气噪声进行仿真,结果表明传统算法与DNN网络模型在低信噪比约0~15dB时对信号的误码率影响基本一致,在高信噪比约超过15dB,误码率达到10^-4时,深度学习模型比传统算法所需信噪比显著提高约5dB.实验结果验证了神经网络在单样本极化滤波器预测方向的可行性与准确性,具有很好的实用参考价值.