基于时域建模的自动语音识别

端到端神经网络能够根据特定的任务自动学习从原始数据到特征的变换,解决人工设计的特征与任务不匹配的问题。以往语音识别的端到端网络采用一层时域卷积网络作为特征提取模型,递归神经网络和全连接前馈深度神经网络作为声学模型的方式,在效果和效率两个方面具有一定的局限性。从特征提取模块的效果以及声学模型的训练效率角度,提出多时间频率分辨率卷积网络与带记忆模块的前馈神经网络相结合的端到端语音识别模型。实验结果表明,所提方法语音识别在真实录制数据集上较传统方法字错误率下降10%,训练时间减少80%。     

基于角度间隔嵌入特征的端到端声纹识别模型

针对传统身份认证矢量（i-vector）与概率线性判别分析（PLDA）结合的声纹识别模型步骤繁琐、泛化能力较弱等问题，构建了一个基于角度间隔嵌入特征的端到端模型。该模型特别设计了一个深度卷积神经网络，从语音数据的声学特征中提取深度说话人嵌入；选择基于角度改进的A-Softmax作为损失函数，在角度空间中使模型学习到的不同类别特征始终存在角度间隔并且同类特征间聚集更紧密。在公开数据集VoxCeleb2上进行的测试表明，与i-vector结合PLDA的方法相比，该模型在说话人辨认中的Top-1和Top-5上准确率分别提高了58.9%和30%；而在说话人确认中的最小检测代价和等错误率上分别减小了47.9%和45.3%。实验结果验证了所设计的端到端模型更适合在多信道、大规模的语音数据集上学习到有类别区分性的特征。     

端到端优化的图像压缩技术进展

图像压缩是数据压缩技术在数字图像上的应用,其目的是减少图像数据中的冗余,从而用更加高效的格式存储和传输数据.传统的图像压缩方法中,图像压缩分为预测、变换、量化、熵编码等步骤,每一步均采用人工设计的算法分别进行优化.近年来,基于深度神经网络的端到端图像压缩方法在图像压缩中取得了丰硕的成果,相比传统方法,端到端图像压缩可以...     

基于CNN-SIndRNN的恶意TLS流量快速识别方法

传统浅层机器学习方法在识别恶意TLS流量时依赖专家经验且流量表征不足,而现有的深度神经网络检测模型因层次结构复杂导致训练时间过长。提出一种基于CNN-SIndRNN端到端的轻量级恶意加密流量识别方法,使用多层一维卷积神经网络提取流量字节序列局部模式特征,并利用全局最大池化降维以减少计算参数。为增强流量表征,设计一种改进的循环神经网络用于捕获流量字节长距离依赖关系。在此基础上,采用独立循环神经网络IndRNN单元代替传统RNN循环单元,使用切片并行计算结构代替传统RNN的串行计算结构,并将两种类型深度神经网络所提取的特征拼接作为恶意TLS流量表征。在CTU-Maluware-Capure公开数据集上的实验结果表明,该方法在二分类实验上F1值高达0.965 7,在多分类实验上整体准确率为0.848 9,相比BotCatcher模型训练时间与检测时间分别节省了98.47%和98.28%。     

改进的轻量型网络在图像识别上的应用

针对卷积神经网络在图像识别任务上模型复杂度大、参数量多,首先提出了一种轻量化的SepNet网络结构,该结构在分类器模块上采用克罗内克积替换了传统的全连接层.为进一步优化网络结构,在特征提取模块均衡网络深度、宽度,设计了一个利用深度可分离卷积和残差网络的可分离残差模块,最终形成了一个能实现端到端训练的轻量化网络架构,称为...     

多任务学习的车辆结构化信息提取方法

目前, 大部分的车辆结构化信息需要通过多个步骤进行提取, 存在模型训练繁琐、各步骤模型训练数据有限和过程误差累加等问题. 为此, 采用多任务学习将车辆结构化信息提取整合在统一的神经网络之中, 通过共享特征提取结构, 减少过程误差累加, 并构建了一个多任务损失函数用于端到端训练神经网络; 针对训练样本有限的问题, 提出了新的数据整合和增广方法. 在KITTI数据集上实验结果表明, VSENet可以达到93.82%的mAP(均值平均精度), 且能达到实时的处理速度; 与多阶段的车辆结构化特征提取方法对比, 平均运行时间缩减了60%, 其精度能达到相似或者更好的效果; 实验结果表明, 该方法具有一定的先进性和有效性.     

基于深度学习的多用户毫米波中继网络混合波束赋形

针对传统多用户毫米波中继系统波束赋形方案计算复杂度高的问题，提出一种基于深度学习（DL）的奇异值分解（SVD）方法来设计混合波束赋形，以优化发送端、中继端和接收端波束赋形器。首先，利用DL方法设计发送端、中继端的波束赋形矩阵最大化可实现的频谱效率；然后，设计中继端、接收端的频带波束赋形矩阵以最大化等效信道增益；最后，在接收端设计最小均方误差（MMSE）滤波器消除用户间干扰。理论分析和仿真结果表明，基于DL的混合波束赋形方法相较于交替最大化（AltMax）与传统SVD方法：在高维信道矩阵和较多的用户情况下，计算复杂度分别降低了12.5%和23.44%；在已知信道状态信息（CSI）的情况下，频谱效率分别提高了2.277%和21.335%，在非完美CSI情况下，频谱效率分别提高了11.452%和43.375%。     

神经网络集成的设计与应用

传统的神经网络一般采用个体网络,其应用效果很大程度上取决于使用者的经验,且网络的泛化能力不强.一种改进的神经网络集成方法,为传统神经网络存在的问题提供了一个简易的解决方案.由理论分析和实验结果可以得出结论,神经网络集成方法比传统的个体网络方法的效果更好.     

融合人脸五官信息的深度年龄估计

本文提出了一种新型的基于人脸五官辅助的深度年龄估计方法,将传统的人脸五官区域特征提取加分类器设计方法与基于深层卷积神经网络(convolutional neural network,CNN)的端到端分类方法进行融合来解决年龄估计问题,增强了系统模型的泛化能力.该方法将面部关键点生成的局部对齐的人脸图像块作为CNN的输入,直接从图像的像素点评估年龄,采用多尺度分析网络结构极大地提高了性能,同时又利用传统算法增强了五官区域的信息.最后通过在MORPH AlbumⅡ上的实验表明文中提出方法比其他同类研究方法更加优秀.     

基于U-Net的高分辨率遥感图像语义分割方法

图像分割是遥感解译的重要基础环节,高分辨率遥感图像中包含复杂的地物目标信息,传统分割方法应用受到极大限制,以深度卷积神经网络为代表的分割方法在诸多领域取得了突破进展。针对高分辨遥感图像分割问题,提出一种基于U-Net改进的深度卷积神经网络,实现了端到端的像素级语义分割。对原始数据集做了扩充,对每一类地物目标训练一个二分类模型,随后将各预测子图组合生成最终语义分割图像。采用了集成学习策略来提高分割精度,在“CCF卫星影像的AI分类与识别竞赛”数据集上取得了94%的训练准确率和90%的测试准确率。实验结果表明,该网络在拥有较高分割准确率的同时还具有良好的泛化能力,能够用于实际工程。     

基于ResNet-BLSTM的端到端语音识别

基于深度学习的端到端语音识别模型中,由于模型的输入采用固定长度的语音帧,造成时域信息和部分高频信息损失进而导致识别率不高、鲁棒性差等问题。针对上述问题,提出了一种基于残差网络与双向长短时记忆网络相结合的模型,该模型采用语谱图作为输入,同时在残差网络中设计并行卷积层,提取不同尺度的特征,然后进行特征融合,最后采用连接时序分类方法进行分类,实现一个端到端的语音识别模型。实验结果表明,该模型在Aishell-1语音集上字错误率相较于传统端到端模型的WER下降2.52%,且鲁棒性较好。     

基于深度学习的小面积指纹匹配方法

针对传统的基于细节特征点的指纹匹配方法多适用于采集面积较大的指纹,在面向智能手机端的小采集面积指纹时准确率明显下降的问题,提出一种基于深度学习的小面积指纹匹配方法。首先,提取指纹图像的细节特征点信息;其次,搜索和标定感兴趣纹理区域（ROI）;然后,构建并改进基于残差结构的轻量级深度神经网络,通过采用二值化特征模式优化网络和Triplet Loss方式训练模型;最后,制定一种智能手机端注册-匹配策略实现小面积指纹匹配。实验结果表明,提出方法在公开库FVCDB1与自建数据库上的等错率（EER）分别仅为0.50%与0.58%,远低于传统的基于细节特征点的指纹匹配方法,能够有效提升小面积指纹匹配的性能,更好地满足智能手机端的应用需求。     

基于注意力机制的红外与可见光图像融合网络

针对现有融合方法缺乏通用性的问题,提出一种结合空间注意力和通道注意力的特征融合网络,设计一个端到端融合框架,采用两阶段的训练策略进行训练。在第一个阶段,训练一个自编码器用来提取图像的特征;在第二个阶段,使用提出的融合损失函数对融合网络进行训练。实验结果表明,该算法既能保留红外图像显著目标特征,还能在保留可见光图像细节上有很好的特性。主观和客观的实验分析验证了该算法的有效性。     

基于对齐卷积和椭圆损失函数的遥感图像目标检测算法

针对遥感图像旋转框定位过程通常会出现分类分数和定位精度不匹配、交并比计算不精确的问题,文章提出了一个鲁棒性高的单阶段对齐检测网络(Single-stage Alignment Network, SAN),首先在网络中采用了对齐卷积,解决了分类分数和定位精度不匹配的问题;其次在网络训练过程中引入椭圆损失函数,将传统采用的定位交并比的计算方式转换为椭圆区域的参数表示计算。该方法在DOTA和HRSC2016数据集上进行的实验取得了74.3%和89.0%的平均精度,分别比基线方法高出13.2%和15.5%,优于大部分的主流网络模型。     

基于视觉强化学习的数字芯片全局布局方法

在数字芯片后端设计中,全局布局需要同时兼顾线长与合法化,是一个组合优化问题。传统的退火算法或者遗传算法耗时且容易陷入局部最优,目前强化学习的解决方案也很少利用布局的整体视觉信息。为此,提出一种融合视觉信息的强化学习方法实现端到端的全局布局。在全局布局中,将电路网表信息映射为多个图像级特征,采用卷积神经网络(convolutional neural network, CNN)和图卷积网络(graph convolutional network, GCN)将图像特征和网表信息相融合,设计了一整套策略网络和价值网络,实现对全局布局的全面分析和优化。在ISPD2005基准电路上进行实验,结果证明设计的网络收敛速度加快7倍左右,布局线长减少10%～32%,重叠率为0%,可为数字芯片全局布局任务提供高效合理的方案。     

基于一维卷积混合神经网络的文本情感分类

针对情感分类中传统二维卷积模型对特征语义信息的损耗以及时序特征表达能力匮乏的问题，提出了一种基于一维卷积神经网络（CNN）和循环神经网络（RNN）的混合模型。首先，使用一维卷积替换二维卷积以保留更丰富的局部语义特征；再由池化层降维后进入循环神经网络层，整合特征之间的时序关系；最后，经过softmax层实现情感分类。在多个标准英文数据集上的实验结果表明，所提模型在SST和MR数据集上的分类准确率与传统统计方法和端到端深度学习方法相比有1至3个百分点的提升，而对网络各组成部分的分析验证了一维卷积和循环神经网络的引入有助于提升分类准确率。     

基于类解混的高光谱和多光谱图像融合算法

基于解混合的图像融合算法存在的2个问题:(1)用低分辨率高光谱图像(low-resolution hyperspectral image,LR-HSI)的光谱特征重建高分辨率高光谱图像(high-resolution hyperspectral image,HR-HSI),而LR-HSI的空间降质会导致光谱的精度损失;(2)基于非负矩阵解混的算法由于目标函数非凸性,其求解对初始值敏感,导致端元和丰度值不稳定.为解决此问题,提出基于类解混的高光谱图像融合算法.首先,利用模糊c均值算法对图像聚类,以距离聚类中心最近的像素代替解混端元,避开了直接解混导致的解不稳定问题.其次,为每类地物分别学习基于广义回归神经网络(general regression neural network,GRNN)的相同场景HR-HSI和LR-HSI在光谱域的非线性映射关系,弥补由于空间降质导致的端元光谱精度损失.文中借鉴解混合思想,由低分辨率高光谱图像的端元重建高分辨率高光谱图像的端元,将其与高分辨率多光谱图像(high-resolution multispectral image,HR-MSI)的稀疏系数结合得到HR-HSI.在4组数据集上验证本算法性能,与多种融合算法比较.实验表明,Salinas数据的实验结果在SAM,RMSE和ERGAS指标与次优的方法相比,它们的数值分别降低了5.5%,5.5%和1.6%;在Cuprite数据上数值降低了1.3%,3.9%和3.8%;在Indian Pines数据上数值分别降低了1.7%,4.0%和3.9%;在Pavia Center数据上,采用双三次插值时在SAM和ERGAS指标上与次优的方法相比数值分别降低了2.9%和8.5%;采用双线性插值时数值分别降低了3.5%和3.4%.所以,文中算法在有效地提升空间分辨率的同时,很好地保持了光谱信息.     

基于IndRNN与BN的深层图像描述模型

现有图像描述模型存在解码端层次不深、训练效率低下的问题,且生成的描述语句在语言连贯性和内容多样性方面效果欠佳,为此,提出一种基于独立循环神经网络的深层图像描述模型Deep-NIC。采用独立循环神经元与批标准化方法构建解码单元,通过解码单元的多层叠加建立深层解码端。使用谷歌inception V3作为编码端,构建深层图像描述模型。在数据集MS COCO2014上进行对比实验,结果表明,与基线模型相比,Deep-NIC模型的BLEU-4、METEOR、CIDER评分分别提升3.2%、10.3%、8.18%,其更容易训练且具有更好的拟合效果。     

基于长短期记忆神经网络的手写数字识别

手写笔迹识别是模式识别的一个重要研究领域。因为每个人的书写习惯有所不同,导致手写的字体有一定的差异。传统的Softmax模型在手写数字的识别结果上并没有达到人们的期望。目前,深度神经网络框架是模式识别领域的主流方法。长短期记忆神经网络(long-short term memory network,LSTM)是一种特殊的循环神经网络,它由输入门、遗忘门、输出门以及神经元组成。长短期记忆神经网络对于长序列问题有很好的处理。文中提出采用双向长短期记忆神经网络进行手写数字识别。采用MNIST数据集,分别使用传统的Softmax方法和双向长短期记忆神经网络方法对MNIST数据集里的图片进行识别。实验结果表明,传统的Softmax模型的正确率为92%左右,而LSTM模型的正确率达到了96.3%,提升4.3%。     

基于编码解码结构的移动端电力线语义分割方法

针对传统的视觉算法在复杂场景下检测细长电力线准确率低、受环境因素干扰大,现有基于深度学习的电线检测算法效率不高的问题,提出一种适用于移动端电力线检测的端到端全卷积神经网络模型。首先,采用一种对称的编码-解码结构,其中编码部分使用最大池化层进行下采样,以提取多尺度特征,而解码部分使用最大池化索引的非线性上采样方式逐层融合多尺度特征,以恢复图像细节;其次,针对电线像素与背景像素不平衡的问题,采用了一种加权损失函数来训练模型;最后,构建了一个背景复杂且有像素级标注的电线数据集来训练和评估模型,并重新标注了一个公开电线数据集作为不同源测试集。与现有移动端电线语义分割模型Dilated ConvNet相比,所提模型在移动端设备GPU NVIDIA JetsonTX2上对于512×512分辨率的图片的预测速度提升至Dilated ConvNet的两倍,达到8.2 frame/s所提模型在同源测试集上的平均交并比（mIoU）为0.857 3,F1分数为0.844 7,平均精度（AP）为0.927 9,这三个指标分别提升了0.011、0.014和0.008;所提模型在公开测试集上的mIoU达到0.724 4,F1分数达到0.634 1,AP达到0.664 4,这三个指标分别提升了0.004、0.007和0.032。实验结果表明,该模型具有更好的移动端电力线实时分割性能。