基于LSTM的无监督域自适应行人重识别

本文提出一种基于无监督域自适应的行人重识别方法.给定有标签的源域训练集和无标签的目标域训练集,探索如何提升行人重识别模型在目标域测试集上的泛化能力.以此为目的,在模型的训练过程中,将源域和目标域训练集同时输入到模型中进行训练,提取全局特征的同时,提取局部特征进行行人图像描述以学到更加细粒度的特征.提出将长短时记忆网络(...     

基于DCGAN的手写汉字图像生成研究

使用计算机生成图像是当前计算机视觉中图像识别研究常用的一种数据增强方法。设计一种基于深度卷积生成对抗网络（DCGAN）的手写汉字图像生成模型。通过消除传统网络中的全连接层,使用批量归一化和反卷积运算来创建深度卷积和反卷积网络结构,并将它们作为生成对抗网络中的判别模型和生成模型来实现对手写汉字图像的生成。实验表明,本设计具有较好的手写体汉字图像的生成效果。     

结合频谱规范化与自注意力机制的DCGAN研究

针对基于深度卷积对抗式生成网络的图像生成方法存在训练过程稳定性亟待提高、图像生成质量效果欠佳等问题,提出一种将频谱规范化、自注意力机制与深度卷积对抗式生成网络结合的图像生成方法.在网络结构中,将频谱规范化的权重标准技术引入判别器,使判别器的参数矩阵满足Lipschitz约束,提高网络模型训练过程的稳定性;将自注意力机制...     

基于多尺度卷积和注意力机制的LSTM时间序列分类

时间序列的多尺度特征包含丰富的类别信息,且这些信息对分类具有不同的重要程度,然而现有的单变量时间序列分类模型通常以固定大小的卷积核提取序列特征,导致不能有效地获取并聚焦重要的多尺度特征。针对上述问题,提出一种基于多尺度卷积和注意力机制（MCA）的长短时记忆（LSTM）模型（MCA-LSTM）,它能够关注并融合重要的多尺度特征,从而实现更准确的分类。其中,LSTM使用记忆细胞和门机制控制序列信息的传递,并充分提取时间序列的相关性信息;多尺度卷积模块（MCM）使用具有不同卷积核的卷积神经网络（CNN）提取序列的多尺度特征;注意力模块（AM）融合通道信息获取特征的重要性并分配注意力权重,从而使网络关注重要的时间序列特征。在UCR档案的65个单变量时间序列数据集上的实验结果表明,对比当前最先进的基于深度学习的时间序列分类模型：USRL-FordA（Unsupervised Scalable Representation Learning-FordA）、USRL-Combined （1-NN） （Unsupervised Scalable Representation Learning-Combined （1-Nearest Neighbor）） OS-CNN（Omni-Scale Convolutional Neural Network）、Inception-Time和RTFN（Robust Temporal Feature Network for time series classification）,MCA-LSTM在平均错误率（ME）上分别降低了7.48、9.92、2.43、2.09和0.82个百分点,并取得了最高的算术平均排名（AMR）和几何平均排名（GMR）,分别为2.14和3.23,这些充分体现了MCA-LSTM模型在单变量时间序列分类中的有效性。     

基于DCGAN的图像生产平台的设计与实现

在人工智能领域中,常采用带标签的判别式模型,即人工识别的方式创造数据集。但是,自制数据集往往存在图像数据不均衡等问题。数据增强能制作优量的数据集,是很好的解决办法。传统的数据增强通过对原始图像裁剪、放大、缩小、旋转等操作实现,会导致样本特征缺乏多样性。而深度卷积生成对抗网络(Deep Convolution Generative Adversarial Networks,DCGAN)的出现为数据增强提供了新的方向。因此,文章基于DCGAN设计了一个图像生成平台,只需用户提供少量的图像样本,就可以获得优量的数据样本。     

基于CNN和LSTM混合模型的中文新闻文本分类

论文结合了卷积神经网络（CNN）和递归神经网络（RNN）的优点,提出了一种CNN和LSTM的混合模型。首先,使用CNN获取文本句子的特征,并使用LSTM模型捕捉文本上下文的依赖关系。然后将这两部分生成的特征向量进行融合,形成一个新的特征向量,它兼有CNN和LSTM的优点。最后,采用softmax层进行最终分类。     

基于CNN与双向LSTM的中文文本蕴含识别方法

为了避免基于传统机器学习的中文文本蕴含识别方法需要人工筛选大量特征以及使用多种自然语言处理工具造成的错误累计问题,该文提出了基于CNN与双向LSTM的中文文本蕴含识别方法。该方法使用CNN与双向LSTM分别对句子进行编码,自动提取相关特征,然后使用全连接层进行分类得到初步的识别结果,最后使用语义规则对网络识别结果进行修正,得到最终的蕴含识别结果。在2014年RITE-VAL评测任务的数据集上MacroF1结果为61.74%,超过评测第一名的结果61.51%。实验结果表明,该方法对于中文文本蕴含识别是有效的。     

基于同步压缩和DCGAN的癫痫脑电信号检测方法

脑电信号智能识别是癫痫病检测的重要手段,为更加准确地预测癫痫发作,针对目前的深度学习方法特别是卷积神经网络在脑电信号分类方面存在的一些问题,如算法复杂度过高、样本量太少导致分类效果差等,提出基于傅里叶同步压缩变换和深度卷积生成对抗网络的癫痫脑电信号检测方法。首先同步压缩方法将短时傅里叶变换处理后的信号时频能量进行压缩,使得频谱图像精度更高;其次构建深度卷积生成对抗网络来提取特征;最后实现癫痫发作预测。实验在CHB-MIT脑电数据集上进行,结果表明该方法具有97.9%的检测准确率。使用生成对抗网络有效解决了样本量不足的问题,结合同步压缩处理方法后,具有良好的识别准确性。     

基于一维卷积循环神经网络的深度强化学习算法

针对现有深度强化学习算法在状态空间维度大的环境中难以收敛的问题,提出了在时间维度上提取特征的基于一维卷积循环网络的强化学习算法;首先在深度Q网络(DQN,deep Q network)的基础上构建一个深度强化学习系统;然后在深度循环Q网络(DRQN,deep recurrent Q network)的神经网络结构基础上加入了一层一维卷积层,用于在长短时记忆(LSTM,long short-term memory)层之前提取时间维度上的特征;最后在与时序相关的环境下对该新型强化学习算法进行训练和测试;实验结果表明这一改动可以提高智能体的决策水平,并使得深度强化学习算法在非图像输入的时序相关环境中有更好的表现。     

利用LSTM网络和课程关联分类的推荐模型

在线学习课程数量庞大,存在明显的信息过载问题,个性化智能推荐是解决这一问题的有效方式。根据学习者所学习的课程往往具有时间序列性这一特点,提出了基于LSTM网络的在线课程推荐模型。从大量学习者所学习的课程序列中提取学习行为特点,进而预测学习者将要学习的课程。该算法是基于课程之间的时序性而提出的,因此按照课程之间关系的紧密程度将课程分类后推荐的准确率更高。由于在线课程不断更新,人工维护课程分类的工作量较大,同时分类也不够科学,利用GSP算法和谱聚类算法,挖掘出课程间隐藏的时序联系,提出了更合理的课程自动分类方法。实验结果证明,与传统的协同过滤算法以及基于RNN的课程推荐算法相比,该算法推荐准确度更高。     

局部语义与上下文关系的中文短文本分类算法

短文本通常是由几个到几十个词组成,长度短、特征稀疏,导致短文本分类的准确率难以提升。为了解决此问题,提出了一种基于局部语义特征与上下文关系融合的中文短文本分类算法,称为Bi-LSTM_CNN_AT,该算法利用CNN提取文本的局部语义特征,利用Bi-LSTM提取文本的上下文语义特征,并结合注意力机制,使得Bi-LSTM_CNN_AT模型能从众多的特征中提取出和当前任务最相关的特征,更好地进行文本分类。实验结果表明,Bi-LSTM_CNN_AT模型在NLP＆CC2017的新闻标题分类数据集18个类别中的分类准确率为81.31%,比单通道的CNN模型提高2.02%,比单通道的Bi-LSTM模型提高1.77%。     

用于文本分类的局部化双向长短时记忆

近年来,深度学习越来越广泛地应用于自然语言处理领域,人们提出了诸如循环神经网络(RNN)等模型来构建文本表达并解决文本分类等任务。长短时记忆(long short term memory,LSTM)是一种具有特别神经元结构的RNN。LSTM的输入是句子的单词序列,模型对单词序列进行扫描并最终得到整个句子的表达。然而,常用的做法是只把LSTM在扫描完整个句子时得到的表达输入到分类器中,而忽略了扫描过程中生成的中间表达。这种做法不能高效地提取一些局部的文本特征,而这些特征往往对决定文档的类别非常重要。为了解决这个问题,该文提出局部化双向LSTM模型,包括MaxBiLSTM和ConvBiLSTM。MaxBiLSTM直接对双向LSTM的中间表达进行max pooling。ConvBiLSTM对双向LSTM的中间表达先卷积再进行max pooling。在两个公开的文本分类数据集上进行了实验。结果表明,局部化双向LSTM尤其是ConvBiLSTM相对于LSTM有明显的效果提升,并取得了目前的最优结果。     

一种改进的LSTM模型在图像标题生成中的应用

为解决传统长短时记忆(LSTM)神经网络存在过早饱和的问题,使得对给定的图片能够生成更准确的描述,提出一种基于反正切函数的长短时记忆(ITLSTM)神经网络模型。首先,利用经典的卷积神经网络模型提取图像特征;然后,利用ITLSTM神经网络模型来表征图像对应的描述;最后在Flickr8K数据集上评估模型的性能,并与几种经典的图像标题生成模型如Google NIC等进行比较,实验结果表明本文提出的模型能够有效地提高图像标题生成的准确性。     

结合数据平衡和注意力机制的CNN+LSTM的自然语音情感识别

为了解决语音情感识别中数据集样本分布不平衡的问题,提出一种结合数据平衡和注意力机制的卷积神经网络(CNN)和长短时记忆单元(LSTM)的语音情感识别方法.该方法首先对语音情感数据集中的语音样本提取对数梅尔频谱图,并根据样本分布特点对进行分段处理,以便实现数据平衡处理,通过在分段的梅尔频谱数据集中微调预训练好的CNN模型...     

基于LSTM神经网络的声纹识别

声纹识别利用说话人生物特征的个体差异性,通过声音来识别说话人的身份.声纹具有非接触、易采集、特征稳定等特点,应用领域十分广泛.现有的统计模型方法具有提取特征单一、泛化能力不强等局限性.近年来,随着人工智能深度学习的快速发展,神经网络模型在声纹识别领域崭露头角.文中提出基于长短时记忆(Long Short-Term Memory,LSTM)神经网络的声纹识别方法,使用语谱图提取声纹特征作为模型输入,从而实现文本无关的声纹识别.语谱图能够综合表征语音信号在时间方向上的频率和能量信息,表达的声纹特征更加丰富.LSTM神经网络擅长捕捉时序特征,着重考虑了时间维度上的信息,相比其他神经网络模型,更契合语音数据的特点.文中将LSTM神经网络长期学习的优势与声纹语谱图的时序特征有效结合,实验结果表明,在THCHS-30语音数据集上取得了84.31％的识别正确率.在自然环境下,对于3 s的短语音,该方法的识别正确率达96.67％,与现有的高斯混合模型和卷积神经网络方法相比,所提方法的识别性能更优.     

时空嵌入式生成对抗网络的地点预测方法*

定位技术的广泛使用可以积累大量的用户轨迹信息,为挖掘用户的行为轨迹提供便利.地点预测任务是众多基于位置服务的基础,学者们更关注如何有效利用这些轨迹数据进行地点预测.已有的方法或关注对长期模式(数天或数月)的预测,或致力于实时轨迹预测.文中研究的问题基于上述两者之间,即对弱实时条件下(数分钟或数小时)用户下一步的访问行为进行预测.为此,提出时空嵌入式的生成对抗网络模型(ST-GAN),在序列生成对抗网络的基础上,提出时空嵌入式长短时记忆生成模型(ST-LSTM)和时空嵌入式卷积神经网络判别模型(ST-CNN).ST-LSTM利用时空信息引导LSTM训练门机制,缓解数据的稀疏性.ST-CNN利用时空信息增强判别真伪访问序列的能力.此外,ST-GAN的训练优化机制使模型可以生成更多逼近真实的数据以引导模型学习,从而得到更好的预测效果.最后在真实的轨迹数据集上的实验验证ST-GAN的有效性.     

基于LSTM的气味源距离估计

为提升基于金属氧化物半导体(Metal Oxide Semiconductor, MOS)传感器阵列估计气味源距离的精度,同时避免传统距离估计方法对手动参数设定的依赖性,提出了一种基于长短时记忆(Long Short-Term Memory, LSTM)网络的气味源距离估计方法。所提方法利用LSTM网络对长序列特征的获取能力,从MOS传感器阵列的信号中自动学习距离指标,从而实现端到端估计。搭建了气味扩散仿真平台,生成气味扩散仿真数据集用于网络训练、参数调优和验证测试。结果显示,所提出的模型在10 m范围内的平均估计误差为0.16 m,比基于统计特征的估计方法误差降低了一个数量级。最后分析了不同LSTM超参数对距离估计精度的影响,并且就网络对未知气味扩散环境条件的泛化适应能力进行了验证。     

基于CNN和LSTM的多通道注意力机制文本分类模型

针对传统的卷积神经网络（Convolutional Neural Network,CNN）和长短时记忆网络（Long Short-Term Memory,LSTM）在提取特征时无法体现每个词语在文本中重要程度的问题,提出一种基于CNN和LSTM的多通道注意力机制文本分类模型。使用CNN和LSTM提取文本局部信息和上下文特征;用多通道注意力机制（Attention）提取CNN和LSTM输出信息的注意力分值;将多通道注意力机制的输出信息进行融合,实现了有效提取文本特征的基础上将注意力集中在重要的词语上。在三个公开数据集上的实验结果表明,提出的模型相较于CNN、LSTM及其改进模型效果更好,可以有效提高文本分类的效果。