基于词注意力卷积神经网络模型的情感分析研究

情感分类任务需要捕获文本中的情感特征,利用重要的局部特征构建文本的特征表示。卷积神经网络(convolutional neural networks,CNN)已经被证明拥有出色的特征学习能力,但是该模型无法判别输入文本中特征词与情感的相关性,卷积层缺乏对单一词特征的提取。基于目前运用非常成功的注意力模型,该文提出一种基于词注意力的卷积神经网络模型(word attention-based convolutional neural networks,WACNN)。相比于卷积神经网络,该模型以篇章的文本信息作为输入,首先在词嵌入层之后增加注意力机制层,获取重要的局部特征词,使模型有选择地进行特征提取;然后在卷积层中增加大小为1的卷积核,提取单一词的特征;最后该方法对输入文本进行适当的文本填充,保证每个词都存在上下文信息,使模型有效提取到每个词的n-grams局部特征,避免卷积处理过程中局部信息的丢失。该模型在MR5K和CR数据集上进行验证,较普通卷积神经网络和传统机器学习方法,在准确率上分别取得0.5%和2%的提升。     

基于时序图卷积的动态网络链路预测

动态网络链路预测广泛的应用前景,使得其逐渐成为网络科学研究的热点. 动态网络链路演化过程中具有复杂的空间相关性和时间依赖性,导致其链路预测任务极具挑战. 提出一个基于时序图卷积的动态网络链路预测模型(dynamic network link prediction based on sequential graph convolution, DNLP-SGC). 针对网络快照序列不能有效反映动态网络连续性的问题,采用边缘触发机制对原始网络权重矩阵进行修正,弥补了离散快照表示动态网络存在时序信息丢失的不足. 从网络演化过程出发,综合考虑节点间的特征相似性以及历史交互信息,采用时序图卷积提取动态网络中节点的特征,该方法融合了节点时空依赖关系. 进一步,采用因果卷积网络捕获网络演化过程中潜在的全局时序特征,实现动态网络链路预测. 在2个真实的网络数据集上的实验结果表明,DNLP-SGC在precision, recall, AUC指标上均优于对比的基线模型.

     

基于3D全时序卷积神经网络的视频显著性检测

视觉是人类感知世界的重要途径之一。视频显著性检测旨在通过计算机模拟人类的视觉注意机制,智能地检测出视频中的显著性物体。目前,基于传统方法的视频显著性检测已经达到一定的水平,但是在时空信息一致性利用方面仍不能令人满意。因此,文中提出了一种基于全时序卷积神经网络的视频显著性检测方法。首先,利用全时序卷积对输入视频进行空间信息和时间信息的时空特征提取;然后,利用3D池化层进行降维;其次,在解码层中用3D反卷积和3D上采样对前端特征进行解码;最后,通过把时空信息有机地提取与融合,来有效地提升显著图的质量。实验结果表明,所提算法在3个广泛使用的视频显著性检测数据集(DAVIS,FBMS,SegTrack)上的性能优于当前主流的视频显著性检测方法。     

基于时序因果关联的网络取证研究

随着网络技术的发展,网络犯罪现象越来越多。网络取证技术是当今一种热门的动态安全技术,它采用主动出击的方法,搜集犯罪证据,查出入侵的来源,有效地防范网络入侵。针对攻击过程复杂化的特点,提出一种基于时序因果关联的取证分析方法,利用系统中收集的取证数据源（Forensics Data Source,FDS）,建立多源时间序列数据集,并分为输入时间序列和输出时间序列两类,利用时序分析技术提取输出变量的攻击事件序列和输入变量的异常点（攻击征兆）序列,建立两者之间的时态关联的传递函数,采用因果关系检验,分析网络入侵证据。     

基于因果干预与不变性的卷积预训练模型优化研究

基于卷积神经网络（CNN）的深度模型在图像识别与分类领域应用广泛,但在全局特征控制、概念层次特征不变性提取和变量之间的因果关系确定方面仍存在不足,使得深度模型缺乏灵活性、适应性及泛化性。基于因果干预和不变性,提出一种基于CNN深度模型的定向修剪和网络结构优化方法。通过对模型输入进行基于不变性的干预调制,根据生成的调制图片序列分析预训练网络卷积子结构的输出分布,筛选和定向修剪噪声敏感子结构。构建基于类间区分度的目标函数,借助经济学领域中的资本资产定价模型构建网络的层间连接,生成在单分类任务下能增大类间区分度的网络拓扑结构,逐层优化构建概念层次的稳定特征。在ImageNet-2012数据集上的实验结果表明,优化后的深度模型相比于ResNet50基线预训练模型的分类准确率约提升了5个百分点,并大幅降低了训练集规模。     

基于残差网络和门控卷积网络的语音识别研究

由于传统循环神经网络具有复杂的结构,需要大量的数据才能在连续语音识别中进行正确训练,并且训练需要耗费大量的时间,对硬件性能要求很大.针对以上问题,提出了基于残差网络和门控卷积神经网络的算法,并结合联结时序分类算法,构建端到端中文语音识别模型.该模型将语谱图作为输入,通过残差网络提取高层抽象特征,然后通过堆叠门控卷积神经...     

基于卷积词袋网络的视觉识别

近年来,卷积神经网络（CNN）凭借其强大的特征学习能力在视觉识别领域取得重要进展。针对CNN全连接层对图像平移、旋转、缩放等变换比较敏感的问题,提出了一种混合模型--卷积词袋网络（BoCW-Net）。它将BoW模型嵌入CNN结构中并代替全连接层,通过端到端的方式学习特征、字典和分类器。为实现BoCW-Net整个网络的有监督学习,提出基于方向相似度的BoCW编码。同时,为充分利用中层特征和高层特征的鉴别性,将中层辅助分类器与高层分类器集成,形成主-辅集成分类器。实验结果表明：相比全连接层,BoCW表示对各种变换具有更强的不变性;主-辅集成分类器能有效融合中层、高层特征,提高BoCW-Net的识别性能;相比新近发展的CNN模型,BoCW-Net在CIFAR-10、CIFAR-100和MNIST数据库上均取得了改进的识别性能,最终分别获得4.88%、22.48%和0.21%的测试错误率。     

一种改进时序卷积网络的序列推荐方法

序列推荐在构建现代推荐系统中起着十分重要的作用,如何对序列进行建模是当前学术界研究的热点.针对传统推荐算法难以表示用户兴趣的动态变化,基于循环神经网络的推荐方法在捕捉复杂的序列关系方面的不足,提出了一种嵌入压缩-激励模块的改进时序卷积网络来提取序列特征.模型利用扩张卷积增大感受野,捕获更多的序列关系,利用残差连接减小反...     

基于宽度注意力卷积网络的中文情绪识别方法

中文情绪识别是一项从中文文本中挖掘用户情绪信息的任务.目前在该任务中存在中文文本数据集少,识别准确率不够高等问题.因此提出了一种基于宽度注意力卷积网络的中文文本情绪识别方法,该方法首先通过ERNIE预训练模型,将原始文本转换为语义特征矩阵;然后,基于宽度学习理论构建宽度注意力模块,将语义特征矩阵输入该模块,其中,特征融...     

基于时域卷积网络的水文模型

水位预测是防洪预警工作的辅助决策支持。为了进行准确的水位预测,为预防自然灾害提供科学依据,提出一种结合改进的灰狼优化（MGWO）算法与时域卷积网络（TCN）的预测模型MGWO-TCN。针对标准灰狼优化（GWO）算法存在早熟停滞的不足引入差分进化（DE）算法,扩展灰狼种群的多样性;改进灰狼种群更新时的收敛因子和变异时的变异算子,以自适应的形式对参数进行调整,提升算法的收敛速度,均衡算法的全局与局部搜索能力;利用MGWO算法对TCN的重要参数寻优,提升TCN的预测性能。将MGWO-TCN预测模型用于河流水位预测,预测结果的均方根误差（RMSE）为0.039。实验结果表明,与对比模型相比,MGWO-TCN预测模型具有更好的寻优能力和更高的预测精度。     

基于时间序列的P2P网络综合信任模型研究

P2P网络具有动态性,自组织和匿名性等特点,从而导致网络中某些节点存在恶意行为,为了保证节点能提供可靠资源和良好服务,提出一种基于时间序列的P2P综合信任模型,使对等节点之间建立信任关系。该模型在计算直接信任度和间接信任度时引入时间衰减函数,近期的信任值衰减小,对整体信任度的影响大。通过反馈控制机制动态更新簇内节点和簇头节点的信任度,使整体信任值具有时效性,对节点信任度的评价更精确和更可靠。实验证明,该信任模型较DyTrust模型降低了节点之间的交互时延,稳定性和动态自适应性更好,检测恶意节点的能力更强,提高P2P网络的可信度,对P2P网络的安全提供有力保障。     

基于图卷积网络的文本分割模型

文本分割的主要任务是将文本按照主题相关的原则划分为若干个相对独立的文本块。针对现有文本分割模型提取文本段落结构信息、语义相关性及上下文交互等细粒度特征的不足,提出了一种基于图卷积网络（GCN）的文本分割模型TS-GCN。首先,基于文本段落的结构信息与语义逻辑构建出文本图;然后,引入语义相似性注意力来捕获文本段落节点间的细粒度相关性,并借助GCN实现文本段落节点高阶邻域间的信息传递,以此增强模型多粒度提取文本段落主题特征表达的能力。将所提模型与目前常用作文本分割任务基准的代表模型CATS及其基础模型TLT-TS进行对比。实验结果表明在Wikicities数据集上,TS-GCN在未增加任何辅助模块的情况下比TLT-TS的评价指标Pk值下降了0.08个百分点;在Wikielements数据集上,相较于CATS和TLT-TS,所提模型的Pk值分别下降了0.38个百分点和2.30个百分点,可见TLT-TS取得了较好的分割效果。     

基于Lasso-MIDAS模型的混频时间序列预测研究

针对传统的时间序列预测方法在处理复杂丰富的大数据时常面临变量间抽样频率不同、数据相关性复杂等问题,基于Lasso算法和混频数据抽样模型(MIDAS)提出了不改变数据结构的混频时序预测模型Lasso-MIDAS。该模型通过融合MIDAS处理混频信息的机制和Lasso算法的压缩特性来实现估计预测,实时修正对预测最有效的混频变量集;根据常见的正则化方法岭回归设计了Ridge-MIDAS模型用做对比。实验结果表明,Lasso-MIDAS在预测性能上优于标准MIDAS模型及对比模型,验证了该方法在混频时间序列预测方面的有效性。     

融合模糊神经网络与时序模型的火灾预警算法

为有效解决传统火灾监测器误报率高的问题,提出一种结合模糊神经网络(FNN)模型和温度时序模型(TSM)的火灾预警算法,即FNN-TSM,其研究对象包括综合管廊中的3个火灾特征参数:温度,烟雾浓度和一氧化碳浓度。建立FNN模型,获得每个数据点的孤立火灾概率;建立TSM以探测特征参数的变化率,获得每个数据点的时序火灾概率;采用复合火灾决策方法,获得最终的火灾概率。实验结果表明,该算法比其它算法具有更高的火灾预警准确率和实时性。     

基于密集连接卷积神经网络的链路预测模型

现有的基于网络表示学习的链路预测算法主要通过捕获网络节点的邻域拓扑信息构造特征向量来进行链路预测，该类算法通常只注重从网络节点的单一邻域拓扑结构中学习信息，而对多个网络节点在链路结构上的相似性方面研究不足。针对此问题，提出一种基于密集连接卷积神经网络（DenseNet）的链路预测模型（DenseNet-LP）。首先，利用基于网络表示学习算法node2vec生成节点表示向量，并利用该表示向量将网络节点的结构信息映射为三维特征数据；然后，利用密集连接卷积神经网络来捕捉链路结构的特征，并建立二分类模型实现链路预测。在四个公开的数据集上的实验结果表明，相较于网络表示学习算法，所提模型链路预测结果的ROC曲线下方面积（AUC）值最大提高了18个百分点。     

An efficient time series forecasting model based on fuzzy time series

In this paper, we present a new model to handle four major issues of fuzzy time series forecasting, viz., determination of effective length of intervals, handling of fuzzy logical relationships (FLRs), determination of weight for each FLR, and defuzzification of fuzzified time series values. To resolve the problem associated with the determination of length of intervals, this study suggests a new time series data discretization technique. After generating the intervals, the historical time series data set is fuzzified based on fuzzy time series theory. Each fuzzified time series values are then used to create the FLRs. Most of the existing fuzzy time series models simply ignore the repeated FLRs without any proper justification. Since FLRs represent the patterns of historical events as well as reflect the possibility of appearances of these types of patterns in the future. If we simply discard the repeated FLRs, then there may be a chance of information lost. Therefore, in this model, it is recommended to consider the repeated FLRs during forecasting. It is also suggested to assign weights on the FLRs based on their severity rather than their patterns of occurrences. For this purpose, a new technique is incorporated in the model. This technique determines the weight for each FLR based on the index of the fuzzy set associated with the current state of the FLR. To handle these weighted FLRs and to obtain the forecasted results, this study proposes a new defuzzification technique. The proposed model is verified and validated with three different time series data sets. Empirical analyses signify that the proposed model have the robustness to handle one-factor time series data set very efficiently than the conventional fuzzy time series models. Experimental results show that the proposed model also outperforms over the conventional statistical models.     

融合基于语言模型的词嵌入和多尺度卷积神经网络的情感分析

针对Word2Vec、GloVe等词嵌入技术对多义词只能产生单一语义向量的问题,提出一种融合基于语言模型的词嵌入（ELMo）和多尺度卷积神经网络（MSCNN）的情感分析模型。首先,该模型利用ELMo学习预训练语料,生成上下文相关的词向量;相较于传统词嵌入技术,ELMo利用双向长短程记忆（LSTM）网络融合词语本身特征和词语上下文特征,能够精确表示多义词的多个不同语义;此外,该模型使用预训练的中文字符向量初始化ELMo的嵌入层,相对于随机初始化,该方法可加快模型的训练速度,提高训练精度;然后,该模型利用多尺度卷积神经网络,对词向量的特征进行二次抽取,并进行特征融合,生成句子的整体语义表示;最后,经过softmax激励函数实现文本情感倾向的分类。实验在公开的酒店评论和NLPCC2014 task2两个数据集上进行,实验结果表明,在酒店评论数据集上与基于注意力的双向LSTM模型相比,该模型正确率提升了1.08个百分点,在NLPCC2014 task2数据集上与LSTM和卷积神经网络（CNN）的混合模型相比,该模型正确率提升了2.16个百分点,证明了所提方法的有效性。     

基于MASIF规范的网络管理模型的研究及应用

分析和总结了现代网络管理技术发展变化,以现有的CORBA和移动代理技术结合的网管系统为研究对象,发现了网管系统中存在的移动代理互操作性弱的问题.针对该问题,在对OMG组织提出的MASIF规范研究理解的基础上,给出了基于MASIF规范的网络管理系统方案,分析了此方案的可行性,并介绍了其主要实现方法.     

一种改进的人脸识别CNN结构研究

为了克服人脸识别中存在光照、姿态、颜色等噪声的干扰,融合了卷积神经网络与孪生神经网络的优点,提出了一种改进的CNN网络结构,该结构由两个卷积神经网络组成,且共享网络权值,在该结构的训练中采用了差异深度度量学习（DDML）算法。卷积结构有效地去除外界噪声干扰,且在非线性降维中权值共享结构能够自动提取相同特征,DDML算法增加了提取特征的有效性。在ORL、YaleB和AR人脸数据库上实验结果表明,与PCA、CNN等算法相比,识别稳定度高,识别率提升近5个百分点。