统计流形扩散核的文本分类方法

提出Dirichlet混合多项式(DCM)流形,并利用DCM流形可与正半球流形建立同胚和等距关系的性质,通过拉回映射将正半球流形的测地距离映射为DCM流形的测地距离,从而在DCM流形上建立距离度量,构建统计流形上的Dirichlet混合多项式扩散核和Dirichlet混合多项式倒排文档频率(DCMIDF)扩散核。利用WebKBTop4和20Newsgroups语料库上进行实验,DCM流形能比欧氏空间更能准确地描述文本。与多项式核支持向量机算法、,负测地距离核支持向量机算法相比,实验结果显示文中基于DCM扩散核和DCMIDF扩散核的支持向量机算法可取得良好的文本分类效果。     

基于自联想记忆与卷积神经网络的跨语言情感分类

该文提出了一种以商品评论为对象的基于语义融合的跨语言情感分类算法。该算法首先从短文本语义表示的角度出发,基于开源工具Word2Vec预先生成词嵌入向量来获得不同语言下的信息表示;其次,根据不同语种之间的词向量的统计关联性提出使用自联想记忆关系来融合提取跨语言文档语义;然后利用卷积神经网络的局部感知性和权值共享理论,融合自联想记忆模型下的复杂语义表达,从而获得不同长度的短语融合特征。深度神经网络将能够学习到任意语种语义的高层特征致密组合,并且输出分类预测。为了验证算法的有效性,将该模型与最新几种模型方法的实验结果进行了对比。实验结果表明,此模型适用于跨语言情感语料正负面情感分类,实验效果明显优于现有的其他算法。     

Visualizing Collective Attention Using Association Networks

The socialization of the Web changes the ways we behave both online and offline, leading to a novel emergent phenomenon called “collective attention” in which people’s attention is suddenly concentrated on a particular real-life event. Visualizing collective attention is fundamental to understand human behavior in the digital age. Here we propose “association networks” to visualize usage-based, term-association patterns in a large dataset of tweets (short text messages) during collective attention events. First, we train the word2vec model to obtain vector representations of terms (words) based on semantic similarities, and then construct association networks: given some terms as seeds, the associated terms are linked with each other using the trained word2vec model, and considering the resulting terms as new seeds, the same procedure is repeated. Using two sets of Twitter data—the 2011 Japan earthquake and the 2011 FIFA Women’s World Cup—we demonstrate how association networks visualize collective attention on these events. Provided the Japan earthquake dataset, the association networks that emerged from the most frequently used terms exhibit distinct network structure related to people’s attention during the earthquake, whereas one that emerged from emotion-related terms, such as great and terrible, shows a large connected cluster of negative terms and small clusters of positive terms. Furthermore, we compare association networks in different datasets, using the same seed terms. These results indicate the proposed method to be a useful tool for visualizing the implicit nature of collective attention that is otherwise invisible.     

基于BiLSTM模型的漏洞检测

随着计算机技术应用的不断深化,软件的数量和需求不断增加,开发难度不断升级。代码复用以及代码本身的复杂度,使得软件中不可避免地引入了大量漏洞。这些漏洞隐藏在海量代码中很难被发现,但一旦被人利用,将导致不可挽回的经济损失。为了及时发现软件漏洞,首先从源代码中提取方法体,形成方法集;为方法集中的每个方法构建抽象语法树,借助抽象语法树抽取方法中的语句,形成语句集;替换语句集中程序员自定义的变量名、方法名及字符串,并为每条语句分配一个独立的节点编号,形成节点集。其次,运用数据流和控制流分析提取节点间的数据依赖和控制依赖关系。然后,将从方法体中提取的节点集、节点间的数据依赖关系以及控制依赖关系组合成方法对应的特征表示,并运用one-hot编码进一步将其处理为特征矩阵。最后,为每个矩阵贴上是否含有漏洞的标签以生成训练样本,并利用神经网络训练出相应的漏洞分类模型。为了更好地学习序列的上下文信息,选取了双向长短时记忆网络(Bidirectional Long Short-Term Memory Networks,BiLSTM)神经网络,并在其上增加了Attention层,以进一步提升模型性能。实验中,漏洞检测结果的精确率和召回率分别达到了95.3%和93.5%,证实了所提方法能够较为准确地检测到代码中的安全漏洞。     

基于Multi-head Attention和Bi-LSTM的实体关系分类

关系分类是自然语言处理领域的一项重要任务,能够为知识图谱的构建、问答系统和信息检索等提供技术支持.与传统关系分类方法相比较,基于神经网络和注意力机制的关系分类模型在各种关系分类任务中都获得了更出色的表现.以往的模型大多采用单层注意力机制,特征表达相对单一.因此本文在已有研究基础上,引入多头注意力机制（Multi-head attention）,旨在让模型从不同表示空间上获取关于句子更多层面的信息,提高模型的特征表达能力.同时在现有的词向量和位置向量作为网络输入的基础上,进一步引入依存句法特征和相对核心谓词依赖特征,其中依存句法特征包括当前词的依存关系值和所依赖的父节点位置,从而使模型进一步获取更多的文本句法信息.在SemEval-2010任务8数据集上的实验结果证明,该方法相较之前的深度学习模型,性能有进一步提高.     

基于遗传策略和神经网络的非监督分类方法

文章提出了一种新的基于遗传策略和模糊ART(adaptive resonance theory)神经网络的非监督分类方法.首先,利用原有的训练样本对模糊ART神经网络进行非监督训练,然后,采用遗传策略为模糊ART神经网络增加各类族边界邻域内的训练样本点,再对模糊ART神经网络进行有监督训练.这种方法解决了训练样本在较少条件下的ART系列神经网络的学习与分类问题,提高了ART系列神经网络的分类性能,并扩展了其应用范围.     

基于仿生模式识别的构造型神经网络分类方法

提出了一种基于仿生模式识别理论的神经网络构造方法.仿生模式理论认为:"同类而不完全相等的事物之间,必至少存在一个渐变过程,在这个渐变过程中间的各事物都是属于同一类的".利用这一理论,从不同结构神经元模型在高维空间中的几何意义出发,通过对一种新型的神经网络的构造,实现了对不同类样本在高维空间中形成的不同形状几何体的覆盖,从而达到分类的目的.通过双螺旋曲线的分类实验,证明了这种神经网络具有很好的识别效果.     

应用统计方法综合评估核函数分类能力的研究

应用统计方法对支持向量机方法中核函数选择问题进行了研究.文中将"纠正重复取样t测试"引入到核函数选择中,通过其与k-折交叉验证、配对t测试等多种统计方法的综合应用,对9个常用核函数的分类能力进行了定量研究.同时,文中还提出了基于信息增益的评估核函数模式识别能力的定量评估准则,证明了该准则是传统评估准则的非线性函数.数值实验表明,不同模型评估准则之间存在差异,但应用统计方法可以从这些差异中发现一些规律.同时,不同统计方法之间也存在显著差异,且这种差异对模型评估的影响要大于由于评估准则的不同而产生的影响.因此,只有应用综合的评估方法和准则才能对不同核函数的分类能力进行客观评估.     

利用LSTM网络和课程关联分类的推荐模型

在线学习课程数量庞大,存在明显的信息过载问题,个性化智能推荐是解决这一问题的有效方式。根据学习者所学习的课程往往具有时间序列性这一特点,提出了基于LSTM网络的在线课程推荐模型。从大量学习者所学习的课程序列中提取学习行为特点,进而预测学习者将要学习的课程。该算法是基于课程之间的时序性而提出的,因此按照课程之间关系的紧密程度将课程分类后推荐的准确率更高。由于在线课程不断更新,人工维护课程分类的工作量较大,同时分类也不够科学,利用GSP算法和谱聚类算法,挖掘出课程间隐藏的时序联系,提出了更合理的课程自动分类方法。实验结果证明,与传统的协同过滤算法以及基于RNN的课程推荐算法相比,该算法推荐准确度更高。     

Simultaneous Multi-Attribute Image-to-Image Translation Using Parallel Latent Transform Networks

Image-to-image translation has been widely studied. Since real-world images can often be described by multiple attributes, it is useful to manipulate them at the same time. However, most methods focus on transforming between two domains, and when they chain multiple single attribute transform networks together, the results are affected by the order of chaining, and the performance drops with the out-of-domain issue for intermediate results. Existing multi-domain transfer methods mostly manipulate multiple attributes by adding a list of attribute labels to the network feature, but they also suffer from interference of different attributes, and perform worse when multiple attributes are manipulated. We propose a novel approach to multi-attribute image-to-image translation using several parallel latent transform networks, where multiple attributes are manipulated in parallel and simultaneously, which eliminates both issues. To avoid the interference of different attributes, we introduce a novel soft independence constraint for the changes caused by different attributes. Extensive experiments show that our method outperforms state-of-the-art methods.     

基于并行深度卷积神经网络的图像美感分类

随着计算机和社交网络的飞速发展, 图像美感的自动评价产生了越来越大的需求并受到了广泛关注. 由于图像美感评价的主观性和复杂性, 传统的手工特征和局部特征方法难以全面表征图像的美感特点, 并准确量化或建模. 本文提出一种并行深度卷积神经网络的图像美感分类方法, 从同一图像的不同角度出发, 利用深度学习网络自动完成特征学习, 得到更为全面的图像美感特征描述; 然后利用支持向量机训练特征并建立分类器, 实现图像美感分类. 通过在两个主流的图像美感数据库上的实验显示, 本文方法与目前已有的其他算法对比, 获得了更好的分类准确率.     

Increment Learning and Rapid Retrieval of Visual Information Based on Pattern Association Memory

In this paper, we present a simple yet powerful visual memory model called Increment Pattern Association Memory Model to achieve increment learning and rapid retrieval of visual information. We extend the basic pattern association network by learning patterns based on Leabra framework which combines error-driven learning and Hebbian learning together. In the proposed model, image features act as conditioned stimulus and class labels act as unconditioned stimulus. Increment Learning is achieved by assigning individual synaptic weight to different categories. Meanwhile, k-winners-take-all inhibitory competition function is employed to achieve sparse distributed representations. In addition, normalized dot product is used to realize rapid recall of visual memory. To evaluate the performance of the proposed model, we conduct a series of experiments on three benchmark datasets using three feature-extraction methods. Experimental results demonstrate that the proposed model has a compelling advantage over some prevalent neural networks such as SOINN, BPNN, Biased ART and Self-supervised ART.     

Texture Classification and Segmentation by Cellular Neural Networks Using Genetic Learning

We present a new single-chip texture classifier based on the cellular neural network (CNN) architecture. Exploiting the dynamics of a locally interconnected 2D cell array of CNNs we have developed a theoretically new method for texture classification and segmentation. This technique differs from other convolution-based feature extraction methods since we utilize feedback convolution, and we use a genetic learning algorithm to determine the optimal kernel matrices of the network. The CNN operators we have found for texture recognition may combine different early vision effects. We show how the kernel matrices can be derived from the state equations of the network for convolution/deconvolution and nonlinear effects. The whole process includes histogram equalization of the textured images, filtering with the trained kernel matrices, and decision-making based on average gray-scale or texture energy of the filtered images. We present experimental results using digital CNN simulation with sensitivity analysis for noise, rotation, and scale. We also report a tested application performed on a programmable 22 × 20 CNN chip with optical inputs and an execution time of a few microseconds. We have found that this CNN chip with a simple 3 × 3 CNN kernel can reliably classify four textures. Using more templates for decision-making, we believe that more textures can be separated and adequate texture segmentation (< 1% error) can be achieved.     

训练模式摄动对模糊形态学联想记忆网络的影响

众多学者研究的两类形态学联想记忆网络的存储能力、抗腐蚀/膨胀噪声的能力等性质几乎都相同。但是文中研究发现两类网络对训练模式摄动的鲁棒性差异很大。一类对训练模式摄动拥有好的鲁棒性,而另一类则较差。该研究结论能为形态学联想记忆网络的学习算法选择和训练模式采集设备的精度要求提供指导,对前期训练模式的获取过程提供警示。     

基于BP神经网络的就业招聘企业客户分类问题研究

在高校就业信息化建设中,对进入高校招聘毕业生的企业客户进行等级分类和预测能够有效帮助高校管理者评估与该企业的合作效用,推动大学生就业信息化服务向更具针对性的个性化推荐方向发展。目前该问题的解决方案大多基于从业人员的主观经验判断,缺乏完善的定量分析模型。抽取某高校教育管理信息系统中与进校招聘企业客户相关的数据样本,并借助BP神经网络模型搭建有效的数据分析模型,使用训练样本数据训练模型从而确定分析模型中各节点参数,将训练后的分析模型用于预测测试样本集得到最终的性能指标,最后将该模型的分类性能与当前同类问题的其他解决方案进行比较。对比结果显示,基于BP神经网络模型的分类方式在预测准确度和精度方面明显优于其他现有模型。该研究成果能够在信息化平台中为该问题提供高效的解决方案,帮助高校就业工作管理者及服务人员依靠该模型对进校招聘企业做出快速精准的客户等级预测,为高校就业服务工作决策提供支持。     

基于排序的关联分类算法

提出了一种基于排序的关联分类算法.利用基于规则的分类方法中择优方法偏爱高精度规则的思想和考虑尽可能多的规则,改进了CBA(Classification Based on Associations)只根据少数几条覆盖训练集的规则构造分类器的片面性.首先采用关联规则挖掘算法产生后件为类标号的关联规则,然后根据长度、置信度、支持度和提升度等对规则进行排序,并在排序时删除对分类结果没有影响的规则.排序后的规则加上一个默认分类便构成最终的分类器.选用20个UCI公共数据集的实验结果表明,提出的算法比CBA具有更高的平均分类精度.     

基于混合神经网络的脑电时空特征情感分类

提出一种脑电图（electroencephalograph,简称EEG）数据表示方法,将一维链式EEG向量序列转换成二维网状矩阵序列,使矩阵结构与EEG电极位置的脑区分布相对应,以此来更好地表示物理上多个相邻电极EEG信号之间的空间相关性.再应用滑动窗将二维矩阵序列分成一个个等长的时间片段,作为新的融合了EEG时空相关性的数据表示.还提出了级联卷积-循环神经网络（CASC_CNN_LSTM）与级联卷积-卷积神经网络（CASC_CNN_CNN）这两种混合深度学习模型,二者都通过CNN卷积神经网络从转换的二维网状EEG数据表示中捕获物理上相邻脑电信号之间的空间相关性,而前者通过LSTM循环神经网络学习EEG数据流在时序上的依赖关系,后者则通过CNN卷积神经网络挖掘局部时间与空间更深层的相关判别性特征,从而精确识别脑电信号中包含的情感类别.在大规模脑电数据集DEAP上进行被试内效价维度上两类情感分类实验,结果显示,所提出的CASC_CNN_LSTM和CASC_CNN_CNN网络在二维网状EEG时空特征上的平均分类准确率分别达到93.15%和92.37%,均高于基准模型和现有最新方法的性能,表明该模型有效提高了EEG情感识别的准确率和鲁棒性,可以有效地应用到基于EEG的情感分类与识别相关应用中.     

基于功率谱密度与卷积神经网络的心音分类

正常与异常心音分类在心血管疾病的筛查中有着重要的作用.建立在无心音分割的基础上,提出了一种基于功率谱密度时频分布特征与卷积神经网络的心音分类方法.该方法采用小波降噪做预处理,通过循环自相关获取心动周期,采用双线性插值法提取维度一致的心动周期功率谱密度时频特征,并送入卷积神经网络进行训练与测试.实验采用Challenge...