基于循环和卷积神经网络的文本分类研究

文本表示是自然语言处理的基础工作,好的文本表示方法对文本分类等自然语言处理任务的性能起着决定性作用。本文描述了一个结合了循环网络和卷积网络的文本表示和分类网络模型。在该模型中,我们使用词向量作为输入,用循环网络对文档进行表示,然后采用卷积网络对文档进行有效的特征提取,再采用Softmax回归分类。循环网络能够捕捉到文档的中词序信息,而卷积网络能够很好的提取出有用的特征。我们在六个文本分类任务中测试本文所描述的网络模型,都取得了比先前的方法更出色的性能。     

基于深度卷积神经网络的车型识别研究

近年来,深度学习中的卷积神经网络已经广泛运用于图像识别领域,它不仅显著提升了识别准确率,同时在特征提取速度方面也优于许多传统方法。本文针对高速公路环境下的车型识别问题,引入卷积神经网络（CNNs）理论,设计相应特征提取算法,并结合SVM分类器构建识别系统。通过对高速公路上主要三种车型（小车、客车、货车）的分类实验显示,本文方法在识别精度及速度上均取得较显著的提高。     

Recursive Bayesian Recurrent Neural Networks for Time-Series Modeling

This paper develops a probabilistic approach to recursive second-order training of recurrent neural networks (RNNs) for improved time-series modeling. A general recursive Bayesian Levenberg–Marquardt algorithm is derived to sequentially update the weights and the covariance (Hessian) matrix. The main strengths of the approach are a principled handling of the regularization hyperparameters that leads to better generalization, and stable numerical performance. The framework involves the adaptation of a noise hyperparameter and local weight prior hyperparameters, which represent the noise in the data and the uncertainties in the model parameters. Experimental investigations using artificial and real-world data sets show that RNNs equipped with the proposed approach outperform standard real-time recurrent learning and extended Kalman training algorithms for recurrent networks, as well as other contemporary nonlinear neural models, on time-series modeling.      

Improved Convolutional Neural Networks for Acoustic Event Classification

Multimedia Tools and Applications - To further exploit the potential performance of convolutional neural networks in acoustic event classification, an improved convolutional neural network called...     

深度卷积神经网络在心音分类方法中的应用

通过分析心音信号对心脏早期的病理状态进行确诊具有重要的意义.提出了一种基于深度卷积神经网络的心音分类方法.将心音信号转化成具有时频特性的梅尔频谱系数(Mel Frequency Spectral Coefficient,MFSC)特征图,将其作为深度卷积神经网络模型的输入;利用深度卷积神经网络对MFSC特征图进行训练,...     

Hybrid Feedforward Neural Networks for Solving Classification Problems

A novel multistage feedforward network is proposed for efficient solving of difficult classification tasks. The standard Radial Basis Functions (RBF) architecture is modified in order to alleviate two potential drawbacks, namely the curse of dimensionality and the limited discriminatory capacity of the linear output layer. The first goal is accomplished by feeding the hidden layer output to the input of a module performing Principal Component Analysis (PCA). The second one is met by substituting the simple linear combiner in the standard architecture by a Multilayer Perceptron (MLP). Simulation results for the 2-spirals problem and Peterson-Barney vowel classification are reported, showing high classification accuracy using less parameters than existing solutions.     

字符级卷积神经网络短文本分类算法

由于短文本具有长度短、特征稀疏以及上下文依赖性强等特点，传统方法对其直接进行分类精度有限。针对该问题，提出了一种基于字符级嵌入的卷积神经网络（CNN）和长短时记忆网络（LSTM）相结合的神经网络模型进行短文本的分类。该模型同时包括了高速公路网络（Highway networks）框架，用于缓解深度神经网络训练时的困难，提高分类的准确性。通过对几种数据集的测试，结果表明提出的模型在短文本分类任务中优于传统模型和其他基于CNN的分类模型。     

基于贝叶斯分类算法的木马程序流量识别方法

针对传统计算机杀毒产品对木马程序识别问题上存在的资源消耗和杀毒滞后问题,结合网络流量的分类算法提取各种应用服务流量的特征属性,文章采用朴素贝叶斯分类算法对网络中木马程序流量进行识别。这种方法可以在一定程度上解决现有计算机杀毒产品资源消耗和杀毒滞后的问题。实验结果表明,对于网络中处在待机状态下的木马程序产生的数据流识别效果明显,只需较少量的训练样本即可获得较高的识别率。     

基于复杂网络的 Internet 流量分析

基于复杂网络理论对 Internet 网络结构进行分析,模拟 Internet 网络中选择服务器的过程,建立一个基于距离和流量的 Internet 自组织网络结构模型(FDM).通过仿真Internet 网络数据传输过程,分析比较 FDM 与 BBV 模型的丢包率,研究 Interact 网络中心连接节点的缓存器容量、...     

网络流量的决策树分类

应用识别与流量分类是网络管理、安全、研究等相关事务的必要前提.随着网络的高速发展以及各种新型应用的不断涌现,基于分组传输层端口号和深度分组解析的分类技术难以满足需求.本文验证网络流量的统计特性可以有效地区分不同应用,提出一种基于C4.5决策树分类器的有监督网络流量分类方法,讨论boosting增强方法和特征选择两种改进.实验结果表明,C4.5分类器的训练复杂度适中,准确率高且分类速度快;增强方法可以进一步提高分类器的准确率,代价是训练时间大幅提高和分类时间稍微减慢;特征选择算法则提高分类速度而稍微降低准确率.     

基于支持向量机的Internet流量分类研究

准确的网络流量分类是众多网络研究工作的基础,也一直是网络测量领域的研究热点.近年来,利用机器学习方法处理流量分类问题成为了该领域一个新兴的研究方向.在目前研究中应用较多的是朴素贝叶斯(naive Bayes,NB)及其改进算法.这些方法具有实现简单、分类高效的特点.但该方法过分依赖于样本空间的分布,具有内在的不稳定性.因此,提出一种基于支持向量机(sulbport vector machine,SVM)的流量分类方法.该方法利用非线性变换和结构风险最小化(structural risk minimization,SRM)原则将流量分类问题转化为二次寻优问题,具有良好的分类准确率和稳定性.在理论分析的基础上,通过在实际网络流集合上与朴素贝叶斯算法的对比实验,可以看出使用支持向量机方法处理流量分类问题,具有以下3个优势:1)网络流属性不必满足条件独立假设,无须进行属性过滤;2)能够在先验知识相对不足的情况下,仍保持较高的分类准确率;3)不依赖于样本空间的分布,具有较好的分类稳定性.     

Classification of human brain tumours from MRS data using Discrete Wavelet Transform and Bayesian Neural Networks

The diagnosis of brain tumours is an extremely sensitive and complex clinical task that must rely upon information gathered through non-invasive techniques. One such technique is Magnetic Resonance Spectroscopy. In this task, radiology experts are likely to benefit from the support of computer-based systems built around robust classification processes. In this paper, a Discrete Wavelet Transform procedure was applied to the pre-processing of spectra corresponding to several brain tumour pathologies. This procedure does not alleviate the high dimensionality of the data by itself. For this reason, dimensionality reduction was subsequently implemented using Moving Window with Variance Analysis for feature selection or Principal Component Analysis for feature extraction. The combined method yielded very encouraging results in terms of diagnostic discriminatory binary classification using Bayesian Neural Networks. In most cases, the classification accuracy improved on previously reported results.     

基于IPSO的模糊神经网络优化及交通流量预测

在基于模糊神经网络的交通流量预测中,神经网络的各节点参数优化是最关键的。采用粒子群算法优化模糊神经网络的参数。针对粒子群算法易于陷入局部最优的缺点,提出一种改进的粒子群优化算法,并将改进的算法用于路口交通流量预测。仿真结果表明,该算法的收敛速度和预测精度优于传统粒子群算法、BP算法,提高了交通流量预测的精度和速度。     

CSCNN: Cost-Sensitive Convolutional Neural Network for Encrypted Traffic Classification

Neural Processing Letters - By the rapid development of the Internet and online applications, traffic classification not only has changed to an interesting topic in the field of computer networks...     

基于神经网络的城市快速路交通拥堵判别算法

针对城市快速路的常发性拥堵和偶发性交通拥堵,提出了一种基于神经网络的自动判别算法.该方法利用改进的自适应梯度算法优化神经网络的权值参数,既能保证神经网络参数收敛到全局最优值,又具有快的学习速度,提高了神经网络的检测效果.利用微观交通仿真软件PARAMICS建立了城市快速路网,通过多次仿真获得了包含各种交通拥堵的学习样本,增强了算法的鲁棒性.将训练好的神经网络对多种实际的交通数据进行了仿真试验.实验结果表明,该算法在城市快速路交通拥堵判别中具有较高的检测率和较低的误报率.     

基于机器学习的IP流量分类研究

IP流量分类是Internet研究和流量工程的重要基础,近年来网络应用类别和Internet流数量在快速增长。流量分类技术不断面临新的挑战。对基于机器学习的IP流量分类方法进行了系统性研究。给出了这类流量分类方法的数学描述;通过深入研究有监督和无监督机器学习方法在流量分类中的应用,从数据预处理、模型构建和模型评估3个方面评述这类技术的研究现状,并指出存在的问题;总结得出现阶段基于机器学习的IP流量分类技术存在数据偏斜、标识瓶颈、属性变化和实时分类等4个方面的共性问题;最后展望了流量分类技术的未来发展方向并介绍了作者正在进行的工作。     

基于C4.5决策树的流量分类方法

近年来,利用机器学习方法处理流量分类问题成为网络测量领域一个新兴的研究方向.在现有研究中,朴素贝叶斯方法及其改进算法以其实现简单、分类高效的特点而被广泛应用.但此类方法过分依赖于样本在样本空间的分布,具有潜在的不稳定性.为此,引入C4.5决策树方法来处理流量分类问题.该方法利用训练数据集中的信息熵来构建分类模型,并通过对分类模型的简单查找来完成未知网络流样本的分类.理论分析和实验结果都表明,利用C4.5决策树来处理流量分类问题在分类稳定性上均具有明显的优势.     

采用变结构动态贝叶斯网络的交通流量预测

物联网和大数据流式计算的快速发展为智能交通系统的研究带来新的机遇。交通流量预测一直是智能交通系统的关键问题。针对交通流量预测中一个固定模型无法适应多种环境的问题,以及面向数据流的模型更新问题,提出了一种基于变结构动态贝叶斯网络的交通流量预测方法。该方法以复杂事件处理和事件上下文为基础,通过上下文聚类进行历史数据的划分,并通过事件流在线聚类支持聚簇的更新。面向不同聚簇的数据,采取搜索-打分的方法学习对应的贝叶斯网络结构,基于高斯混合模型实现贝叶斯网络的近似推断。在线预测时根据当前上下文选择合适的模型或模型组合进行预测。真实和仿真数据上的实验结果表明,该方法能够获得比当前常用方法更好的预测效果。     

Oian基于神经网络的蛋白质序列分类研究

提出了基于Levenberg-Marquardt(LM)算法的BP神经网络对蛋白质序列进行家族分类的新方法．该方法采用二肽含量对蛋白质序列进行特征提取，根据影响因子评价特征的相对重要性，用改进的BP神经网络LM优化算法构造一个三层人工神经网络，通过对PIR数据库中三类家族的学习，该网络对未知蛋白质序列分类的准确率分别达到了98．9％．98．1％，97．8％。     

Ensemble of Evolving Neural Networks in Classification

The ensemble of evolving neural networks, which employs neural networks and genetic algorithms, is developed for classification problems in data mining. This network meets data mining requirements such as smart architecture, user interaction, and performance. The evolving neural network has a smart architecture in that it is able to select inputs from the environment and controls its topology. A built-in objective function of the network offers user interaction for customized classification. The bagging technique, which uses a portion of the training set in multiple networks, is applied to the ensemble of evolving neural networks in order to improve classification performance. The ensemble of evolving neural networks is tested by various data sets and produces better performance than both classical neural networks and simple ensemble methods.