中文长短期记忆网络的情感分析

文中探讨了循环神经网络（RNN）在文本情感分析中的应用，并提出了一种新的混合模型——LSTM-CNN文本情感分析模型，它融合了长短时记忆网络（LSTM）和卷积神经网络（CNN）的优势，可以更好地处理文本数据中的上下文信息和局部特征。为了验证模型的有效性，文中使用开源爬虫工具抓取了《流浪地球2》的豆瓣评论构建数据集，然后对所提模型进行了训练和测试。结果表明，当词向量维度为100时，模型的性能达到最优，此时的精确率、召回率、F1值和准确率分别为84.2%，88.6%，86.2%和90.0%，证实了该模型在文本情感分类任务上的优越性。     

基于高效用神经网络的文本分类方法

现有的基于深度学习的文本分类方法没有考虑文本特征的重要性和特征之间的关联关系,影响了分类的准确率.针对此问题,本文提出一种基于高效用神经网络（High Utility Neural Networks,HUNN）的文本分类模型,可以有效地表示文本特征的重要性及其关联关系.利用高效用项集挖掘（Mining High Utility Itemsets,MHUI）算法获取数据集中各个特征的重要性以及共现频率.其中,共现频率在一定程度上反映了特征之间的关联关系.将MHUI作为HUNN的挖掘层,用于挖掘每个类别数据中重要性和关联性强的文本特征.然后将这些特征作为神经网络的输入,再经过卷积层进一步提炼类别表达能力更强的高层次文本特征,从而提高模型分类的准确率.通过在6个公开的基准数据集上进行实验分析,提出的算法优于卷积神经网络（Convolutional Neural Networks,CNN）,循环神经网络（Recurrent Neural Networks,RNN）,循环卷积神经网络（Recurrent Convolutional Neural Networks,RCNN）,快速文本分类（Fast Text Classifier,FAST）,分层注意力网络（Hierarchical Attention Networks,HAN）等5个基准算法.     

基于Faster-RCNN的极验点选式验证码识别

针对传统方法难以识别极验点选式验证码的问题,文中提出一种基于Faster-RCNN目标检测模型和卷积神经网络的识别方法。通过简化的RPN提高Faster-RCNN对于背景图片文本定位的精度,再设计卷积神经网络对文本进行分类识别,并训练Tesseract-OCR识别库对信息提示文本进行识别,实现背景图片文本识别结果与信息提示文本识别结果一一对应,达到识别此类验证码的目的。实验结果表明,该方法识别此类验证码的准确率达到72.4%。     

集成学习在短文本分类中的应用研究

为了进一步提高基于深度神经网络短文本分类性能,提出将集成学习方法应用于5种不同的神经网络文本分类器,即卷积神经网络、双向长短时记忆网络、卷积循环神经网络、循环卷积神经网络、分层注意力机制神经网络,分别对两种集成学习方法(Bagging,Stacking)进行了测试。实验结果表明:将多个神经网络短文本分类器进行集成的分类性能要优于单一文本分类模型;进一步两两集成的实验验证了单个模型对短文本分类性能的贡献率。     

基于循环卷积多任务学习的多领域文本分类方法

文本分类任务中,不同领域的文本很多表达相似,具有相关性的特点,可以解决有标签训练数据不足的问题。采用多任务学习的方法联合学习能够将不同领域的文本利用起来,提升模型的训练准确率和速度。该文提出循环卷积多任务学习(MTL-RC)模型用于文本多分类,将多个任务的文本共同建模,分别利用多任务学习、循环神经网络(RNN)和卷积神经网络(CNN)模型的优势获取多领域文本间的相关性、文本长期依赖关系、提取文本的局部特征。基于多领域文本分类数据集进行丰富的实验,该文提出的循环卷积多任务学习模型(MTL-LC)不同领域的文本分类平均准确率达到90.1%,比单任务学习模型循环卷积单任务学习模型(STL-LC)提升了6.5%,与当前热门的多任务学习模型完全共享多任务学习模型(FS-MTL)、对抗多任务学习模型(ASP-MTL)、间接交流多任务学习框架(IC-MTL)相比分别提升了5.4%, 4%和2.8%。     

基于循环卷积多任务学习的多领域文本分类方法

文本分类任务中,不同领域的文本很多表达相似,具有相关性的特点,可以解决有标签训练数据不足的问题.采用多任务学习的方法联合学习能够将不同领域的文本利用起来,提升模型的训练准确率和速度.该文提出循环卷积多任务学习(MTL-RC)模型用于文本多分类,将多个任务的文本共同建模,分别利用多任务学习、循环神经网络(RNN)和卷积神经网络(CNN)模型的优势获取多领域文本间的相关性、文本长期依赖关系、提取文本的局部特征.基于多领域文本分类数据集进行丰富的实验,该文提出的循环卷积多任务学习模型(MTL-LC)不同领域的文本分类平均准确率达到90.1％,比单任务学习模型循环卷积单任务学习模型(STL-LC)提升了6.5％,与当前热门的多任务学习模型完全共享多任务学习模型(FS-MTL)、对抗多任务学习模型(ASP-MTL)、间接交流多任务学习框架(IC-MTL)相比分别提升了5.4％,?4％和2.8％.     

基于混合卷积自编码极限学习机的RGB-D物体识别

有效学习丰富的表征信息在RGB-D目标识别任务中至关重要,是实现高泛化性能的关键。针对卷积神经网络训练时间长的问题,提出了一种混合卷积自编码极限学习机（HCAE-ELM）结构,包括卷积神经网络（CNN）和自编码极限学习机（AE-ELM）,该结构合并了CNN的有效性和AE-ELM快速性的优点。它使用卷积层和池化层分别从RGB和深度图来有效提取低阶特征,然后在共享层合并两种模型特征,输入到自编码极限学习机中以得到高层次的特征,最终的特征使用极限学习机（ELM）进行分类,以获得更好的快速泛化能力。文中在标准的RGB-D数据集上进行了评估测试,其实验结果表明,相比较深度学习和其他的ELM方法,文中的混合卷积自编码极限学习机模型取得了良好的测试准确率,并且有效地缩减了训练时间。     

基于组合-卷积神经网络的中文新闻文本分类

目前的新闻分类研究以英文居多,而且常用的传统机器学习方法在长文本处理方面,存在局部文本块特征提取不完善的问题.为了解决中文新闻分类缺乏专门术语集的问题,采用构造数据索引的方法,制作了适合中文新闻分类的词汇表,并结合word2vec预训练词向量进行文本特征构建.为了解决特征提取不完善的问题,通过改进经典卷积神经网络模型结构,研究不同的卷积和池化操作对分类结果的影响.为提高新闻文本分类的精确率,本文提出并实现了一种组合-卷积神经网络模型,设计了有效的模型正则化和优化方法.实验结果表明,组合-卷积神经网络模型对中文新闻文本分类的精确率达到93.69％,相比最优的传统机器学习方法和经典卷积神经网络模型精确率分别提升6.34％和1.19％,并在召回率和F值两项指标上均优于对比模型.     

一种改进的显著性目标检测方法

针对传统方法无法很好地处理复杂背景下显著目标尺度和位置变化大,导致其检测精度较低的问题,文中提出一种改进的显著性目标检测方法。该方法是由卷积神经网络（CNN）与循环神经网络（RNN）相结合的深度学习模型,首先利用显著目标的时间、空间和局部约束特征来实现全局优化;然后,通过卷积神经网络提取显著目标区域以及循环神经网络捕获时间、空间和局部约束特征来检测显著性目标,从而有效地提高复杂背景下显著性目标检测的精度。将文中算法与其他方法在公开的显著性目标数据集上进行对比,并对F-measure、MAE值进行评估。结果表明,所提算法在检测精度和速度方面均有良好的效果,相比于其他方法,该算法对绝大部分实验数据可进行精确的定位检测,包括单个目标、多个目标检测以及光线不良的夜晚条件检测等情况,且具有最低的MAE值,能够提升模型的检测性能。     

融合潜在主题信息和卷积语义特征的文本分类

经典的概率主题模型通过词与词的共现挖掘文本的潜在主题信息,在文本聚类与分类任务上被广泛应用。近几年来,随着词向量和各种神经网络模型在自然语言处理上的成功应用,基于神经网络的文本分类方法开始成为研究主流。本文通过卷积神经网络(Convolutional Neural Network,CNN)和概率主题模型在文本主题分类上的效果对比,展示了CNN在此任务上的优越性。在此基础上,本文利用CNN模型提取文本的特征向量并将其命名为卷积语义特征。为了更好地刻画文本的主题信息,本文在卷积语义特征上加入文本的潜在主题分布信息,从而得到一种更有效的文本特征表示。实验结果表明,相比于单独的概率主题模型或CNN模型,新的特征表示显著地提升了主题分类任务的F1值。      

A comparative study of neural network structures in identification of nonlinear systems

This paper investigates the identification of nonlinear systems by neural networks. As the identification methods, Feedforward Neural Networks (FNN), Radial Basis Function Neural Networks (RBFNN), Runge–Kutta Neural Networks (RKNN) and Adaptive Neuro Fuzzy Inference Systems (ANFIS) based identification mechanisms are studied and their performances are comparatively evaluated on a three degrees of freedom anthropomorphic robotic manipulator.     

基于多特征模糊关联的垃圾邮件过滤方法

提出一种基于多特征模糊关联的垃圾邮件过滤方法.该方法分为预处理和实时处理两个阶段,在预处理阶段,分析训练样本集,提取邮件的发送源特征和文本特征的典型特征值集合,计算典型特征值与合法邮件类、垃圾邮件类之间的模糊关联度.在实时处理阶段,根据待分类邮件所包含的特征值,计算邮件的类支持度,然后利用Dempster-Shafer 证据理论实现多个特征的分类融合与判决.实验结果表明,此方法能有效提高垃圾邮件过滤的查全率和查准率.     

Packet‐level open‐digest fingerprinting for spam detection on middleboxes

This paper proposes a stateless open‐digest spam fingerprinting at the packet level (layer 3) based on an open‐digest fingerprinting algorithm Nilsimsa. Spam emails show several characteristics when viewed at gateway level, which are suitable for spam fingerprinting: (a) content invariance and (b) recipient address dispersion. In this paper, Nilsimsa is adapted to support both fingerprinting and fast email class estimation, on a per‐packet basis. Email packets are incrementally fingerprinted on a per‐packet basis, without the need for reassembly. Spam detection status is tagged to the last packet of each email. This in turn allows fast email class estimation (spam detection) at receiving email servers to support more effective spam handling on both inbound and outbound (relayed) emails. The work presented in this paper focuses on evaluating the accuracy of spam fingerprinting at the packet level with consideration on the constraints of processing byte streams over the network, including packet reordering, fragmentation, overlapped bytes, different packet sizes, and possibilities of random addition attacks. Results show that the proposed packet‐level fingerprinting can detect spam with 100% random addition when the similarity threshold is set to between 36 and 59. This method gives 0% false positive and 100% true negative, which equals the performance attained for spam fingerprinting at full email abstraction (layer 7). This shows that classifying emails at the packet level can differentiate non‐spam from spam with high confidence for a viable spam control implementation on middleboxes. Copyright © 2011 John Wiley & Sons, Ltd.     

基于兴趣区域深度神经网络的静态面部表情识别

通过在面部表情数据集上训练深度卷积神经网络、深度稀疏校正神经网络两种模型,对两种深度神经网络在静态面部表情识别方面的应用作了对比和分析.基于面部表情的结构先验知识,提出一种面向面部表情识别的改良方法——K兴趣区域方法,该方法在构建的开放实验数据集上,降低了由于训练数据过少而导致深度神经网络模型泛化能力不佳的问题,使得混合模型普遍且显著地降低了测试错误率.进而,结合实验结果进行了深入分析,并对深度神经网络在任意图像数据集上的可能有效性进行了深入剖析和分析.     

机器学习技术在文本分析中的应用

文本分析是自然语言处理领域中的重要任务,其意义在于将大量文本数据分为不同类别,以便更好地理解和管理信息。文本分析的应用极为广泛,可用于垃圾邮件过滤、情感分析、新闻分类等领域,对信息组织和检索具有重要影响。然而,文本分析面临着文本数据维度高、语义复杂性、标注数据不足等挑战,为解决以上问题,文中深入研究了机器学习技术在文本分析中的应用,以期能提高文本分类的性能和效率。     

AP-GAN: Predicting skeletal activity to improve early activity recognition

Early activity recognition is a classification task before the completion of activity. The study of early activity recognition is beneficial to avoid serious result. Previous studies have focused on extracting effective activity features and modeling for quick and accurate classification. It is challenging because of lack of available information. In order to get a firm basis for judgment, this paper adds an activity prediction module prior to recognition module. The main task of the module is to predict subsequent motions according to observed motions. To avoid motion blur, the structure of GAN (Generative Adversarial Networks) is used to generate the predicted motions. Compared with the traditional deep learning model, dilated neural network has advantages in large-span spatiotemporal feature modeling. The dilated RNN (Recurrent Neural Networks) and CNN (Convolutional Neural Networks) are introduced to the recognition module. In order to make the activity prediction and recognition modules work together, this paper designs and introduces a hard class mining mechanism to improve the learning ability of hard class samples. The proposed method is validated on four skeletal activity datasets and achieves state-of-the-art accuracy.     

基于贝叶斯神经网络的垃圾邮件过滤方法

垃圾邮件过滤是当前互联网应用中急需解决的一个重要课题，日益受到人们的关注。本文提出了一种基于贝叶斯神经网络BNN(Bayesian Neural Network)的垃圾邮件过滤方法，利用贝叶斯推理和神经网络相结合的贝叶斯神经网络算法对用户给定的正常／垃圾邮件集合进行训练，得到邮件过滤模型。并且提出了一种有效的特征选择方法，采用信息增益准则，有效降低了特征维数。经过实验测试，本文提出的方法可以实现对垃圾邮件的有效过滤。     

基于灰度—梯度共生矩阵的图像型垃圾邮件识别方法

为了逃避基于文本的垃圾邮件系统的检测,越来越多的垃圾邮件制造者将文本信息嵌入到图像中。为了有效地检测出图像型垃圾邮件,提出了一种基于灰度—梯度共生矩阵(GGCM, gray-gradient co-occurrence matrix)的图像型垃圾邮件识别方法。先通过灰度—梯度共生矩阵提取图像的特征信息,然后运用最小二乘支持向量机（LS-SVM, least squares support vector machines）进行分类。实验表明,该方法具有较高的分类精度和较好的实时性。     

基于主动学习和否定选择的垃圾邮件分类算法

针对现在网络上泛滥的垃圾邮件问题,本文结合主动学习方法和否定选择算法提出了一种二类文本分类方法：主动否定学习算法.根据用户少量标注建立双向兴趣集,利用否定选择算法的自体异常检测机制改善主动学习中的采样策略,并将双向兴趣集作为检测器,新增样本集作为自体集,对两者进行异常匹配.本文算法与在线垃圾邮件快速识别方法、增强差异性的半监督协同分类算法、垃圾邮件过滤方法、基于人工高免疫的多层垃圾邮件过滤算法和在线主动多领域学习方法在六个常用邮件语料集上进行了分析比较,结果表明本文算法具有较高的准确率、召回率、分类精度,和较低的用户标注负担.使用用户个性喜好转换为双向兴趣特征的方式有助于提高算法的分类能力;利用异常检测匹配选取未知类别特征的方式,有效地降低了用户标注负担.