图像分类卷积神经网络的特征选择模型压缩方法

深度卷积神经网络(convolutional neural networks, CNN)作为特征提取器(feature extractor, CNN--FE)已被广泛应用于许多领域并获得显著成功. 根据研究评测可知CNN--FE具有大量参数, 这大大限制了CNN--FE在如智能手机这样的内存有限的设备上的应用. 本文以AlexNet卷积神经网络特征提取器为研究对象, 面向图像分类问题, 在保持图像分类性能几乎不变的情况下减少CNN--FE模型参数量. 通过对AlexNet各层参数分布的详细分析, 作者发现其全连接层包含了大约99%的模型参数, 在图像分类类别较少的情况, AlexNet提取的特征存在冗余. 因此, 将CNN--FE模型压缩问题转化为深度特征选择问题, 联合考虑分类准确率和压缩率, 本文提出了一种新的基于互信息量的特征选择方法, 实现CNN--FE模型压缩. 在公开场景分类数据库以及自建的无线胶囊内窥镜(wireless capsule endoscope, WCE)气泡图片数据库上进行图像分类实验. 结果表明本文提出的CNN--FE模型压缩方法减少了约83%的AlexNet模型参数且其分类准确率几乎保持不变.     

基于卷积神经网络与多特征融合的Twitter情感分类方法

为了对社交网络平台上发表的言论和信息进行情感分类,基于卷积神经网络和多特征融合,提出一种情感分类方法。结合Twitter自身语言特性和情感字典资源设计语料特征和词典特征,对Twitter文本词向量使用卷积神经网络获得对应的深度词向量特征,将上述3类特征进行特征融合并采用One-Versus-One SVM实现情感极性的分类判别。针对SemEval语料的实验结果表明,该方法取得了较好的情感分类效果,多特征融合能够有效地提高情感分类的准确性。     

基于神经网络的中文文本分类中的特征选择技术

基于神经网络的中文文本分类需要解决的核心问题是特征的选择问题,特征选择涉及选择哪些特征和选择的特征维度两个问题。针对上述问题,提出了信息增益(IG)与主成分分析(PCA)相结合的特征选择方法。通过实验比较分析了不同特征选择方法与特征维度对分类性能的影响,证明了该特征选择方法在基于神经网络的中文文本分类中的优越性,并得出神经网络的特征输入维度在200左右的时候分类性能最佳。     

基于局部特征的卷积神经网络模型

传统卷积神经网络对于特征不明显或歧义性大的图像识别率较低。针对该问题,在卷积神经网络的基础上通过增加局部特征提取层和概率权重综合层,构建基于局部特征的卷积神经网络模型。该模型对输入图像的局部进行识别,得到局部图像的分类概率信息,综合分析所有局部图像的分类概率信息得到最终网络输出。手写字符识别实验结果表明,与经典的卷积神经网络模型相比,该模型识别率较高,尤其是在输入图像特征较为模糊的情况下优势更为明显。     

基于卷积递归模型的文本分类研究

近年来卷积神经网络和循环神经网络在文本分类领域得到了越来越广泛的的应用。提出一种卷积神经网络和长短时记忆网络特征融合的模型,通过长短期记忆网络作为池化层的替代来获得长期依赖性,从而构建一个联合CNN和RNN的框架来克服单卷积神经网络忽略词语在上下文中语义和语法信息的问题。所提出的方法在减少参数数量和兼顾文本序列全局特征方面起着重要作用,实验结果表明,可以通过更小的框架来实现相同级别的分类性能,并且在准确率方面超越了同类型的其他几种方法。     

基于卷积神经网络的短文本情感分类

近年来,卷积神经网络模型常常被用于文本情感分类的研究中,但多数研究都会忽略文本特征词本身所携带的情感信息和中文文本分词时被错分的情况.针对此问题,提出一种融合情感特征的双通道卷积神经网络情感分类模型(Dual-channel Convolutional Neural Network sentiment classifi...     

自适应增强卷积神经网络图像识别

目的 为了进一步提高卷积神经网络的收敛性能和识别精度,增强泛化能力,提出一种自适应增强卷积神经网络图像识别算法。方法 构建自适应增强模型,分析卷积神经网络分类识别过程中误差产生的原因和误差反馈模式,针对分类误差进行有目的地训练,实现分类特征基于迭代次数和识别结果的自适应增强以及卷积神经网络权值的优化调整。自适应增强卷积神经网络与多种算法在收敛速度和识别精度等性能上进行对比,并在多种数据集上检测自适应卷积神经网络的泛化能力。结果 通过对比实验可知,自适应增强卷积神经网络算法可以在很大程度上优化收敛效果,提高收敛速度和识别精度,收敛时在手写数字数据集上的误识率可降低20.93%,在手写字母和高光谱图像数据集上的误识率可降低11.82%和15.12%;与不同卷积神经网络优化算法对比,误识率比动态自适应池化算法和双重优化算法最多可降低58.29%和43.50%;基于不同梯度算法的优化,误识率最多可降低33.11%;与不同的图像识别算法对比,识别率也有较大程度提高。结论 实验结果表明,自适应增强卷积神经网络算法可以实现分类特征的自适应增强,对收敛性能和识别精度有较大的提高,对多种数据集有较强的泛化能力。这种自适应增强模型可以进一步推广到其他与卷积神经网络相关的深度学习算法中。     

高分辨卫星图像卷积神经网络分类模型

目的 卫星图像往往目标、背景复杂而且带有噪声,因此使用人工选取的特征进行卫星图像的分类就变得十分困难。提出一种新的使用卷积神经网络进行卫星图像分类的方案。使用卷积神经网络可以提取卫星图像的高层特征,进而提高卫星图像分类的识别率。方法 首先,提出一个包含六类图像的新的卫星图像数据集来解决卷积神经网络的有标签训练样本不足的问题。其次,使用了一种直接训练卷积神经网络模型和3种预训练卷积神经网络模型来进行卫星图像分类。直接训练模型直接在文章提出的数据集上进行训练,预训练模型先在ILSVRC（the ImageNet large scale visual recognition challenge）-2012数据集上进行预训练,然后在提出的卫星图像数据集上进行微调训练。完成微调的模型用于卫星图像分类。结果 提出的微调预训练卷积神经网络深层模型具有最高的分类正确率。在提出的数据集上,深层卷积神经网络模型达到了99.50%的识别率。在数据集UC Merced Land Use上,深层卷积神经网络模型达到了96.44%的识别率。结论 本文提出的数据集具有一般性和代表性,使用的深层卷积神经网络模型具有很强的特征提取能力和分类能力,且是一种端到端的分类模型,不需要堆叠其他模型或分类器。在高分辨卫星图像的分类上,本文模型和对比模型相比取得了更有说服力的结果。     

基于卷积神经网络的职位描述文本分类方法

针对现有基于机器学习的文本分类中由于数据噪点和特征不稀疏所导致学习精确度不高,深度不够等问题,本文提出了一种基于卷积升级网络的文本分类改进方法。首先利用一种新的TF-IDF统计法和Word2vec的skip-gram模型提取出描述文本的特征,然后通过卷积神经网络训练,得到更深层次的特征学习,最后使用softmax操作算出类别的概率分布,从而实现对职位描述文本的分类。实验结果表明,相比基于knn的传统分类方法,本文所设计的方法精确度更高。     

模糊粗糙神经网络特征选择方法研究

实际采集的数据中往往存在模糊不确定性和粗糙不确定性,为全面度量数据的不确定性,引入了模糊粗糙集中的模糊粗糙隶属函数概念,并结合容错能力较强的神经网络设计了一种新的模糊粗糙神经网络.该网络不仅训练速度快,且具有较好的分类效果.利用该网络设计了一种新的特征选择算法,根据精度下降指标对输入节点进行结构修剪,实现最优特征子集的搜索.通过UCI数据集实验,并与RBF网络选择结果进行比较,表明该算法具有精度高、速度快、泛化性能好等优点,是有效的.     

基于多级金字塔卷积神经网络(MLPCNN)的快速特征表示方法

近年来,在机器视觉中基于卷积神经网络(CNN)的特征提取方法取得了令人惊叹的成果,主要原因是深度学习在多层和低维的特征表示上有着很大的优势。但是由于在大尺度图像中卷积滤波的过程速度过慢,导致CNN参数调节困难、训练时间过长,针对这一问题,本文基于传统卷积神经网络(TCNN, Traditional convolution neural network)提出一种快速有效的多级金字塔卷积神经网络MLPCNN(Multi-level pyramid CNN)。这一网络使用权值共享的方法将低级的滤波权值共享到高级,保证CNN的训练只在较小尺寸的图像块上进行,加快训练速度。实验表明,在特征维数比较低的情况下,MLPCNN提取到的特征比传统的特征提取方法更加有效,在Caltech101数据库上,MLPCNN识别率达到81.32%,而且训练速度较TCNN网络提高了约2.5倍。     

基于统计分析的卷积神经网络模型压缩方法

针对卷积神经网络中卷积层参数冗余,运算效率低的问题,从卷积神经网络训练过程中参数的统计特性出发,提出了一种基于统计分析裁剪卷积核的卷积神经网络模型压缩方法,在保证卷积神经网络处理信息能力的前提下,通过裁剪卷积层中对整个模型影响较小的卷积核对已训练好的卷积神经网络模型进行压缩,在尽可能不损失模型准确率的情况下减少卷积神经网络的参数,降低运算量.通过实验,证明了本文提出的方法能够有效地对卷积神经网络模型进行压缩.     

最近邻注意力和卷积神经网络的文本分类模型

随着自然语言处理(NLP)的不断发展,深度学习被逐渐运用于文本分类中.然而大多数算法都未有效利用训练文本的实例信息,导致文本特征提取不全面.为了有效利用对象的实例信息,本文提出最近邻注意力和卷积神经网络的文本分类模型(CNN-AKNN).通过引入基于加权卡方距离的最近邻改进算法训练文本,构建文本对象的注意力,然后将注意力机制与卷积神经网络相结合实现全局特征与局部特征的提取,最后通过softmax函数进行文本分类.本文采用搜狗新闻语料库、中山大学语料库以及英文新闻语料库AG_news进行大量实验,结果表明本文所使用的改进算法相较于基准算法效果更优,更有利于提取模型的隐含特征.     

基于BP网络的中文文本分类技术

本文在对文本分类的问题,关键技术及系统结构进行介绍的基础上,详细阐述了一种利用带动力项的BP神经网络作为分类器的中文文本自动分类方法.该法采用归一化TFIDF算法对特征向量进行权值计算,并使用期望交叉熵统计方法对特征向量集进行精简.此外,我们在TanCorp12数据集上测试了特征项数目和训练次数对于分类器的宏平均和微平均性能的影响.     

基于卷积神经网络多层特征提取的目标识别

目标识别一直是人工智能领域的热点问题. 为了提高目标识别的效率,提出了基于卷积神经网络多层特征提取的目标识别方法. 该方法将图像输入卷积神经网络进行训练,在网络的每个全连接层分别进行特征提取,将得到的特征依次输入到分类器,对输出结果进行比较. 选取经过修正线性单元relu函数激活的低层全连接层作为特征提取层,比选取高层全连接层特征提取的识别率高. 本文构建了办公用品数据集,实现了基于卷积神经网络多层特征提取的办公用品识别系统. 选择AlexNet卷积神经网络模型的relu6层作为特征选取层,选择最优训练图像数量和最优分类器构建系统,从而证明了该方法的可行性.     

应用改进卷积神经网络的网络安全态势预测方法

针对神经网络态势预测模型训练复杂度高的问题，提出了一种基于改进卷积神经网络的态势预测方法。结合深度可分离卷积与分解卷积技术的优点，提出了一种基于复合卷积结构的改进型卷积神经网络安全态势预测模型，实现了态势要素和态势值的映射。实验仿真结果证明，相比于已有的典型预测方法，该方法明显降低了复杂度，减少了预测时间，并提升了预测准确率。     

基于区分类别能力的高性能特征选择方法

特征选择在文本分类中起着重要作用.文档频率(document frequency,简称DF)、信息增益(informationgain,简称IG)和互信息(mutualin formation,简称MI)等特征选择方法在文本分类中广泛应用.已有的实验结果表明,IG是最有效的特征选择算法之一,DF稍差,而MI效果相对较差.在文本分类中,现有的特征选择函数性能的评估均是通过实验验证的方法,即完全是基于经验的方法.特征选择是选择部分最有区分类别能力的特征,为此,给出了两个特征选择函数需满足的基本约束条件,并提出了一种构造高性能特征选择的通用方法.依此方法构造了一个新的特征选择函数KG(knowledge gain).分析发现,IG和KG完全满足该构造方法,在Reuters-21578,OHSUMED和News Group这3个语料集上的实验表明,IG和KG性能最好,在两个语料集上,KG甚至超过了IG.验证了提出的构造高性能特征选择函数方法的有效性,同时也在理论上给出了一个评价高性能特征选择算法的标准.     

Breast Mammogram Analysis and Classification Using Deep Convolution Neural Network

One of the fast-growing disease affecting women’s health seriously is breast cancer. It is highly essential to identify and detect breast cancer in the earlier stage. This paper used a novel advanced methodology than machine learning algorithms such as Deep learning algorithms to classify breast cancer accurately. Deep learning algorithms are fully automatic in learning, extracting, and classifying the features and are highly suitable for any image, from natural to medical images. Existing methods focused on using various conventional and machine learning methods for processing natural and medical images. It is inadequate for the image where the coarse structure matters most. Most of the input images are downscaled, where it is impossible to fetch all the hidden details to reach accuracy in classification. Whereas deep learning algorithms are high efficiency, fully automatic, have more learning capability using more hidden layers, fetch as much as possible hidden information from the input images, and provide an accurate prediction. Hence this paper uses AlexNet from a deep convolution neural network for classifying breast cancer in mammogram images. The performance of the proposed convolution network structure is evaluated by comparing it with the existing algorithms.     

一种基于特征重要度的文本分类特征加权方法

针对文本分类中的特征加权问题,提出了一种基于特征重要度的特征加权方法.该方法基于实数粗糙集理论,通过定义特征重要度,将特征对分类的决策信息引入到特征权重中.然后,在标准文本数据集Reuters-21578 Top10和WebKB上进行了实验.结果表明,该方法能改善样本空间的分布状态,使同类样本更加紧凑,异类样本更加松散,从而简化从样本到类别的映射关系.最后,使用Nave Bayes,kNN和SVM分类器在上述数据集上对该方法进行了实验.结果表明,该方法能提高分类的准确率、召回率和$F$\\-1值.