MD-RBM神经网络模型及其在材料微结构中聚类研究

在传统的RBM神经网络的基础上提出一种新颖的MD-RBM神经网络模型用于超高碳钢微结构高维图像数据的特征学习。该模型利用新的乘法距离(MD)取代欧式距离以计算高维图像数据之间的距离关系,有效缓解欧式距离在高维数据中的不稳定性问题。MD-RBM神经网络模型利用少量的成对约束监督信息引导其编码过程,使得一部分图像数据的隐藏层特征更加聚集在一起,而且同时使得一部分图像数据的隐藏层特征更加分散,由此得到高维图像数据的隐藏层特征表现出很好的聚类性能。实验选择两种经典聚类算法Affinity Propagation(AP)和Spectral Clustering(SC)作为对比,结果显示,基于MD-RBM模型的聚类识别算法比原始聚类算法、半监督算法以及基于RBM模型的聚类算法都表现出更优的聚类性能。     

基于谱聚类的增强神经网络模型

卷积神经网络(CNN)因其容易产生过拟合而困扰着广大研究者。产生过拟合的重要原因在于模型往往局限于局部最优解。针对此问题,提出了基于谱聚类的增强神经网络模型。使用谱聚类算法对验证集进行聚类,以聚类结果为依据将单任务模型扩展为多任务学习模型。用公开的声音场景识别数据集进行实验,实验结果表明,基于谱聚类的增强神经网络模型可以有效降低过拟合风险,提升模型的测试精度。该方法适用于除声音场景识别(ASC)领域的其他领域。     

基于K-IDPC算法的Wi-Fi室内定位方法

针对目前室内定位依靠Wi-Fi电磁指纹库方法实现室内人员定位进行判别存在误差大以及时效性低的问题,本文提出一种融合K近邻(K-NN)的改进密度峰值聚类(K-IDPC)算法。引入关联系数和KNN思想,解决了普通密度峰值聚类(DPC)算法对定位数据密度不均衡,聚类中心区分度不高的问题,进而提高了对定位环境的鲁棒性。并结合数据切分算法,对离线电磁数据进行切割,使得大数据集分为若干小数据集,降低了计算复杂度。实验结果表明:提出的室内定位方法,同传统的K均值(K-means)、具有噪声应用的基于密度空间聚类(DBSCAN)、DPC聚类算法相比,能够有效地提高室内定位的效果。     

基于相似度的词聚类算法和可变长语言模型

基于类的统计语言模型是解决统计模型数据稀疏问题的重要方法.传统的统计聚类方法基于含婪原则,常以语料的似然函数或困惑度(perplexity)作为评价标准.这种传统的聚类方法的主要缺点是聚类速度慢,初值对结果影响大,易陷入局部最优.本文利用互信息定义一种词相似度,基于相似度,提出一种自下而上的分层聚类算法.实验证明,该算法在计算复杂度和聚类效果上比传统的基于贪婪原则的统计聚类算法都有明显的改进.在提高预测能力方面,提出一种新的基于类的可变长语言模型(Vari-gram)的生成方法.     

基于回声状态网络的短期股价预测模型

针对传统单只股票预测模型预测精度低以及传统神经网络训练过程复杂的问题,提出一种基于ESN(Echo State Network)的地区行业通用模型,该模型可预测同地区同行业内任意股票。使用ESN建立了上海地区房地产行业的股价预测通用模型,简化了训练过程,且与单只股票预测模型相比,该通用模型预测精度明显提高。在通用模型基础上提出一种基于数据波动性聚类的KMeans-ESN模型,通过实验得出:基于ESN的短期股价预测地区行业通用模型适合波动大的数据、基于数据波动性聚类的KMeans-ESN短期股价预测模型适合波动小的数据。     

基于局部图拉普拉斯约束的鲁棒低秩表示聚类方法

针对传统低秩表示聚类方法存在的稀疏性不足及噪声敏感等问题,提出了一种基于局部图拉普拉斯约束的鲁棒低秩表示聚类模型. 一方面,通过加入图像数据局部相似性的约束,在保持表示矩阵分块对角的特性下,增强了其稀疏性;另一方面,从数据相关性的角度分析了低秩表示模型的聚类性质, 通过采用鲁棒低秩表示模型,不仅降低了噪声的干扰,而且减弱了表示字典数据之间的线性相关性,从理论上保证了最终的邻接矩阵具有分块对角的良好聚类性质. 与传统低秩表示方法相比,本文得到的表示矩阵既保证了分块性质,又更加稀疏,仿真实验结果表明聚类效果有明显提升.     

用于非线性时间序列预测的POD-RBF神经网络

基于正规正交分解(Proper Orthogonal Decomposition,POD)提出一种适用于非线性时间序列预测的径向基函数(Radial Basis Function,RBF)神经网络模型-POD-RBF神经网络模型.该模型在选取中心时考虑了时间序列数据之间的时序关系,并且使得中心的选取具有并行性.股票价格预测问题的模拟结果表明,POD-RBF神经网络可以有效地用于非线性时间序列预测问题.与基于硬C均值(Hard C-means,HCM)聚类的RBF神经网络(HCM-RBF)和基于正交最小二乘(Orthogonal LestSquare,OLS)的RBF神经网络(OLS-PBF)相比,POD-RBF神经网络不仅具有更好的训练、预测精度,而且具有更好的收敛稳定性、更好的泛化能力和抵抗噪声干扰的能力.     

基于熵和蚁群聚类算法的模糊支持向量机

摘 要: 模糊支持向量机(FSVM)对传统支持向量机(SVM)在对外围点和噪声数据敏感的缺陷做了重要改进。选取合适的聚类中心计算符合数据本身特征分布的隶属度,能使分类更加准确,提高测试精度。论文基于模糊支持向量机思想,提出一种新的模糊聚类模型—基于熵和蚁群聚类算法的模糊支持向量机(EAFSVM),为聚类中心和隶属度的计算提出了新方法。实验对比传统SVM和FSVM,结果表明EAFSVM测试精度较高,尤其对多类数据、大规模数据具有较好的分类能力。     

一种基于局部密度的网格排序聚类算法

针对复杂及带噪声的数据集的聚类问题, 提出了一种基于局部密度的网格排序策略(GSS-LD)并以其作为网格聚类的组织模式. GSS-LD一方面利用聚类的局部性质进行网格单元排序, 将基于网格的聚类问题转化为网格的排序问题;另一方面运用相对局部密度变化率的概念, 克服了传统网格聚类算法中全局性参数的局限性, 使其可以适应多密度数据集的聚类. 通过3组具有不同拓扑结构的数据集测试GSS-LD的聚类性能并同其它两种方法进行比较, 结果表明GSS-LD可以对复杂数据集进行有效聚类, 它的时间复杂度分别与数据规模及网格结构具有线性关系, 同时具有较强的噪声处理能力.     

基于聚类的神经网络分类模型研究

税务稽查选案是税务机关在税收征管和稽查中面临的一个重要问题.提出一种基于聚类的神经网络分类模型用于选案.首先采用聚类方法将样本分为不同的子类,在此基础上,构建了欺诈检测的神经网络分类模型,提高了分类的精度和效率.通过对采集的申报数据进行测试,表明本文提出方法的有效性.     

基于区域自适应多尺度卷积的单声道语音增强算法

卷积神经网络的感受野大小与卷积核的尺寸相关,传统的卷积采用了固定大小的卷积核,限制了网络模型的特征感知能力;此外,卷积神经网络使用参数共享机制,对空间区域中所有的样本点采用了相同的特征提取方式,然而带噪频谱图噪声信号与干净语音信号的分布存在差异,特别是在复杂噪声环境下,使得传统卷积方式难以实现高质量的语音信号特征提取和过滤.为了解决上述问题,提出了多尺度区域自适应卷积模块,利用多尺度信息提升模型的特征感知能力;根据对应采样点的特征值自适应地分配区域卷积权重,实现区域自适应卷积,提升模型过滤噪声的能力.在TIMIT公开数据集上的实验表明,提出的算法在语音质量和可懂度的评价指标上取得了更优的实验结果.     

复杂环境下基于自适应深度神经网络的鲁棒语音识别

在连续语音识别系统中,针对复杂环境(包括说话人及环境噪声的多变性)造成训练数据与测试数据不匹配导致语音识别率低下的问题,提出一种基于自适应深度神经网络的语音识别算法。结合改进正则化自适应准则及特征空间的自适应深度神经网络提高数据匹配度;采用融合说话人身份向量i-vector及噪声感知训练克服说话人及环境噪声变化导致的问题,并改进传统深度神经网络输出层的分类函数,以保证类内紧凑、类间分离的特性。通过在TIMIT英文语音数据集和微软中文语音数据集上叠加多种背景噪声进行测试,实验结果表明,相较于目前流行的GMM-HMM和传统DNN语音声学模型,所提算法的识别词错误率分别下降了5.151%和3.113%,在一定程度上提升了模型的泛化性能和鲁棒性。     

基于LSTM神经网络的管道缺陷模式识别方法研究

针对复杂环境下,管道振动信号特征微弱难以提取的问题,提出一种基于长短时记忆网络(LSTM)深度学习神经网络的管道缺陷模式识别方法;首先利用改进型自适应噪声的完全集合经验模态分解(ICEEMDAN)对采集的原始信号进行分解得到若干个固有模态函数(IMF)分量,随后根据信息熵理论计算IMF分量的近似熵作为管道典型状态的特征值构造特征向量集合,然后构造LSTM深度学习神经网络训练模型并调节深度神经网络在训练过程中的相关参数进行网络的结构优化,最后将特征向量输入到LSTM神经网络模型进行训练和识别;结果表明:针对管道振动信号特征微弱难以提取的问题,该方法对管道缺陷模式识别的准确率达到了95％,在消除管道振动信号的背景噪声、挖掘特征信息和保证识别准确性方面优势明显.     

基于Word2Vec模型特征扩展的Web搜索结果聚类性能的改进

对于用户泛化和模糊的查询，将Web搜索引擎返回的列表内容聚类处理，便于用户有效查找感兴趣的内容。由于返回的列表由称为片段（snippet）的短文本组成，而传统的单词频率-逆文档频率（TF-IDF）特征选择模型不能适用于稀疏的短文本，使得聚类性能下降。一个有效的方法就是通过一个外部的知识库对短文本进行扩展。受到基于神经网络词表示方法的启发，提出了通过词嵌入技术的Word2Vec模型对短文本扩展，即采用Word2Vec模型的TopN个最相似的单词用于对片段（snippet）的扩展，扩展文档使得TF-IDF模型特征选择得到聚类性能的提高。同时考虑到通用性单词造成的噪声引入，对扩展文档的TF-IDF矩阵进行了词频权重修正。实验在两个公开数据集ODP239和SearchSnippets上完成，将所提方法和纯snippet无扩展的方法、基于Wordnet的特征扩展方法和基于Wikipedia的特征扩展方法进行了对比。实验结果表明，所提方法在聚类性能方面优于对比方法。     

一种公共网络攻击数据挖掘智能算法研究

公共网络的开放性和自组织特性导致网络容易受到病毒干扰和入侵攻击,对攻击数据的准确高效挖掘能确保网络安全。传统方法采用时频指向性波束特征聚类方法实现攻击数据挖掘,在信噪比较低时攻击数据准确挖掘概率较低。提出一种基于自适应滤波检测和时频特征提取的公共网络攻击数据挖掘智能算法。首先进行公共网络攻击数据的信号拟合和时间序列分析,对含噪的攻击数据拟合信号进行自适应滤波检测,提高信号纯度,对滤波输出数据进行时频特征提取,实现攻击数据的准确挖掘。仿真结果表明,采用该算法进行网络攻击数据挖掘,对攻击数据特征的准确检测性能较高,对干扰的抑制性能较强,能有效实现网络安全防御。     

不同重连概率的小世界脉冲神经网络抗扰功能研究

现今各种电磁干扰对电子系统造成的不良影响越来越严重,传统防护方式的局限性日益凸显。电磁仿生学由此被提出,目的是通过借鉴生物体的自适应抗扰的优良特性,以期建立新的防护模式。构建了以Izhikevich神经元模型为节点,兴奋性和抑制性突触可塑性模型共同调节基于小世界网络拓扑的小世界脉冲神经网络;基于复杂网络理论对比分析了不同重连概率的小世界网络的拓扑特性;对比分析了不同重连概率的小世界脉冲神经网络在高斯白噪声刺激下的抗扰功能。实验结果表明:小世界网络的平均路径长度和全局效率值受重连概率的影响较小,平均聚类系数和小世界属性受重连概率的影响较大;构建的不同重连概率的脉冲神经网络均具有一定抗扰功能且高聚类系数和低平均路径长度显著的小世界脉冲神经网络抗扰功能最优。     

面向短文本的神经网络聚类算法研究

词汇个数少、描述信息弱的缺陷,导致短文本具有维度高、特征稀疏和噪声干扰等特点。现有的众多聚类算法在对大规模短文本进行聚类时,存在精度较低和效率低下的问题。针对该问题,提出一种基于深度学习卷积神经网络的短文本聚类算法。所提算法以大规模语料为基础,利用word2vec 模型学习短文本中词语之间潜在的语义关联,用多维向量表示单个词语,进而将短文本也表示成多维的原始向量形式;结合深度学习卷积神经网络,对稀疏高维的原始向量进行特征提取,以此得到特征更为集中、有效的低维文本向量;最后,利用传统的聚类算法对短文本进行聚类。实验结果表明,所提聚类方法对文本向量的降维是可行、有效的,并且取得了F值达到75%以上的文本聚类效果。     

使用模糊竞争Hopfield网络进行图像分割

针对传统自组织竞争学习方法的不足,将模糊竞争学习引入竞争Hopfield网络中,由此设计了一个用于图像分割的模糊竞争Hopfield网络,通过将图像空间映射到灰度特征空间,实现灰度特征集的模糊聚类,进而实现图像分割.实验结果表明:对于二值分割,与Ostu方法相比,此算法在分割效果和对噪声的自适应能力方面具有明显的优点.对于多类分割,此算法比目前的FCM(fuzzy C mean)算法的处理速度要快.     

基于卷积神经网络特征图聚类的人脸表情识别

针对卷积层存在的特征冗余问题,提出了一种基于卷积神经网络的特征图聚类方法。首先通过预训练网络参数提取网络最后一层卷积层的特征图,然后对特征图进行聚类操作,取聚类中心构成新的特征图集合,以聚类后的特征图集作为数据集训练分类器。将有监督的深度学习方法与传统的机器学习方法相结合,使用特征图聚类进行特征去冗余让网络学习到更有效的特征。去冗余后的特征使用神经网络分类器在fer2013测试集上达到了71.67%准确率,在CK+测试集上达到86.98%准确率,证明了该人脸表情识别方法的有效性。     

基于样本自组织聚类的BP神经网络预测模型

根据实际应用中神经网络训练样本通常具有内在特征和规律性,提出一种基于样本自组织聚类的BP神经网络预测模型。通过自组织竞争网络的聚类特征,改善样本训练对BP网络性能的影响。BP神经网络采用收敛速度较快和误差精度较高的动量—自适应学习速率调整算法。并通过基于这种模型的空气质量预测实验,表明基于样本自组织聚类的BP神经网络预测模型首先会提高收敛速度,其次会减少陷入局部最小的可能,提高预测精度。