自适应加权t-SNE算法及其在脑网络状态观测矩阵降维中的应用研究

针对目前数据降维算法受高维空间样本分布影响效果不佳的问题,提出了一种自适应加权的t分布随机近邻嵌入（t-SNE）算法。该算法对两样本点在高维空间中的欧氏距离进行归一化后按距离的不同分布状况进行分组分析,分别按照近距离、较近距离和远距离三种情况在计算高维空间内样本点间的相似概率时进行自适应加权处理,以加权相对距离代替欧氏绝对距离,从而更真实地度量每一组不同样本在高维空间的相似程度。在高维脑网络状态观测矩阵中的降维实验结果表明,自适应加权t-SNE的降维聚类可视化效果优于其它降维算法,与传统t-SNE算法相比,聚类指标值DBI值平均降低了28.39%,DI值平均提高了161.84%,并且有效地消除了分散、交叉和散点等问题。     

基于谱特征嵌入的脑网络状态观测矩阵降维方法

针对基于功能核磁共振（fMRI）重构的脑网络状态观测矩阵维数过高且无特征表现的问题,提出一种基于谱特征嵌入（Spectral Embedding）的降维方法。该方法首先计算样本间相似性度量并构造拉普拉斯矩阵;然后对拉普拉斯矩阵进行特征分解,选取前两个主要的特征向量构建2维特征向量空间以达到数据集由高维向低维映射（降维）的目的。应用该方法对脑网络状态观测矩阵进行降维并可视化在二维空间平面,通过量化类别有效性指标对可视化结果进行评价。实验结果表明,与主成分分析（PCA）、局部线性嵌入（LLE）、等距映射（Isomap）等降维算法相比,使用该方法得到的脑网络状态观测矩阵低维空间的映射点有明显的类别意义表现,且在类别有效性指标上与多维尺度分析（MDS）和t分布随机邻域嵌入（t-SNE）降维算法相比,同一类样本间平均距离Di指数分别降低了87.1%和65.2%,不同类样本间平均距离Do指数分别提高了351.3%和25.5%;在多个样本上的降维可视化结果均有一定的规律性体现,该方法的有效性和普适性得以验证。     

基于深度自动编码器的脑网络状态观测矩阵降维方法

针对人脑网络状态观测矩阵高维无特征的特点,给出了一种基于深度自动编码器(DAE)的降维算法.利用深度学习网络,将高维的人脑网络空间表达映射到低维的本质特征空间中,为进一步提炼脑网络的动态性能提供了基础.实验结果证明:应用该方法可以达到有效的降维效果,且降维后脑网络状态通过自组织特征映射聚类具有一定的规律性,从而为脑网络的动态特性研究提供了基础.     

基于t-SNE降维与k-means聚类算法的化工厂节能减排分析

节能减排对于经济社会和谐发展、实现可持续发展具有重大战略意义.为保证化工企业实现节能减排的目标,提出了一种结合t-SNE降维与k-means聚类算法,用于分析海量、高维、多元数据的一种方法.首先通过分析和收集安徽省某化工厂化工产品生产工艺过程中监测的多源数据和生产指标,对数据进行预处理分析;然后利用t-SNE降维算法对...     

基于E-t-SNE的混合属性数据降维可视化方法

针对传统的t分布随机近邻嵌入（t-SNE）算法只能处理单一属型数据,不能很好地处理混合属性数据的问题,提出一种扩展的t-SNE降维可视化算法E-t-SNE,用于处理混合属性数据。该方法引入信息熵概念来构建分类属性数据的距离矩阵,采用分类属性数据距离与数值属性数据欧式距离相结合的方式构建混合属性数据距离矩阵,将新的距离矩阵输入t-SNE算法对数据进行降维并在二维空间可视化展示。此外,为验证算法有效性,采用[k]近邻[(kNN)]算法对混合数据降维后的效果进行评价。通过在UCI数据集上的实验表明,该方法在处理混合属性数据方面,不仅具有较好的可视化能力,而且能有效地对不同类别的数据进行降维分簇,提升后续分类器的分类准确率。     

基于t-SNE降维预处理的网络流量异常检测

网络流量中大多数流量都是正常的,但经常会出现偏离正常范围的异常流量,主要由DDOS攻击、渗透攻击等恶意的网络行为引起,这些异常行为通常会导致网络质量下降,甚至网络直接瘫痪。因此引入网络安全态势的预测,在仅知道正常网络流量的情况下判断网络中的异常。异常检测是一种网络安全态势的预测方法,用来判断网络中是否有异常。现有的异常检测算法由于无法准确提取网络数据包的低维特征导致算法的性能不佳,因此,需要找到网络数据包的准确的低维特征表示,该低维特征表示能够区分网络数据包是正常的还是有攻击的。为此,本文引入基于t-SNE降维的NLOF异常检测算法。该算法采用t-SNE算法自动预处理网络数据包以获得低维的网络数据包特征,之后将得到的低维的网络数据包特征作为NLOF算法的输入进行异常检测。其中,本文的NLOF算法首先采用k-means算法将网络数据包聚类成为K个簇,并将网络数据包数量小于N个的簇标记为异常簇,之后将未被标记为异常簇的网络数据包作为LOF算法的输入进行异常检测。在ISCX2012数据集上的实验结果表明,基于t-SNE降维的LOF算法达到最优性能时,准确率为98.46%,精确度为98.38%,检测率为98.54%,FAR为0.66%。该算法比基于现有最新算法的准确率、检测率和F1分别高3.18个百分点、0.02个百分点和0.01个百分点。基于t-SNE降维的NLOF算法达到最优性能时,准确率为98.53%,精确度为98.86%,检测率为98.86%,FAR为0.32%。该算法比基于现有最新算法的准确率、检测率和F1分别高3.25个百分点、0.34个百分点和0.41个百分点。这是异常检测中首次采用t-SNE算法自动提取低维的网络数据包特征。此外,LOF算法仅能捕获异常点,而本文的NLOF算法能够同时捕获异常点和异常簇。     

基于子图选择和图核降维的脑网络分类方法

脑网络分类在脑科学研究和脑疾病诊断等领域引起了学者们的广泛关注。目前大多数有关脑网络分类的研究都是以单个脑区或成对脑区之间的相关性作为分类特征,其缺点是不能反映多个脑区之间的拓扑结构信息。为克服上述缺点,提出了一种基于子图选择和图核降维的脑网络分类方法。具体包括：（1）分别从正类训练样本组及负类训练样本组中提取多个频繁子图,进而利用基于频度差的子图选择算法选取最具判别性的子图集;（2）基于上述过程中得到的子图集,利用图核主成分分析（graph-kernel-based principal component analysis,GK-PCA）方法对经过子图选择后的图数据进行特征提取;（3）利用支持向量机（support vector machine, SVM）在特征提取后的数据上进行分类。在真实的轻度认知障碍（mild cognitive impairment,MCI）脑网络数据集上对该方法进行了验证,实验结果表明了该方法的有效性。     

面向复杂多流形高维数据的t-SNE降维方法

针对t-SNE方法不能很好地区分相互交叉的多个流形的问题,提出一种可视化降维方法.在t-SNE方法的基础上,在计算高维概率时考虑欧几里得度量和局部主成分分析以区分不同流形.然后可直接使用t-SNE的梯度求解方法得到降维结果.最后分别用3个人工生成的三维数据集和2个通用的机器学习数据集进行实验,并根据不同流形的区分度和流形内的邻域可信度2个指标对降维结果进行量化分析.结果表明,该方法在处理有交叉的多流形数据时的效果要明显优于原来的t-SNE方法,并能够较好地保持每个流形的邻域结构.     

基于范畴的数据降维方法

范畴理论主要是一些特定数学的对象和映射的概括和抽象,在此利用范畴理论阐述图像分析和识别中的数据降维问题,定义高维数据降维范畴的过程,并以主成分分析范畴和等距映射范畴分别验证了范畴理论应用到图像数据降维问题中的正确性。     

基于瞬时转变率模型的脑网络状态观测算法

针对K-means等聚类方法在脑网络状态观测中稳定性和鲁棒性较差的缺点,提出了一种基于瞬时转变率模型的脑网络状态观测算法。通过对状态转换临界点进行分组统计和分析,计算每一个临界时间点的状态瞬时转变率,在此基础上构建脑网络状态观测算法,并使用区间估计方法对状态转换的观测效果进行估计和验证。在脑网络数据库样本中的实验结果显示,与K-means等脑网络状态聚类观测算法相比,该算法在不同条件下的聚类稳定性更好,对样本差异的适应性更强,受参数选择的影响更小,能直观地观测到脑网络状态转换趋势。     

基于t-SNE卷积编码的图像检索方法

为了提高基于内容图像检索系统的速度和精度,提出了一种基于t-SNE卷积编码的图像检索方法。该方法首先采用一个高精度卷积神经网络模型提取图像特征,然后通过定量分析模型不同层特征的检索性能,选择出最佳特征。其次将选择出的最佳特征使用t-SNE方法进行编码,降低特征维度的同时进一步减少图像特征中的噪声。最后,利用降维后的编码特征,实现基于内容的图像检索系统。实验结果表明：随着特征维度的降低,卷积编码方法不但不会降低检索精度,反而在某些情况下会提高检索精度。采用16维卷积编码特征,就可以超过传统方法128维编码特征的检索精度。而一旦特征维度降低8倍,可以使得特征的存储空间缩小8倍,图像检索效率大幅提高。因此,该方法可以有效提高基于内容图像检索系统的速度和精度。     

一种统计降维和Kohonen网络相结合的文本聚类方法

提出了一种基于词条互信息（WMI）值的统计降维和Kohonen网络（SOFM网）相结合的文本聚类方法,WMI值的方法侧重考虑文本特征项之间的互信息进行降维,可提高特征选择的效率,并使其更趋实用化。采用Kohonen网络进行文本聚类,其学习率函数是随时间单调下降的退火函数,实验结果表明了这种结合方法较一般的降维方法得到的聚类结果具有较高的聚类精度。     

基于P-Ifourier观测矩阵的宽带压缩感知方法

针对压缩感知理论在宽带频谱感知领域应用时重构精度差的问题,根据平稳信号在频域所表现出的稀疏特性,提出了一种基于P-Ifourier(Partial-Inverse fourier)观测矩阵的宽带压缩频谱感知方法。新方法首先将频谱感知问题建模为一个典型的压缩感知问题,利用相关性能优良的标准正交傅里叶基构造观测矩阵,使观测矩阵具有良好的重构性能和重构精度。仿真结果表明,相比于高斯随机观测矩阵和嵌入式混沌序列-循环Toeplitz结构观测矩阵,该方法在较低信噪比环境下能够明显降低信号重构的均方误差,并且在相同条件下的重构概率得到了明显改善。     

静息态功能磁共振成像的脑功能分区综述

目的 越来越多的研究表明,基于静息态功能磁共振成像（rs-fMRI）的大脑功能分区比传统的大脑结构分区（如AAL分区、Brodmann分区等）在功能网络构建中功能一致性更高。但现阶段对于大脑功能模块的划分较粗糙,需要更精细准确的脑功能分区,明确宏观尺度的基本功能单元。为能使脑科学领域的研究者对基于静息态功能磁共振成像的脑功能分区进行有益的探索和应用,本文对其进行系统综述。方法 从rs-fMRI数据与大脑功能网络的关系出发,理清脑功能区分割的一般思路,对近几年来脑功能分区算法中出现的新思路、新方法以及对原有方法的改进做了较全面的阐述;最后总结该领域现阶段面临的问题并对未来的研究方向做了展望。结果 根据脑区情况,将脑功能分区分为全脑功能分区和局部脑功能分区,并分别阐释这两方面的优势与应用。同时,将脑功能分区算法归纳为基于数据驱动和基于模型驱动两大类,并展示了各类分区算法的优势以及面临的难点和挑战。结论 基于静息态功能磁共振成像的脑功能分区的研究已经取得了一些进展和有价值的研究成果,但是距离研究人脑机制,应用于脑部疾病的预防和诊断以及启示类脑科学的发展,还需要对脑功能分区方法进行更深入的研究和完善。后续研究中可将传统的分区算法和先验知识、空间领域信息、空间约束、稀疏编码、特征选择和采样学习等思想结合起来,形成融合性的脑功能分区算法,致力于更为细致准确的大脑功能分区和脑功能网络构建,解析脑的高级功能。     

基于布尔矩阵约简的Apriori算法改进研究

针对关联规则中Apriori算法存在的缺点,提出了一种基于布尔矩阵约简的Apriori改进算法。在该算法中,将事务数据库转换为布尔矩阵,并在矩阵最后增加1行2列,用来记录相同事务的个数和矩阵行与列中"1"的个数。将矩阵各列元素按支持数升序排列,使得算法在压缩过程中减少了扫描矩阵各列的次数,缩短了算法的运行时间。另外,为了提高算法的存储空间利用率,增加了删除非频繁项集的操作。实验结果和性能分析表明,相比现有的算法,改进后的算法具有更好的性能,能够有效地提高算法执行效率。