密集网络图像哈希检索

目的 为提取可充分表达图像语义信息的图像特征,减少哈希检索中的投影误差,并生成更紧致的二值哈希码,提出一种基于密集网络和改进的监督核哈希方法。方法 用训练优化好的密集网络提取图像的高层语义特征;先对提取到的图像特征进行核主成分分析投影,充分挖掘图像特征中隐含的非线性信息,以减少投影误差,再利用监督核哈希方法对图像特征进行监督学习,将特征映射到汉明空间,生成更紧致的二值哈希码。结果 为验证提出方法的有效性、可拓展性以及高效性,在Paris6K和LUNA16（lung nodule analysis 16）数据集上与其他6种常用哈希方法相比,所提方法在不同哈希码长下的平均检索精度均较高,且在哈希码长为64 bit时,平均检索精度达到最高,分别为89.2%和92.9%;与基于卷积神经网络的哈希算法（convolution neural network Hashing,CNNH）方法相比,所提方法的时间复杂度有所降低。结论 提出一种基于密集网络和改进的监督核哈希方法,提高了图像特征的表达能力和投影精度,具有较好的检索性能和较低的时间复杂度;且所提方法的可拓展性也较好,不仅能够有效应用到彩色图像检索领域,也可以应用在医学灰度图像检索领域。     

基于随机投影的快速凸包分类器

传统的基于核函数的分类方法中核矩阵运算复杂度较高,无法满足大规模数据分类的要求.针对这一问题,提出基于随机投影的快速凸包分类器(FCHC-RP).首先,使用随机投影的方法将样本投影到多个二维子空间,并将子空间数据映射到特征空间;其次,根据数据分布的几何特征得到凸包候选集;再次,基于凸包的定义计算出特征空间中的凸包向量;最后,使用与凸包向量对应的原始样本及其权值训练支持向量机.此外,FCHC-RP还适用于不平衡数据的分类问题,根据两类样本的不平衡程度选择不同的参数,可以得到规模相当的两类样本的凸包集,实现训练数据的类别平衡.理论分析和实验结果验证了FCHC-RP在分类性能和训练时间上的优势.     

一种基于局部敏感哈希的SVM快速增量学习算法

为了提高大规模高维度数据的训练速度和分类精度,提出了一种基于局部敏感哈希的SVM快速增量学习方法。算法首先利用局部敏感哈希能快速查找相似数据的特性,在SVM算法的基础上筛选出增量中可能成为SV的样本,然后将这些样本与已有SV一起作为后续训练的基础。使用多个数据集对该算法进行了验证。实验表明,在大规模增量数据样本中,提出的SVM快速增量学习算法能有效地提高训练学习的速度,并能保持有效的准确率。     

基于核Fisher判决分析的高性能多类分类算法

探讨了核Fisher判决分析算法(KernelFisherDiscriminantAnalysis,KFDA),并提出了一种基于KFDA的高性能多类分类算法。在进行多类分类时,首先通过一个非线性映射将训练样本映射到一个高维的核空间中,建立一个KFDA子空间,在该高维空间中,不同类别的样本之间的差异增大,同类样本聚集在一起,因此,在这个高维核空间中,就可以利用简单的最近邻法进行多类分类。实验结果表明,该算法在保证分类精度的条件下提高了分类器的训练和分类的速度。     

多超球面OC-SVM算法在隐秘图像检测中的应用

针对二类支持向量机分类器在图像密写分析应用中训练步骤复杂与推广性弱的缺点，把一类支持向量机（OC-SVM）引入算法，提出一种基于核的多超球面OC-SVM算法。算法利用核空间中样本特征差异突出的特性，首先对样本在核空间进行K-均值聚类，然后使用OC-SVMs对各子类训练建立多超球面分类模型，实现分类判决。实验结果表明，算法有效地实现了对隐秘图像的盲检测，提高了检测精度。     

基于马氏距离的改进核Fisher化工故障诊断研究

针对化工故障诊断数据存在非线性分布、 数据类别复杂、数据量大且故障特征不易区分等问题, 本文提出一种基于马氏距离的改进核Fisher故障诊断方法(Mahalanobis distance-based kernel Fisher discrimination, MKFD). 首先, 针对数据非线性分布的特点, 本文将核Fisher判别分析算法改进, 改进后的算法可以有效解决原始样本在投影后出现的因类间距离差异过大、类内距离不够紧凑造成的样本混叠现象. 除此之外, 利用Euclidean距离对类间距做加权处理时, 用组平均距离取代质心距离, 提升了运算效率, 降低了时间复杂度; 其次, 根据高斯径向基核函数(Radial basis function, RBF)在MKFD中所呈现出的诊断精度的规律, 本文采用一种新的核参数选择方法: 区间三分法, 用以取代在实际应用中依靠经验的交叉验证法; 最后, 本文采用马氏距离对故障进行分类, 基于田纳西伊—斯特曼过程(Tennessee-Eastman, TE)数据将本方法与其他改进核Fisher算法进行仿真验证对比. 结果表明新提出MKFD算法不仅可以提高故障诊断的运算效率, 也能有效提高诊断的精度.     

一种基于聚类核的半监督支持向量机分类方法

为了在标记样本数目有限时尽可能地提高支持向量机的分类精度,提出了一种基于聚类核的半监督支持向量机分类方法。该算法依据聚类假设,即属于同一类的样本点在聚类中被分为同一类的可能性较大的原则去对核函数进行构造。采用K-均值聚类算法对已有的标记样本和所有的无标记样本进行多次聚类,根据最终的聚类结果去构造聚类核函数,从而更好地反映样本间的相似程度,然后将其用于支持向量机的训练和分类。理论分析和计算机仿真结果表明,该方法充分利用了无标记样本信息,提高了支持向量机的分类精度。     

基于图的组合半监督SVM聚类核算法研究

为了在聚类假设的基础上,进一步提高支持向量机的分类精度,文中通过引入线性分段转换函数,将加权无向图上的相似矩阵重新表示,改变该图上的距离度量,使得在同一群集中两点间的距离更小,从而建立基于图的聚类核,与多项式核函数线性组合后,构造出基于图的组合半监督聚类核,并将其用于支持向量机的训练和分类。实验表明,与标准SVM算法相比,该算法分类精度较高,且高于组合前的单个核函数。随着标记样本比例的增加,该算法的分类精度也在增加,有效利用了未标记样本蕴含的信息。     

优化KPCA特征提取下的FCM算法研究

利用核函数主元分析（KPCA）方法对大样本、高维数据进行特征提取预处理,并结合文化算法（CA）选择最优或接近最优的核函数,将其用于模糊C均值（FCM）聚类中,不但有效地提取了样本的非线性信息,而且使样本维数得到约简。实验表明该方法具有较好的聚类效果和更少的训练时间。     

基于半监督KFCM及邻域信息的遥感图像分类算法

针对传统的模糊C-均值在遥感图像分类时容易产生局部最优现象以及对噪声过于敏感等问题,提出了一种基于半监督、核函数及空间邻域信息的模糊C-均值遥感图像分类算法。该算法基于遥感图像的光谱特征空间,根据地物的地表反射率大小进行聚类;在聚类迭代过程中,考虑到像素单元空间邻域的相关性,根据空间邻域信息加权调整像素点的隶属度大小;引入了核理论,解决遥感图像分类的非线性问题,使用内核诱导距离取代原模糊C-均值中的欧氏距离,优化图像样本特征;算法还使用了半监督分类技术,充分利用少量的已知标记信息,达到提高分类精度的目的。实验结果表明,该算法能有效提高分类精度,有效抑制噪声干扰,减少了迭代次数和时间。     

Locality preserving hashing for fast image search: theory and applications

Abstract

State-of-the-art hashing methods, such as the kernelised locality-sensitive hashing and spectral hashing, have high algorithmic complexities to build the hash codes and tables. Our observation from the existing hashing method is that, putting two dissimilar data points into the same hash bucket only reduces the efficiency of the hash table, but it does not hurt the query accuracy. Whereas putting two similar data points into different hash buckets will reduce the correctness (i.e. query accuracy) of a hashing method. Therefore, it is much more important for a good hashing method to ensure that similar data points have high probabilities to be put to the same bucket, than considering those dissimilar data-point relations. On the other side, attracting similar data points to the same hash bucket will naturally suppress dissimilar data points to be put into the same hash bucket. With this locality-preserving observation, we naturally propose a new hashing method called the locality-preserving hashing, which builds the hash codes and tables with much lower algorithmic complexity. Experimental results show that the proposed method is very competitive in terms of the training time spent for large data-sets among the state of the arts, and with reasonable or even better query accuracy.     

基于保局部核RVM的说话人识别方法

针对说话人语音特征随音量、情绪、健康等因素变化呈现出的复杂分布结构,提出一种基于保局部核相关向量机(RVM)的说话人识别方法。在RVM模型所采用的高斯核函数中引入相似度因子,以保留数据局部结构,构成保局部核RVM模型。在模型训练过程中采用快速算法以避免大型矩阵逆操作,减少计算量,可适用于大样本场合。应用结果表明,该方法能加快测试速度,提高分类精度。     

基于多种核函数的SVM在垃圾邮件过滤中的应用

采用TF-IDF和Bernoulli两种模型构造邮件向量,首先详细测试了CHI降维策略对线性支持向量机进行邮件分类的影响。将基于核函数的支持向量机引入到垃圾邮件过滤中,对基于线性核、多项式核和径向基核的支持向量机在邮件分类中的准确率和训练时间进行了比较,分析了训练样本不平衡对分类的影响,并从理论上对实验结果进行了分析,实验结果证明基于径向基核函数的SVM分类器对垃圾邮件有较好的过滤效果。     

基于Boosting框架的非稀疏多核学习方法

针对传统的分类器集成的每次迭代通常是将单个最优个体分类器集成到强分类器中,而其它可能有辅助作用的个体分类器被简单抛弃的问题,提出了一种基于Boosting框架的非稀疏多核学习方法MKL-Boost,利用了分类器集成学习的思想,每次迭代时,首先从训练集中选取一个训练子集,然后利用正则化非稀疏多核学习方法训练最优个体分类器,求得的个体分类器考虑了M个基本核的最优非稀疏线性凸组合,通过对核组合系数施加LP范数约束,一些好的核得以保留,从而保留了更多的有用特征信息,差的核将会被去掉,保证了有选择性的核融合,然后将基于核组合的最优个体分类器集成到强分类器中。提出的算法既具有Boosting集成学习的优点,同时具有正则化非稀疏多核学习的优点,实验表明,相对于其它Boosting算法,MKL-Boost可以在较少的迭代次数内获得较高的分类精度。     

基于高斯分布监督学习样本的Fisher核构造方法

结合实际应用背景, 针对各类样本服从高斯分布的监督学习情形, 提出了构造Fisher核的新方法. 由于利用了样本中的类别信息, 该方法用极大似然估计代替EM算法估计GMM参数, 有效降低了Fisher核构造的时间复杂度. 结合核Fisher分类法, 上述方法在标准人脸库上的仿真实验结果显示, 用所提方法所构造的Fisher核不仅时间复杂度低, 且识别率也优于传统的高斯核与多项式核. 本文的研究有利于将Fisher 核的应用从语音识别领域拓展到图像识别等领域.     

基于改进KPCA与混合核函数LSSVR的泥石流预测

针对引发泥石流灾害的多重影响因素而导致的预测维数灾难，以及最小二乘支持向量回归（least squares support vector regression， LSSVR）模型中选取单核函数而导致的模型训练性能部分缺陷的问题，提出了一种基于改进的核主成分分析（kernel principal component analysis， KPCA）与混合核函数LSSVR的泥石流灾害预测方法.首先，将影响泥石流发生的7种初始因子赋予权重，利用加权KPCA法筛选出3个主成分影响因子作为模型输入；然后，将局部核函数与全局核函数相结合，运用到LSSVR模型上，进行泥石流发生概率预测，以平衡样本学习能力与泛化能力，并使用果蝇优化算法（fruit fly optimization algorithm， FOA）更新模型的最优参数；最后，以磨子沟监测数据进行仿真验证.结果表明，该方法能够有效地降低维数灾难并提升预测模型精确度，在误差允许范围内预测出泥石流发生概率值及对应的预警等级，为相关决策部门提供一定的借鉴经验.     

基于K均值聚类和多核SVM的微钙化簇检测

考虑到乳腺微钙化簇样本分布不平衡以及特征的多样性,提出了基于K均值聚类的多核支持向量机.即首先将训练样本聚合成K类,对每类样本加不同的惩罚因子,以平衡样本分布不平衡.其次针对样本特征多样性,将核函数做组合,得到多核支持向量分类器.使用主动反馈学习的方法来得到稳定的训练样本.实验结果表明,本方法与单核SVM及多核SVM相比,检对率至少可以提高两个百分点.     

基于改进多核学习的语音情感识别算法

提出一种基于改进多核学习的语音情感识别算法.算法以高斯径向基核函数为基准,通过采样不同的样本,采用不同的评价标准并获得不同的参数,来提高分类性能.此外,通过引入多核技术,将得到的高斯核函数构建多核学习的基核,并通过利用松弛因子构建的软间隔多核学习的目标函数改善了学习效率.对比仿真实验结果表明,本文提出的基于多核学习语音情感识别算法有效提高了语音情感识别性能.     

基于DPC聚类重采样结合ELM的不平衡数据分类算法

采样技术与ELM分类算法进行结合可提高少数类样本的分类精度,但现有的大多数结合ELM的采样方法并未考虑到样本的不平衡程度及样本内部的分布情况,采样技术过于单一,导致分类模型的效率低下,少数类样本的识别率不高。针对此问题,提出了一种基于DPC聚类的重采样技术结合ELM的不平衡数据分类算法,首先根据数据集的不平衡程度分2种情况构建一个混合采样模型来平衡数据集;然后在此模型上运用DPC聚类算法分别对多数类样本和少数类样本进行分析处理,解决数据中存在的类内不平衡和噪声问题,使得2类样本相对均衡;最后使用ELM分类算法对得到的数据集进行分类。实验结果表明,与同类型分类算法进行比较,所提算法的2个分类性能指标在实验数据集上都有明显提升。     

支持向量机分类算法研究

支持向量机在处理两类分类问题时,当两类样本混杂严重时会降低分类精度。在NN-SVM分类算法的基础上,通过计算样本点与其最近邻点类别的异同以及该点与其k个同类近邻点在核空间的平均距离修剪混淆点,进而提出了一种改进的NN-SVM算法——KCNN-SVM。实验数据表明,KCNN-SVM算法与SVM以及NN-SVM相比,有着更高的分类精度和更快的训练、分类时间。