基于DPC聚类重采样结合ELM的不平衡数据分类算法

采样技术与ELM分类算法进行结合可提高少数类样本的分类精度,但现有的大多数结合ELM的采样方法并未考虑到样本的不平衡程度及样本内部的分布情况,采样技术过于单一,导致分类模型的效率低下,少数类样本的识别率不高。针对此问题,提出了一种基于DPC聚类的重采样技术结合ELM的不平衡数据分类算法,首先根据数据集的不平衡程度分2种情况构建一个混合采样模型来平衡数据集;然后在此模型上运用DPC聚类算法分别对多数类样本和少数类样本进行分析处理,解决数据中存在的类内不平衡和噪声问题,使得2类样本相对均衡;最后使用ELM分类算法对得到的数据集进行分类。实验结果表明,与同类型分类算法进行比较,所提算法的2个分类性能指标在实验数据集上都有明显提升。     

基于轨迹信息熵分布的异常轨迹检测方法

针对异常轨迹检测多特征检测和检测单元造成的检测效率低等问题。提出一种基于轨迹信息熵分布的异常轨迹检测方法。该算法根据轨迹偏转角与速度将轨迹分割成若干轨迹段,计算轨迹段间加权多特征距离判断轨迹间相似度,进而完成轨迹聚类并计算出每类代表性轨迹,然后对待检测轨迹进行分割,利用代表性轨迹计算每个轨迹段的信息熵,通过比较轨迹信息熵大小及其分布特点实现异常轨迹检测。大西洋飓风数据仿真实验结果表明该方法提高了聚类效果,克服以整条轨迹检测效率低的缺点,提升了异常轨迹检测算法的有效性。     

基于智能监控的中小人群异常行为检测

针对人群异常行为检测实时性较差、分类算法识别率不高、特征量较少的问题,提出一种基于智能监控的中小人群异常行为检测算法。首先,利用快速群体密度检测算法,提取人群数量变化信息;其次,利用改进的Lucas-Kanande光流法提取视频中人群的平均动能、人群方向熵、人群距离势能;最后,利用极限学习机(ELM)算法对人群行为进行分类。使用UMN公共数据集进行测试,ELM算法对中小人群异常行为分析比中高密度人群异常行为检测算法和基于KOD能量特征的群体异常行为检测算法识别率分别高出7.13个百分点和5.89个百分点,并且人数密度估计部分平均每帧图像处理耗时相比中高密度人群异常行为检测算法减少了106 ms(近1/3)。实验结果表明:基于智能监控的中小人群异常行为检测算法能有效提高异常帧识别率和实时性。     

AABC算法优化ELM的心脏病辅助诊断

针对ELM算法在心脏病辅助诊断中分类精度不高的缺陷,提出自适应人工蜂群算法优化ELM隐层输入权值和偏置的心脏病辅助诊断方法。采用自适应遗传算法对数据进行特征选择,以最优特征子集构造样本输入自适应人工蜂群算法优化ELM的分类模型。自适应人工蜂群算法改进原算法的跟随蜂概率选择机制,在搜索阶段引入最优解与次优解,通过自适应算子调整二者的引导作用。仿真结果表明,该方法相比于其它方法提高了分类精度,减少了总体耗时。     

联合加权重构轨迹与直方图熵的异常行为检测

为解决多目标打斗、抢劫等异常行为检测精度不高的问题,提出一种联合加权重构轨迹与直方图熵的异常行为检测算法。首先,采用背景相减法结合宽高比提取行人目标;然后将卡尔曼滤波器及HOG特征融入时空上下文算法中,实现短时间内被完全遮挡行人的鲁棒跟踪;最后对跟踪轨迹进行训练,构造正常行为字典并稀疏重构待检测轨迹,通过联合加权最小重构残差和直方图熵,实现对异常行为的有效检测。通过对比实验,表明该算法对于打斗和抢劫等异常行为具有较好的检测效果,在静态背景且无遮挡的情况下,检测率可达92%以上。     

基于不平衡分类的人脸检测系统

人脸检测是生物特征识别技术中一个关键技术。针对人脸检测中正负样本类别不平衡的特性,提出基于BalanceCascade不平衡分类算法的人脸检测系统。系统通过控制分类器的误报率使得每层正负样本的规模相当,然后加权所有弱分类器构建最终的强分类器,消除训练正负样本不平衡的特点。在ORL人脸数据集上进行实验,采用F-measure和AUC作为评判标准,相比于传统的AdaBoost和UnderSamping不平衡分类算法,实验结果表明BalanceCascade算法优于传统的不平衡分类算法。     

面向类别不平衡数据的主动在线加权极限学习机算法

针对在样本类别分布不平衡场景下,现有的主动学习算法普遍失效及训练时间过长等问题,提出采用建模速度更快的极限学习机,即ELM(Extreme Learning Machine)作为主动学习的基分类器,并以加权ELM算法用于主动学习过程的平衡控制,进而在理论上推导了其在线学习的过程,大幅降低了主动学习的时间开销,并将最终的混合算法命名为AOW-ELM算法。通过12个基准的二类不平衡数据集验证了该算法的有效性与可行性。     

轨迹异常检测研究综述

传感器技术的飞速发展催生大量交通轨迹数据,轨迹异常检测在智慧交通、自动驾驶、视频监控等领域具有重要的应用价值.不同于分类、聚类和预测等轨迹挖掘任务,轨迹异常检测旨在发现小概率、不确定和罕见的轨迹行为.轨迹异常检测中一些常见的挑战与异常值类型、轨迹数据标签、检测准确率以及计算复杂度有关.针对上述问题,全面综述近20年来轨迹异常检测技术的研究现状和最新进展.首先,对轨迹异常检测问题的特点与目前存在的研究挑战进行剖析.然后,基于轨迹标签的可用性、异常检测算法原理、离线或在线算法工作方式等分类标准,对现有轨迹异常检测算法进行对比分析.对于每一类异常检测技术,从算法原理、代表性方法、复杂度分析以及算法优缺点等方面进行详细总结与剖析.接着,讨论开源的轨迹数据集、常用的异常检测评估方法以及异常检测工具.在此基础上,给出轨迹异常检测系统架构,形成从轨迹数据采集到异常检测应用等一系列相对完备的轨迹挖掘流程.最后,总结轨迹异常检测领域关键的开放性问题,并展望未来的研究趋势和解决思路.     

基于模糊加权近似支持向量机的Web文本分类

Web文本分类是数据挖掘领域的研究热点。针对Web文本数据集高维和不平衡的特点,将模糊隶属度和平衡因子引入近似支持向量机,提出模糊加权近似支持向量机。首先计算样本的平均密度,并结合样本数量求得平衡因子,克服传统加权算法仅以样本数为依据设置权值的缺陷,缓解数据不平衡造成的分类超平面偏移;再计算样本的模糊隶属度,消除噪声和奇异点造成的分类误差;近似支持向量机相比标准支持向量机具有明显的速度优势,更加适用于高维数据分类。实验表明,算法能有效提高不平衡数据的分类精度,在Web文本的训练速度和分类质量上有一定提高。     

基于R-tree的高效异常轨迹检测算法

异常检测是一种流行的数据挖掘任务,但是轨迹数据的异常检测的研究比较少,而且存在的算法也较有局限性,因此J.-G Lee等人提出了TRAOD算法。该算法能够有效地检测出异常的轨迹,但是也存在着缺陷。它的复杂度和准确度比较难平衡,在参数的选取上也比较难,算法的运行时间较长。基于TRAOD的问题,提出一种基于R-tree的高效的异常轨迹检测算法R-TRAOD。该算法通过R-tree对轨迹点进行索引搜索其领域内的轨迹点,然后根据TRAOD算法对R-tree索引出来的轨迹点进行异常轨迹的检测,这样可以提高算法的运行速度。真实数据实验测试表明,该算法比最新的TRAOD异常轨迹挖掘算法效率要高。     

DP聚类的可信性加权模糊支持向量机

由于SVM（Support Vector Machine）在有离群点和不平衡数据的问题中分类性能相对较低，有研究者提出了一种面向不均衡分类的隶属度加权模糊支持向量机，只是文中的模糊隶属度并不能较好衡量样本点对确定最佳分划超平面所做的贡献大小。针对以上问题提出了密度峰（Density Peaks，DP）聚类的可信性加权模糊支持向量机。首先由DP聚类找到离群点后剔除。再根据点到由DEC（Different Error Costs）确定的超平面的距离，得到初始隶属度，并用改进的FSVM-CIL（Fuzzy Support Vector Machines for Class Imbalance Learning）更新隶属度。之后剔除部分样本点，起到简约样本的作用，并减少数据不平衡带来的影响。通过实验验证了所提出算法的有效性。     

改进的概率选择主动支持向量机算法

针对大多数主动学习支持向量机（ASVM）的主动学习策略只注重考察超平面附近的样本,忽略了有些距离超平面远但是支持向量的样本,而且没有考虑当前超平面是否接近实际的超平面。提出一种基于概率的主动支持向量机算法,采用一个置信因子来衡量当前的超平面接近实际的超平面的程度。实验结果都验证了该算法在分类精度与计算量方面都有了较大改进。     

基于ELM的局部空间信息的模糊C均值聚类图像分割算法

极限学习机（Extreme learning machine, ELM）作为一种新技术具有在回归和分类中良好的泛化性能。局部空间信息的模糊C均值算法(Weighted fuzzy local information C-means, WFLICM)用邻域像素点的空间信息标记中心点的影响因子,增强了模糊C均值聚类算法的去噪声能力。基于极限学习机理论,对WFLICM进行改进优化,提出了基于ELM的局部空间信息的模糊C均值聚类图像分割算法(New kernel weighted fuzzy local information C-means based on ELM,ELM-NKWFLICM)。该方法基于ELM特征映射技术,将原始数据通过ELM特征映射技术映射到高维ELM隐空间中,再用改进的新核局部空间信息的模糊C均值聚类图像分割算法(New kernel weighted fuzzy local information C-means,NKWFLICM)进行聚类。 实验结果表明 ELM-NKWFLICM算法具有比WFLICM算法更强的去噪声能力,且很好地保留了原图像的细节,算法在处理复杂非线性数据时更高效, 同时克服了模糊聚类算法对模糊指数的敏感性问题。     

非均衡数据的支持向量机新方法*

为了弥补支持向量机对非均衡样本集分类时倾向于较大类的不足,提出一种平衡策略。基于Fisher判别思想,计算出两类样本在分类超平面法向量上投影后的均值和方差,再依据两类错分概率相等准则,给出新的阈值计算方法对超平面进行调整。该方法可补偿非平衡数据分类的倾向性,提高预测分类精度。最后在非均衡的人工和真实数据集上的数值实验表明了该方法的可行性与有效性。     

Lagrangian relaxation for SVM feature selection

We discuss a Lagrangian-relaxation-based heuristics for dealing with feature selection in the Support Vector Machine (SVM) framework for binary classification. In particular we embed into our objective function a weighted combination of the L₁ and L₀ norm of the normal to the separating hyperplane. We come out with a Mixed Binary Linear Programming problem which is suitable for a Lagrangian relaxation approach.Based on a property of the optimal multiplier setting, we apply a consolidated nonsmooth optimization ascent algorithm to solve the resulting Lagrangian dual. In the proposed approach we get, at every ascent step, both a lower bound on the optimal solution as well as a feasible solution at low computational cost.We present the results of our numerical experiments on some benchmark datasets.     

基于实值遗传算法与TAFSVM的遥感图像分类

支持向量机已经被成功应用于遥感图像分类。一种新型具有良好特性的支持向量机--全间隔自适应模糊支持向量机被提出。这种新型的支持向量机具有通过训练集的模糊性来增强泛化能力;对不平衡训练集具有自适应性,对正负数据采用不同的损失算法,可以提高正确分类率;通过引进全间隔算法来代替软间隔算法,可以得到更低的泛化误差等优良特性,符合遥感图像数据的内在规律。并且运用实值遗传算法对其进行参数优选,得到一种新的分类器——AGATAFSVM。最后将该分类器应用于遥感图像分类。实验结果表明,该分类器非常适用于遥感图像分类,分类精度和稳定性明显高于径向基神经网络分类器、 最近邻分类器和标准支持向量机。     

基于分类超平面的非线性集成学习机

针对支持向量机面临的大规模数据分类问题, 提出基于分类超平面的非线性集成学习机NALM。该方法借鉴管理学中协同管理的思想, 将大规模数据分成规模较小的子集, 然后分别在子集上运行分类超平面算法, 最后将各子集上的分类结果进行非线性集成得到最终的分类结果。该方法不仅继承了分类超平面的优点, 而且还将分类超平面的适用范围从小规模数据扩展到中大规模数据, 从线性空间推广到Hilbert核空间。若干数据集上的实验表明：NALM能以较少的支持向量来解决大规模样本分类问题。     

支持向量机分类与回归算法的关系研究

基于统计学习理论的支持向量机算法以其优秀的学习性能已广泛用于解决分类与回归问题.分类算法通过求两类样本之间的最大间隔来获得最优分离超平面,其几何意义相当直观,而回归算法的几何意义就不那么直观了.另外,有些适用于分类问题的快速优化算法却不能用于回归算法中.研究了分类与回归算法之间的关系,为快速分类算法应用于回归模型提供了一定的理论依据.     

An optimized extreme learning machine-based novel model for bearing fault classification

This work addresses the rolling element bearing (REB) fault classification problem by tackling the issue of identifying the appropriate parameters for the extreme learning machine (ELM) and enhancing its effectiveness. This study introduces a memetic algorithm (MA) to identify the optimal ELM parameter set for compact ELM architecture alongside better ELM performance. The goal of using MA is to investigate the promising solution space and systematically exploit the facts in the viable solution space. In the proposed method, the local search method is proposed along with link-based and node-based genetic operators to provide a tight ELM structure. A vibration data set simulated from the bearing of rotating machinery has been used to assess the performance of the optimized ELM with the REB fault categorization problem. The complexity involved in choosing a promising feature set is eliminated because the vibration data has been transformed into kurtograms to reflect the input of the model. The experimental results demonstrate that MA efficiently optimizes the ELM to improve the fault classification accuracy by around 99.0% and reduces the requirement of hidden nodes by 17.0% for both data sets. As a result, the proposed scheme is demonstrated to be a practically acceptable and well-organized solution that offers a compact ELM architecture in comparison to the state-of-the-art methods for the fault classification problem.     

Model selection of extreme learning machine based on multi-objective optimization

As a novel learning algorithm for single-hidden-layer feedforward neural networks, extreme learning machines (ELMs) have been a promising tool for regression and classification applications. However, it is not trivial for ELMs to find the proper number of hidden neurons due to the nonoptimal input weights and hidden biases. In this paper, a new model selection method of ELM based on multi-objective optimization is proposed to obtain compact networks with good generalization ability. First, a new leave-one-out (LOO) error bound of ELM is derived, and it can be calculated with negligible computational cost once the ELM training is finished. Furthermore, the hidden nodes are added to the network one-by-one, and at each step, a multi-objective optimization algorithm is used to select optimal input weights by minimizing this LOO bound and the norm of output weight simultaneously in order to avoid over-fitting. Experiments on five UCI regression data sets are conducted, demonstrating that the proposed algorithm can generally obtain better generalization performance with more compact network than the conventional gradient-based back-propagation method, original ELM and evolutionary ELM.