时空数据异常探测方法

以“k倍标准差”准则为基础,提出一种专题属性双重偏离的时空异常检测方法,在每个要素的空间邻近域里采用“k倍标准差”准则探测各时刻的空间异常数据,在每个空间异常数据的时间邻近域中,再次使用该准则判断该要素是否为时序异常,并将所有空间和时间邻近域上均表现为异常的数据定义为时空异常。实验结果表明,该方法是有效可行的。     

基于聚类的出租车异常轨迹检测

出租车全球定位系统数据中蕴含城市交通和移动对象行为的宏观信息,从中可以挖掘出有价值的异常轨迹模式。将位置和几何形状、行驶时间分别作为出租车轨迹的空间与时间特征,根据特征偏离情况划分时间、空间和时空异常轨迹。从轨迹数据中提取相同起终点的轨迹集,将轨迹划分成轨迹片段,计算轨迹间的相似度并进行基于距离和密度的聚类,在空间特征上初步分离出频繁和稀疏轨迹,根据数据异常判定的kσ准则确定时间特征异常的分离阈值,对时间特征进行再次划分,最终实现出租车异常轨迹检测。实验结果表明,该方法能从异常轨迹中挖掘出个性化路线、异常停留位置和交通路段,为智能交通、物流高效规划和执行等提供参考信息。     

一种基于局部时空特征的视频异常检测方案

针对目前大多数视频异常检测方案在局部异常检测上的不足,提出一种基于局部时空特征的视频异常检测方案。该方案先提取运动描述符,再量化拆分,对每个特征描述符使用不同标度的时间空间滤波器,获得各时间空间区域的平滑估计,为训练和测试视频计算出各区域的局部K最邻近(KNN)距离,根据上述局部KNN距离,得出测试和训练视频的总体分值。对总体分值排名,确定异常。将该方案在公共数据集(UCSD数据集、人群异常UMN数据集、U型转弯数据集)上进行测试,结果表明,该方案的误差率、曲线下面积等性能指标优于现有的视频异常检测算法。     

基于邻近域的不完备空间数据探测方法

不完备的空间数据影响了空间决策、分析与推理的结果及其可靠性。传统的不完备数据检测方法仅使用统计学理论,没有考虑空间数据的空间特性,从而不能直接用于检测不完备的空间数据。提出了一种基于邻近域的不完备空间数据检测方法—NNBiSDD算法,NNBiSDD算法在空间实体的k-邻近域内使用“三倍标准差”原则检测不完备的空间数据。最后,通过一个实际算例验证了NNBiSDD算法的有效性和可靠性。     

k最近邻流序列算法对异常流检测的优化研究

通过时空异常流检测技术可以发现城市交通数据中的异常交通特征。与时间序列中单个异常流检测采用的方法不同,提出了从流序列中检测异常流分布的k最近邻流序列算法（kNNFS）。算法首先为每个位置测定每个时间区间内的单个流观测值;随后计算单个流的观测频率来构建每个位置处每个时间区间的流分布概率库;最后由阈值判定使用KL散度计算的新的流分布概率与其k最近邻之间的距离是否为异常值,距离值小于阈值则更新入流分布概率库,否则为异常的流分布。仿真分析表明,对比DPMM算法和SETMADA算法,kNNFS算法在检测精度和算法运行时间方面均有优化提升。     

基于时空相关性的公交大数据清洗

随着大数据与AI技术的发展,由数据驱动的预测模型层出不穷,数据清洗在提升这些模型预测中起着重要的作用。从公交车运行数据的时空相关性入手,分析了公交大数据存在的四类异常,接着在对时间相关性、空间邻近性、时空依赖性等公交大数据特性的分析基础上,提出了整合缓冲区、四分位数、时间依赖网络等时空处理方法的冗余清洗、范围清洗、异常清洗、补全清洗四种清洗方法,然后对公交进出站、轨迹数据集用这几种清洗方法进行了清洗。在不同清洗数据集下,通过LSTM公交到达时间预测精度的比较分析,证明了数据清洗对预测精度的提升是显著的。     

时空数据模型及其应用技术研究--以公路交通网为例

以公路交通网为例，提出了一种适合于公路交通信息系统的时空数据模型，该模型考虑了空间、时间的拓扑关系，并对因时间要素的加入而产生海量数据的存储问题提出一种新的解决方法，同时利用面向对象技术将其与当前关系数据库相结合，并给出了基于此模型的一个空间数据库的初步解决方案。     

基于状态和变化的统一时空数据模型

提出了一个基于状态和变化的统一时空数据模型SCUDM(state and change based unified spatio-temporial datamodel).时空数据库的状态是关于对象、空间和时间的三元组,时空数据库的变化就是状态的变化.按照对象域、空间域和时间域将时空数据库中的变化分别投影分解,显式地表达在对象、空间和时间上的变化.而事件是在某一时刻前后,时空实体的变化关系,在事件表达中蕴涵了空间实体之间的时间拓扑关系.SCUDM不仅支持状态和变化的表达,而且支持时间拓扑和空间拓扑的表达.     

基于时间序列相似性的自动观测数据时空异常探测方法研究

针对野外无线传感器获取的时空数据的特点,总结常见的时空异常探测方法,提出了一种根据时间序列相似性度量时空邻域的时空异常探测方法,用于准确检测时空数据的异常情况。采用2012年7月15日黑河流域生态水文无线传感器观测网中13个观测节点的数据进行验证,结果表明:该算法能够有效地探测到无线传感器网络时空数据中的异常,并能识别由于灌溉或降雨造成的伪异常,对其他数据处理探索研究有一定指导意义。     

基于自适应混合高斯模型的时空背景建模

提出了一种基于自适应混合髙斯模型的时空背景建模方法, 有效地融合了像素在时空域上的分布信息, 改善了传统的混合髙斯背景建模方法对非平稳场景较为敏感的缺点. 首先利用混合髙斯模型学习每个像素在时间域上的分布, 构造了基于像素的时间域背景模型, 在此基础上, 通过非参数密度估计方法统计每个像素邻域内表示背景的髙斯成分在空间上的分布, 构造了基于像素的空间域背景模型; 在决策层融合了基于时空背景模型的背景减除结果. 为了提高本文时空背景建模的效率, 提出了一种新的混合高斯模型髙斯成分个数的自适应选择策略, 并利用积分图实现了空间域背景模型的快速计算. 通过在不同的场景下与多个背景建模方法比较, 实验结果验证了本文算法的有效性.     

基于稀疏子空间的局部异常值检测算法

针对高维数据集中存在不相关的属性与冗余数据导致无法检测出异常值的问题,提出了一种新的基于稀疏子空间的局部异常值检测算法（SSLOD）。根据数据对象在每个维度上的局部密度定义了对象的异常因子;依据异常因子阈值约简数据集中与局部异常值不相关的属性以及冗余的数据对象;用改进的粒子群优化算法在约简后的数据集中搜索稀疏子空间,该子空间中的数据对象即为异常值。通过在仿真数据集和真实数据集上的综合实验验证了该算法的有效性和准确性。     

基于粗糙集的高维空间离群点发现算法研究

该文提出在高维空间下离群点发现技术的新方法,即利用粗糙集的属性约简技术减少高维空间的维数,并在各个关联规则子空间下对数据集进行基于密度的离群点挖掘,使高维空间下的离群点挖掘更具有实用性。数据分析表明,该算法能有效地发现高维空间数据集中的离群点。     

A fuzzy index for detecting spatiotemporal outliers

The detection of spatial outliers helps extract important and valuable information from large spatial datasets. Most of the existing work in outlier detection views the condition of being an outlier as a binary property. However, for many scenarios, it is more meaningful to assign a degree of being an outlier to each object. The temporal dimension should also be taken into consideration. In this paper, we formally introduce a new notion of spatial outliers. We discuss the spatiotemporal outlier detection problem, and we design a methodology to discover these outliers effectively. We introduce a new index called the fuzzy outlier index, FoI, which expresses the degree to which a spatial object belongs to a spatiotemporal neighbourhood. The proposed outlier detection method can be applied to phenomena evolving over time, such as moving objects, pedestrian modelling or credit card fraud.     

基于核函数-主成分维数约减的离群点检测

为了提高高维数据集合离群数据挖掘效率,该文分析传统的离群数据挖掘算法,提出一种离群点检测算法。该算法将非线性问题转化为高维特征空间中的线性问题,利用核函数-主成分进行维数约减,逐个扫描数据对象的投影分量,判断数据点是否为离群点,适用于线性可分数据集的离群点、线性不可分数据集的离群点的检测。实验表明了该算法的优越性。     

Mining class outliers: concepts, algorithms and applications in CRM

Outliers, or commonly referred to as exceptional cases, exist in many real-world databases. Detection of such outliers is important for many applications and has attracted much attention from the data mining research community recently. However, most existing methods are designed for mining outliers from a single dataset without considering the class labels of data objects. In this paper, we consider the class outlier detection problem ‘given a set of observations with class labels, find those that arouse suspicions, taking into account the class labels’. By generalizing two pioneer contributions [Proc WAIM02 (2002); Proc SSTD03] in this field, we develop the notion of class outlier and propose practical solutions by extending existing outlier detection algorithms to this case. Furthermore, its potential applications in CRM (customer relationship management) are also discussed. Finally, the experiments in real datasets show that our method can find interesting outliers and is of practical use.     

无线传感器网络中异常读数检测算法研究*

针对无线传感器网络的离群点检测算法由于没有充分考虑数据的时空关联性和网络的分布特性,导致检测精度低、通信量大和计算复杂度高等局限,提出了基于时空关联的分布计算与过滤的在线离群点检测算法。该算法在各传感器节点上利用传感器读数的时间关联性生成候选离群点,并利用空间关联性对候选离群点进行过滤得到局部离群点,最终将所有传感器节点上的局部离群点集中到sink节点上获得全局离群点。利用时空关联性提高了检测精度,利用分布计算与过滤减少了通信量和计算量,理论分析和实验结果均表明该算法优于现有算法。     

Finding key attribute subset in dataset for outlier detection

Detection of outlier from high dimensional dataset have found important applications in many fields, yet the unexpected time consumption is likely to hinder its practical use. Thus, it makes sense to build an efficient method for finding meaningful outliers and analyzing their intentional knowledge. In this paper, we utilize the concept of rough set to construct a method for outlying reduction, based on an outlier detection and analysis system. By defining outlying partition similarity, we can mine outliers on the key attribute subset rather than on the full dimensional attribute set of dataset, as long as the similarity between outlying partitions produced on them is large enough. For this purpose, we propose a novel method for finding the key attribute subset in dataset, which starts by seeking all outliers on the full attribute set, and then searches through all outlying attribute subsets for these points. After that, it turns out to be able to determine the key attribute subset in accordance with the similarity between outlying partitions. By experiments, we show that our method allows more efficient seeking of key attribute subset than the previous methods, thereby improving the feasibility of outlier detection.     

基于KNN图的两阶段孤立点检测及应用研究

针对两种基于KNN图孤立点检测方法：入度统计法（ODIN）和K最邻近（K-nearest Neighbor,RSS）算法的不足,提出了一种新的改进方法：两阶段孤立点检测方法,并进行了适当扩充使之适用于数据集中孤立点数目未知情况下的孤立点检测。算法应用于“小样本,高维度”的基因微阵列数据集进行样本孤立点检测取得了很好效果,证明了此方法的有效性。     

局部空间离群点算法的改进及其实现

LOF算法是一个著名的局部离群点查找方法,该方法赋予了表征每一个空间点偏离程度的数值。但LOF算法存在效率低和性能差的问题,为此对该算法进行了以下两个方面的改进：第一,提出了降低该算法时间复杂度的两步改进方法,并对这两步改进方法的时间复杂度也进行详细分析,第二,使得该算法在查找局部离群点时,不仅考虑了空间属性,也考虑了非空间属性。另外还通过实验测试了LOF算法及其改进方法的时间效率,以及在模拟数据和真实数据情况下的查找离群点的效果。实验结果表明,改进方法具有更好的时间效率和性能。