透析计算:面向OLGP的InfoNetCube高效物化

信息网络数据立方（InfoNetCube）的计算是进行信息网络在线分析处理的基础.然而,不同于传统的数据立方,信息网络数据立方由多个子方体格组成,每个方体格中的任意方体（cuboid）的任意单元格都包含一个主题图（或称图度量）,因而空间开销较传统数据立方大2个数量级以上.如何快速、高效进行信息网络数据立方的部分物化是极具挑战的研究课题.本文提出基于“透析计算”思想的信息网络立方物化策略,通过主题图度量在信息维和拓扑维上反单调性运用,提出基于“透析计算”的空间剪枝算法,快速透析掉不可能命中的子图度量、方体单元、方体乃至方体格.实验结果表明,本文提出的基于“透析计算”的部分物化策略,可以对信息网络方体进行有效剪枝,算法较基于基本方体的部分物化策略运行时间平均降低75%.     

基于Isolation Forest的并行化异常探测设计

异常探测具有广泛的应用,受到了工业界和学术界的共同关注。在众多异常探测方法中,Isolation Forest算法具有执行效率高、探测准确度好的特点,获得了众多应用。但是,传统Isolation Forest算法难以处理大规模数据。为解决此问题,设计了一种基于云计算平台的算法。具体地,使用Hadoop分布式存储系统和MapReduce分布式计算框架设计并实现了基于Isolation Forest的并行化异常探测算法PIFH。通过将探测模型构建和数据异常评价的过程并行化,提升了PIFH算法探测异常的执行效率,扩展了其应用范围。利用真实世界数据集验证了所提算法的执行效率和可扩展性。     

一种基于高斯混合模型的轨迹预测算法

在智能交通控制系统、军事数字化战场、辅助驾驶系统中,实时、精确、可靠的移动对象不确定性轨迹预测具有极高的应用价值.智能轨迹预测不仅可以提供精准的基于位置的服务,而且可以提前监测和预判交通状况,进而推荐最佳路线,已经成为移动对象数据库研究的热点,亟需设计准确而高效的位置预测方法.针对现有方法的不足,提出了基于高斯混合模型的轨迹预测方法GMTP,主要步骤包括:(1) 针对复杂运动模式利用高斯混合模型建模;(2) 利用高斯混合模型计算不同运动模式的概率分布,进而将轨迹数据划分为不同分量;(3) 利用高斯过程回归预测移动对象最可能的运动轨迹.GMTP是高斯非线性概率统计模型,其优势在于:计算结果不仅是位置预测值,更是关于移动对象未来所有可能运动轨迹的概率分布,可以利用概率统计分布特性获得某种运动模式(如匀加速运动)下的位置预测.大量真实轨迹数据集上的实验结果表明:与相同参数设置下的高斯回归预测和卡尔曼滤波预测法相比,GMTP的预测准确性平均提高了22.2%和23.8%,预测时间平均缩减了92.7%和95.9%.     

大数据环境下移动对象自适应轨迹预测模型

已有的轨迹预测算法针对移动对象运动模式,使用数学模型进行交通流模拟,难以对路网中的移动对象进行准确的描述.为了解决这一问题,提出基于隐马尔可夫模型(hidden Markov model,简称HMM)的自适应轨迹预测模型SATP(self-adaptive trajectory prediction model based on HMM),对大数据环境下移动对象海量轨迹利用基于密度的聚类方法进行位置密度分区和高效分段处理,减少HMM的状态数量.根据输入轨迹自动选取参数组合,避免HMM模型中隐状态不连续、状态停留等问题.实验结果表明,SATP模型在实验中表现出较高的预测准确性,并维持较低的时间开销.针对速度随机改变的移动对象,其平均预测准确率为84.1%;相同情况下,平均高出朴素预测算法46.7%.     

CIO：源头遏制垃圾邮件的新方法

分析了垃圾邮件的起源和目前泛滥的严峻形势,讨论了几种主流的垃圾邮件处理技术,指出了这些技术的缺陷,根据垃圾邮件的本质,提出了能够从源头上遏制这类邮件的CIO方法。     

基于聚类排序选择方法的进化算法

为提高进化算法的效率,提出了聚类排序选择方法。主要工作有:(1)提出了新的种群内个体相似度度量,并使用种群所包含不同簇的数量来描述和度量种群的多样性;(2)为解决早熟问题提出了新的基于种群聚类和排序选择的聚类-排序选择方法;(3)导出了选择压力-种群多样性(SP-PD)方程,该方程能描述进化过程中选择压力随种群多样性变化的规律。在基于全面学习粒子群算法环境中作了详实的实验,对16个多峰函数进行了优化。实验结果表明,在10维和30维条件下,在15个函数优化中,新方法明显优于指数排序选择方法,最高能使精度提高4个数量级。     

基于自然语言语义分析的Internet文件分类与过滤

网上文件过滤是网络信息安全研究的重要课题。传统的过滤方法简单地把关键字匹配作为分类的依据,常导致漏判误判等问题。文中提出一种基于自然语言理解的语义模板算法解决网上文件分类过滤的问题。实验结果表明该方法漏判误判率较低,是一种行之有效文件分类方法。     

基于能量和频繁模式的数据流预测查询算法

设计了数据流预测查询的新模型,包括局域流能量预测、能量分布模式挖掘及预测序列的重构和数据流能量的度量方法;设计了融合数据流能量回归与基于频繁模式的小波分解预测新方法,并将新算法推广到强偶合多数据流的预测查询;提出了最近最频繁序列模式的新概念,并应用于局域流能量分解;在真实数据上的模拟实验,验证了算法的有效性.     

基于中心距序降维的聚类算法

为提高金融业务数据集上的聚类质量和聚类效率,提出簇的直径、簇间的相似度这2个概念。利用距离尺度降维的中心距序降维法,将多维数据降至一维,在一维上利用自适应排序聚类算法ASC聚类。该算法和传统的Cobweb算法、K-means算法做对比,实验表明该方法能提高簇间相似度,最大提高200%。     

基于流信息距离的多文本流热点挖掘

把文本流中的热点区分为局部热点和全局热点,分析了二者的相关性,并将Kolmogorov复杂度应用于多文本流中的热点挖掘,首先,定义了基于Kolmogorov复杂度的冗余信息的概念,并论证了文本流存在局部热点的必要条件是冗余信息超过某个阈值;其次,基于条件Kolmogorov复杂度提出了一个相似性度量指标——流信息距离(...