一种基于数据垂直划分的分布式密度聚类算法

聚类分析是数据挖掘领域的一项重要研究课题,对大数据集的聚类更以其数据量大、噪声数据多等而成为一个难点.针对数据垂直划分的情况,提出连通点集及局部噪声点集等概念.在分析局部噪声点集与全局噪声点集以及局部连通点集与全局连通点集关系的基础上,对全局噪声点进行有效过滤,进一步设计闭三角链表结构存储各个结点的聚类中间结果,提出了基于密度的分布式聚类算法DDBSCAN.理论分析和实验结果表明,算法可以有效解决垂直划分的大数据集聚类问题,算法是有效可行的.     

Internet运营商垃圾邮件应对策略

针对垃圾邮件的现状，分析了邮件服务的相关协议和安全问题，结合ISP实际运营，对垃圾邮件的防范策略做了重点阐述。     

图像搜索结果的滑动窗口多标记传播聚类

针对图像聚类中数据量大、部分重叠等问题,提出一种基于滑动窗口的多标记传播聚类算法。首先根据图像距离计算图像间的相似度,设定阈值将相似度转变为链接,构造出一个无向图;然后应用基于滑动窗口的多标记传播算法对无向图进行社区划分。滑动窗口可以存放多个标记,从而一个图像可以归属于多个类别。对公开网络数据和搜索引擎返回的真实图像数据进行实验,结果表明,该方法能有效发现具有重叠划分的簇,且簇的意义比较明确。     

一种新的分类器选择集成算法

为提高集成分类器系统的分类性能,提出一种分类器选择集成算法MCC-SCEN。该算法选取基分类器集中具有最大互信息差异性的子集和最大个体分类能力的子集,以确定待扩展分类器集,选择具有较大混合分类能力的基分类器加入到待扩展集中,构成集成系统,进行加权投票并产生结果。实验结果表明,该方法优于经典的AdaBoost和Bagging方法,具有较高的分类准确率。     

基于动态加权的粗糙子空间集成

提出一种基于动态加权的粗糙子空间集成方法EROS-DW。利用粗糙集属性约简方法获得多个特征约简子集,并据此训练基分类器。在分类阶段,根据给定待测样本的具体特征动态地为每个基分类器指派相应的权重,采用加权投票组合规则集成各分类器的输出结果。利用UCI标准数据集对该方法的性能进行测试。实验结果表明,相较于经典的集成方法,EROS-DW方法可以获得更高的分类准确率。     

基于TD(λ)的自然梯度强化学习算法

近年来强化学习中的策略梯度方法以其良好的收敛性能吸引了广泛的关注。研究了平均模型中的自然梯度算法,针对现有算法估计梯度时效率较低的问题,在梯度估计的值函数逼近中采用了TD(λ)方法。TD(λ)中的资格迹使学习经验的传播更加高效,从而能够降低梯度估计的方差,提升算法的收敛速度。车杆平衡系统仿真实验验证了所提算法的有效性。     

基于模糊规则的学习者认知水平估算方法

认知水平估算是远程学习系统中实现学习导航和知识推荐的一个重要依据.针对现有的估算方法存在计算方式单一、逻辑推理简单等问题,提出了一种用模糊集表示认知水平等级,以记忆量为判断标准、试题难度和做题时间为影响因素,通过模糊推理产生对认知等级不同的影响参数,并利用影响参数和改进的SherlockⅡ方法修改认知水平的等级隶属度的方法.通过和其他方法比较,得出本方法逻辑合理、计算简便,能够合理地反映学习者的认知过程.     

基于Petri网的数据库日志分析方法研究

为提高对复杂ERP系统的审计效率,提出了通过数据库日志快速发现系统中存在的不合规业务流程的方法。该方法利用数据库中已有的结构关系来确定日志操作中工作流程的次序,并通过Petri网中的a-算法对数据库日志进行转换,将转换后的真实业务流与合规业务流进行差异比较,使审计人员能较直观和准确地判断出系统中存在的异常业务流程。     

结合SOM的关联规则挖掘研究

为了实现在海量数据中的审计线索的快速发现,通过数据挖掘FMA算法对被审数据和审计专家经验库进行关联规则快速提取;再利用自组织神经网络改良CLARANS算法对审计专家经验库抽取的规则划分出相似规则群;然后通过对被审单位关联规则集合和专家经验的相似规则群进行相对强弱、趋近率和价值率的比较,最终得到审计线索集合。