Multi-agent systems for protecting critical infrastructures: A survey

Multi-agent systems have emerged as a very significant platform in provisioning distributed and collaborative services to critical applications. Such applications require ubiquitous agent presence in the environment for monitoring, collecting data, communication, and subsequent data analysis, where the sensitivity of the application's nature cannot be understated. Recent advances in the field of autonomous, ubiquitous, intelligent and distributed computing have led to corresponding developments in the use of collaborating multi-agents to protect critical infrastructures. Such systems have witnessed crucial demand for deployment in diverse application scenarios such as E-commerce, E-health, Network Intrusion Detection, Telematics and Transport Systems, Environmental Monitoring, as well as for distributed information processing in general. Critical infrastructures have longed for a distributed system in place for their uninterrupted and accurate operations. Multi-agents have provided one such approach towards addressing the issue of protecting such infrastructures through collaborative and distributed information processing. In this paper, a state-of-the-art on the use of multi-agent based systems for protecting five most common critical infrastructures, is presented.     

基于Hadoop的Web日志挖掘

基于单一节点的数据挖掘系统在挖掘Web海量数据源时存在计算瓶颈,针对该问题,利用云计算的分布式处理和虚拟化技术的优势,设计一种基于云计算的Hadoop集群框架的Web日志分析平台,提出一种能够在云计算环境中进行分布式处理的混合算法。为进一步验证该平台的高效性,在该平台上利用改进后的算法挖掘Web日志中用户的偏爱访问路径。实验结果表明,在集群中运用分布式算法处理大量的Web日志文件,可以明显提高Web数据挖掘的效率。     

移动计算环境下远程用户体验数据挖掘方法研究

在移动计算环境下,通过对远程用户的体验数据优化挖掘,满足远程用户的个性化需求,提高对远程用户QoS服务质量;传统的数据挖掘方法采用显著特征关联信息提取算法,当远程用户体验数据之间的差异性特征不明显时,挖掘的准确性不好;提出一种基于关联用户自适应链路跟踪补偿的移动计算环境下远程用户体验数据挖掘模型,进行远程用户体验数据挖掘模型的总体设计和数据结构特征分析,对采集的远程用户体验数据进行非线性时间序列分解,对数据序列通过自相关特征匹配和特征压缩实现挖掘数据的指向性信息优化提取,采用关联用户自适应链路跟踪补偿方法实现对数据挖掘误差的控制和补偿,提高了数据挖掘的准确性和有效性;仿真结果表明,采用该挖掘方法进行移动计算环境下远程用户体验数据挖掘的准确度高,实时性较好,满足了移动远程用户的个性化需求,提高了对用户服务的针对性。     

基于约束的多维数据挖掘

为了给数据分析和挖掘提供一个有效的、交互的查询环境,将基于约束的数据挖掘与多维的数据挖掘结合成一个整体来进行。介绍了建立一集成的联机分析挖掘和联机分析处理结构,来实现这种用户与系统间的交互。实践表明,基于约束的数据挖掘与多维的数据挖掘结合在一起,大大提高了查询的目的性和效率,可为用户选择所期望的挖掘功能和动态地改变数据挖掘任务提供了更加灵活的手段。     

云计算环境下并行分布式数据挖掘平台研究

网络技术在带给人们大量信息的同时,也极大地增加了人们从海量数据中发现有用知识的难度,而解决这一问题的努力促进了数据挖掘技术的出现和快速发展。云计算是能够提供动态资源池、虚拟化和高可用性的计算平台,云计算开发平台可被用来开发高性能应用程序。研究云计算环境下并行分布式数据挖掘平台的3个层次,依下而上为分布式计算层,知识发现平台层以及用户应用层。     

基于Spark的并行关联规则挖掘算法研究综述

关联规则挖掘是数据挖掘的一个重要分支，但随着数据的快速增长，传统关联规则挖掘算法不能很好地适应大数据的要求，需要在分布式、并行计算的平台上寻找突破。Spark是专门为大数据处理而设计的一个适合迭代运算的并行计算模型，相比MapReduce具有更高效、充分利用内存、更适合迭代计算和交互式处理的优点。对已有的基于Spark的并行关联规则挖掘算法进行了分类和综述，并总结了各自的优缺点和适用范围，为下一步的研究提供参考。     

基于ABS算法的可视化金融数据挖掘平台开发

基于GDI+显示技术和图像匹配技术的理论,研究了有关金融数据挖掘的相关技术,在Visual Studio2008编译环境下开发可视化金融数据挖掘平台。为用户提供直观详尽的金融信息,并提供交互式的分析功能。     

Distributed Data Mining in Peer-to-Peer Networks

Peer-to-peer (P2P) networks are gaining popularity in many applications such as file sharing, e-commerce, and social networking, many of which deal with rich, distributed data sources that can benefit from data mining. P2P networks are, in fact,well-suited to distributed data mining (DDM), which deals with the problem of data analysis in environments with distributed data,computing nodes,and users. This article offers an overview of DDM applications and algorithms for P2P environments,focusing particularly on local algorithms that perform data analysis by using computing primitives with limited communication overhead. The authors describe both exact and approximate local P2P data mining algorithms that work in a decentralized and communication-efficient manner.     

基于Bayes概率的用户访问路径及基发现算法

用户访问模式的数据挖掘,研究如何从用户与Web服务器的交互数据中发现隐含的规律性。西文根据交互数据的特点,提出一种基于Bayes概率的用户访问模式表示法,并给出基于这种模型的频繁访问路径发现算法。     

基于Spark的油藏数据挖掘与分析

为了方便油藏数据特征的分析和石油的勘探开发过程,本文利用Spark并行计算框架分析油藏数据,并通过数据挖掘算法分析油藏属性之间的潜在关系,对油藏的不同层段进行了分类和预测.本文的主要工作包括：搭建Spark分布式集群和数据处理、分析平台,Spark是流行的大数据并行计算框架,相对传统的一些分析方法和工具,可以实现快速、准确的数据挖掘任务;根据油藏数据的特点建立多维异常检测函数,并新增渗孔比判别属性Pr;在处理不平衡数据时,针对逻辑回归分类提出交叉召回训练模型,并优化代价函数,针对决策树,提出KR-SMOTE对小类别样本进行过采样扩充,这两种方法都可以有效处理数据不平衡问题,提高分类精度.     

基于高性能数据挖掘的网络海量信息处理平台

互联网的迅猛发展对网络信息处理提出了新的挑战,而这些都迫切需要高性能计算技术的支持。为了提高网络海量信息智能并行处理能力,促进网络信息存储与管理、信息融合、数据挖掘、智能处理和信息利用等发展,本文提出了基于高性能数据挖掘的网络海量信息处理平台,重点分析了网络海量信息处理平台实现的关键技术,并对平台的网络热点分析应用的实现进行了介绍。     

基于模式挖掘的用户行为异常检测

行为模式通常反映了用户的身份和习惯，该文阐述了针对Telnet会话中用户执行的shell命令，利用数据挖掘中的关联分析和序列挖掘技术对用户行为进行模式挖掘的方法，分析了传统的相关函数法在应用于序列模式比较时的不足，提出了基于递归式相关函数的模式比较算法，根据用户历史行为模式和当前行模式的比较相似度来检测用户行为中的异常，最后给出了相应的实验结果。     

医疗大数据特征挖掘及重大突发疾病早期预警

通过运用新兴的尖端云计算技术,设计研发了健康云平台。采用分布式云存储技术存储大规模的异构多模态生理信号数据,将数据挖掘模型（L1-逻辑斯蒂）整合至MapReduce框架中,快速挖掘用户的健康信息以及重大疾病高风险因子,让用户能实时地了解自己的身体状况,同时对用户的异常状况给出预警信息,并通知其前往医院就医,实现了对重大突发疾病的早期预警。     

大规模网络数据的在线挖掘系统的研究与开发

以网络上数据量最大、更新最快的网络新闻作为主要的数据源,对其检索与挖掘技术展开研究,构建一个大规模网络数据在线挖掘分析服务系统,以该系统作为平台,为用户提供廉价的、高可靠的、具备交互能力、实时的在线搜索和数据挖掘服务。对于该系统,主要研究其整体设计思路和各模块的算法思想。     

嵌入式工控终端机的云计算架构及服务平台

在工业智能化监控中,针对当今嵌入式工业控制器的计算资源有限,不易实现较为复杂的海量数据的计算任务（如专家系统等）的问题,文中根据云计算的思想,结合JavaWeb开发框架,设计实现了一种基于嵌入式工业控制终端机的Web云服务平台,对集群构建、SpringMVC与Hibernate整合云服务构建、数据算法加密等进行了研究。该服务平台能满足工业智能化监控中对计算能力扩展的要求。工业终端机可以产生大量动态数据或实时曲线,Web云服务平台通过自身高性能的计算能力对工业现场数据进行快速的预处理、算法实现、统计分析、数据回传、结果表达等,从而加快了工业终端机的实时操作任务。     

面向服务的云数据挖掘引擎的研究

数据挖掘算法处理海量数据时,扩展性受到制约。在商业和科学研究的各个领域,知识发现的过程和需求差异较大,需要有效的机制来设计和运行各种类型的分布式数据挖掘应用。提出了一种面向服务的云数据挖掘引擎的框架CloudDM。不同于基于网格的分布式数据挖掘框架,CloudDM利用开源云计算平台Hadoop处理海量数据的能力,以面向服务的形式支持分布式数据挖掘应用的设计和运行,并描述面向服务的云数据挖掘引擎系统的关键部件和实现技术。依据面向服务的软件体系结构和基于云平台的数据挖掘引擎,可以有效解决海量数据挖掘中的海量数据存储、数据处理和数据挖掘算法互操作性等问题。     

ClowdFlows: Online workflows for distributed big data mining

The paper presents a platform for distributed computing, developed using the latest software technologies and computing paradigms to enable big data mining. The platform, called ClowdFlows, is implemented as a cloud-based web application with a graphical user interface which supports the construction and execution of data mining workflows, including web services used as workflow components. As a web application, the ClowdFlows platform poses no software requirements and can be used from any modern browser, including mobile devices. The constructed workflows can be declared either as private or public, which enables sharing the developed solutions, data and results on the web and in scientific publications. The server-side software of ClowdFlows can be multiplied and distributed to any number of computing nodes. From a developer’s perspective the platform is easy to extend and supports distributed development with packages. The paper focuses on big data processing in the batch and real-time processing mode. Big data analytics is provided through several algorithms, including novel ensemble techniques, implemented using the map-reduce paradigm and a special stream mining module for continuous parallel workflow execution. The batch mode and real-time processing mode are demonstrated with practical use cases. Performance analysis shows the benefit of using all available data for learning in distributed mode compared to using only subsets of data in non-distributed mode. The ability of ClowdFlows to handle big data sets and its nearly perfect linear speedup is demonstrated.     

交互式桌面及其相关技术研究

交互式桌面Tabletop现已成为人机交互领域的一大研究热点。在对现有Tabletop硬件平台和交互技术全面调查和深入分析的基础上,深入探讨Tabletop的发展方向及其关键技术,其中着重分析了物理仿真和空间交互技术在提高Tabletop自然交互方面的重要性。该课题的研究有助于新型Tabletop交互系统的设计和评估,同时也将对普适计算、自然用户界面等相关研究领域起到重要的借鉴作用。     

云计算环境下的数据挖掘服务模式

为了求解网络环境下分布式海量数据的分析处理、促进数据挖掘的开发集成和商业应用,提出了云计算环境下的数据挖掘解决方案,通过云环境计算能力和云计算服务模式,阐述了对数据挖掘服务问题的解决机理。云计算环境下的数据挖掘是一种网络环境下的信息资源服务模式。基于此,构建了数据挖掘服务的架构,设计了数据挖掘服务的创建流程,给出了数据挖掘服务模型的体系结构,并从生命周期的角度定义了数据挖掘的服务过程,从而形成了云计算环境下的数据挖掘服务模式。     

基于Hadoop的微博信息挖掘

论文设计了基于Hadoop的微博信息挖掘系统。该系统针对单一节点在分析微博海量数据的性能瓶颈问题,利用分布式和虚拟化技术的优势,将微博信息获取和相关数据分析进行有机整合,实现了一个基于Hadoop的微博信息挖掘平台。为验证该平台运行的有效性,论文采用获取热点话题做实验,展示了系统对微博信息的挖掘结果。实验结果表明,该系统能有效获取微博相关信息,高效的处理海量微博数据,得到有价值的数据信息。