A Novel Approach for Mining High‐Utility Sequential Patterns in Sequence Databases

Mining sequential patterns is an important research issue in data mining and knowledge discovery with broad applications. However, the existing sequential pattern mining approaches consider only binary frequency values of items in sequences and equal importance/significance values of distinct items. Therefore, they are not applicable to actually represent many real‐world scenarios. In this paper, we propose a novel framework for mining high‐utility sequential patterns for more real‐life applicable information extraction from sequence databases with non‐binary frequency values of items in sequences and different importance/significance values for distinct items. Moreover, for mining high‐utility sequential patterns, we propose two new algorithms: UtilityLevel is a high‐utility sequential pattern mining with a level‐wise candidate generation approach, and UtilitySpan is a high‐utility sequential pattern mining with a pattern growth approach. Extensive performance analyses show that our algorithms are very efficient and scalable for mining high‐utility sequential patterns.     

应用驱动的大数据挖掘

认为大数据挖掘的核心和本质是应用、数据、算法和平台4个要素的紧密结合。从大数据的特点出发,结合大数据挖掘的案例,提出大数据挖掘中的平台架构、数据获取和预处理、算法的选择和集成都是应用驱动的。强调大数据挖掘的目标来自实际应用的真实需求,只有结合具体应用数据和适合应用的算法,利用高效处理平台的支撑,并将挖掘到的模式或知识应用在实践中,才能体现大数据挖掘的真正价值。     

时序数据库中部分周期模式的挖掘算法研究

时序数据库中关联规则或模式的出现通常会呈现一定的周期性,部分周期模式的挖掘是数据挖掘领域一个崭新的问题。首先介绍了部分周期模式的研究背景及相关概念,然后给出了现有的挖掘算法并对其进行分析比较,最后简述了在四川省智能交通系统中,应用部分周期模式的挖掘算法来分析交通流量及IC卡盈缺数量周期模式的KDD系统。     

数据流通的模式与问题

数据流通是数据价值实现的前提和基础,我国数据交易市场仍处在发展的初级阶段,需要发挥市场和政府的双重力量。为此,文章对国内外大数据流通和交易市场的现状及特点进行了比较分析,并提出了推动数据流通的建议。     

大数据下的空间数据挖掘思考

对大数据背景下思考空间数据挖掘,分析了空间数据在大数据中的基础地位,综述了国际学术界、企业界和政界对大数据的关注;分析了空间大数据面临的垃圾多、污染重、利用难的现状,剖析了空间大数据蕴含的价值;探讨了从空间大数据中挖掘知识的技术,以及知识变为数据智能的途径。     

基于大数据的安全事件挖掘框架

安全态势感知是掌控网络空间的听觉和视觉,安全事件的获取是安全态势感知的基础。在大数据时代,安全事件的挖掘是一个典型的大数据问题。运用大数据技术进行网络安全研究,构建了一种安全事件挖掘框架,结合在线反馈和离线分析两种方式,从海量、多源、异构的原始数据中,提取有效的安全事件,发现安全风险、潜在威胁和未知攻击。挖掘结果可用于安全态势感知、攻击追踪溯源、攻击知识学习等进一步研究。     

Trajectory Patterns Mining Towards Lifecare Provisioning

Pervasiveness of location acquisition technologies such as GPS, GSM, and Wi-Fi open the doors to use these technologies for ease and advancement of the society. One of the most emerging uses of these technologies is the low cost yet effective way of tracking of moving objects for activity monitoring. Daily lives of humans consist of enormous outdoor/trajectory activities like visiting different places for conducting routine task (e.g., Office, Restaurant, and Sports Club etc.). These activities put a significant effect in regulation of human life (i.e. health care and life care). By analyzing these activity traces and directing an effective routine of accomplishment of tasks can sufficiently improve its impact on human life. In this paper, we propose Daily Activity Monitor and LifeCare Provisioner (DALP) which is a GPS based outdoor activities analysis system for user monitoring and lifecare provisioning. To achieve real time and accurate outcome in tracking movement activities, we have proposed an approach of Personal tracking using static trajectory locations. DALP tracks the complete movement activity of a user and shares it with practitioners/instructors for analysis and updated recommendations. To verify and validate the working of DALP, a proof of concept prototype has been implemented that reflects its complete working.     

基于物联网技术的水文监测系统研究

水文监测技术是实现水利水文信息化的重要基础,为满足水文监测系统实时性、可靠性、实用性的要求,提出了利用Zigbee技术以及通用分组无线服务技术(GPRS,General Packet Radio Service)实现对水文信息实时监测的方案,着重讨论了传感器节点的设计,处理器选择超低功耗的CC2430芯片,设计了数据采集部分的硬件电路,并介绍了系统的软件实现方法。真正实现了水文监测的智能化、高效化和网络化。     

大数据中效用挖掘的快速单阶段算法

现有数据挖掘算法的缺点是在挖掘大数据时会出现大量候选模式,从而造成可伸缩性瓶颈,个别算法虽然不生成候选模式,但是计算代价高昂,缺乏有效剪裁,运行效率存在瓶颈.为此,提出一个全新的单阶段不生成候选模式的数据挖掘算法,其创新性有3点:一是基于前缀生长的模式枚举和基于效用上限值评估的剪裁策略;二是基于稀疏矩阵和虚拟投影的效用信息表达;三是节省存储空间的深度优先搜索方法.大量实验表明,新算法的时间效率比现有算法高5倍以上,并且内存使用量比现有算法少20％～60％,可伸缩性高.     

基于云计算的大数据挖掘平台

开发了一个基于云计算的并行分布式大数据挖掘平台——PDMiner.PDMiner实现了各种并行数据挖掘算法,如数据预处理、关联规则分析以及分类、聚类等算法.实验结果表明,并行分布式数据挖掘平台PDMiner中实现的并行算法,能够处理大规模数据集,达到太字节级;具有很好的加速比性能;实现的并行算法可以在商用机器构建的并行平台上稳定运行,整合了已有的计算资源,提高了计算资源的利用效率;可以有效地应用到实际海量数据挖掘中.在PDMiner中还开发了工作流子系统,提供友好统一的接口界面方便用户定义数据挖掘任务.     

人工智能技术在互联网大数据挖掘算法中的应用

将人工智能技术应用到互联网大数据挖掘算法中,可以利用互联网大数据进行准确的定位和分析,为企业提供更精准的用户行为信息。文中阐述了基于人工智能技术的大数据挖掘算法,然后分析了在互联网大数据挖掘算法中应用人工智能技术的重要性,最后说明了人工智能技术在互联网大数据挖掘算法中的具体应用,以期为用户提供更精准的网络服务,从而使用户获得更加满意、便捷、安全的服务体验。     

电子商务网站的用户访问模式挖掘

对电子商务网站的用户访问模式挖掘的方法和模式的应用做了系统的论述。在数据的预处理技术方面．提出了新的框架过滤算法、识别搜索引擎Robot产生的访问记录的技术和会话子序列生成算法，并就站点性能改善、个性化服务、实现商业智能三方面的应用对用户访问模式的挖掘做了探讨，最后给出了从语义上理解和挖掘用户访问行为的方法。     

大数据挖掘技术在网络安全中的应用与研究

在信息时代的背景下,数据信息的价值不断上涨,各类网络病毒与黑客攻击成为许多不法分子的牟利手段,对用户的信息财产及隐私都产生了很大的影响。大数据挖掘技术作为时代的前沿技术,对加强网络系统安全性有着极为重要的作用。基于此,文中从实际情况出发,阐述了大数据挖掘技术与网络病毒防御的相关内容,对计算机网络安全的现状进行了分析,并有针对性地提出了大数据挖掘技术在网络安全中的应用,希望能为网络安全工作提供参考与帮助。     

Mining Mobile Sequential Patterns in a Mobile Commerce Environment

In this paper, we explore a new data mining capability for a mobile commerce environment. To better reflect the customer usage patterns in the mobile commerce environment, we propose an innovative mining model, called mining mobile sequential patterns, which takes both the moving patterns and purchase patterns of customers into consideration. How to strike a compromise among the use of various knowledge to solve the mining on mobile sequential patterns is a challenging issue. We devise three algorithms (algorithm TJ_LS, algorithm TJ_PT, and algorithm TJ_PF) for determining the frequent sequential patterns, which are termed large sequential patterns in this paper, from the mobile transaction sequences. Algorithm TJ_LS is devised in light of the concept of association rules and is used as the basic scheme. Algorithm TJ_PT is devised by taking both the concepts of association rules and path traversal patterns into consideration and gains performance improvement by path trimming. Algorithm TJ_PF is devised by utilizing the pattern family technique which is developed to exploit the relationship between moving and purchase behaviors, and thus is able to generate the large sequential patterns very efficiently. A simulation model for the mobile commerce environment is developed, and a synthetic workload is generated for performance studies. In mining mobile sequential patterns, it is shown by our experimental results that algorithm TJ_PF significantly outperforms others in both execution efficiency and memory saving, indicating the usefulness of the pattern family technique devised in this paper. It is shown by our results that by taking both moving and purchase patterns into consideration, one can have a better model for a mobile commerce system and is thus able to exploit the intrinsic relationship between these two important factors for the efficient mining of mobile sequential patterns     

信任网络中多维信任序列模式挖掘方法研究

现有信任网络研究大多侧重于信任的推理及聚合计算,缺乏对实体重要性及其关联性分析,为此该文提出一种多维信任序列模式(Multi-dimensional Trust Sequential Patterns, MTSP)挖掘算法。该算法包括频繁信任序列挖掘和多维模式筛选两个处理过程,综合考虑信任强度、路径长度和实体可信度等多维度因素,有效地挖掘出信任网络中的频繁多维信任序列所包含的重要实体及其关联结构。仿真实验表明该文所提MTSP算法的挖掘结果全面、准确地反映了信任网络中重要信任实体关联性及其序列结构特征。     

时态空间中时态序列模式的数据挖掘

时态数据挖掘是目前数据挖掘领域的研究热点。与其它相关研究不同，文章致力于利用时态序列模式挖掘进行预测与决策。首先介绍了时态类型的分类；然后定义了一个新的时态空间模型，用以描述基于不同时态类型、不同属性的各个不同对象的状态，并且为高效地进行预测与决策提供支持；最后，给出了时态空间模型中数据挖掘的四种时态序列模式，对时态数据挖掘的研究具有重要意义。     

基于大数据挖掘的GSM-R网络综合监测系统

随着铁路信息化的发展,铁路各业务部门产生了大量的基础数据,这些数据是铁路生产管理和经营决策所需的宝贵的数据资源,也是科研工作所需的重要参考资料。如今,大数据时代正式到来,数据从简单的处理对象开始转变为一种基础性资源,如何更好地进行数据分析和利用大数据挖掘技术为铁路系统服务已经成为研究热点。针对大数据挖掘技术在铁路系统应用进行了前景展望和规划,同时提出了一种基于大数据挖掘的GSM-R网络状态综合检测系统,期望能在利用大数据为铁路信息化建设方面进行更深的探索。     

大数据时代的图书馆数据挖掘技术探讨

大数据的关键在于数据的分析与应用,提高图书馆基于数据挖掘的处理分析能力是开展知识服务的必然要求。文章首先阐述了图书馆的大数据服务应用特征,接着提出大数据阶段图书馆数据挖掘面临的挑战,并给出相应对策,最后探讨了数据挖掘中值得关注的重点技术以及图书馆开展知识服务应用的一些做法。     

一种多时间间隔序列模式挖掘算法

提出一种多时间间隔的序列模式挖掘算法,依据挖掘的实际情况设置可变的时间区间,采用有效的剪枝策略,分区间精确显示多时间间隔序列模式挖掘结果.实验证明,算法具有较高的挖掘性能.     

图数据中频繁模式挖掘算法研究综述

 本文对图数据中的频繁模式挖掘算法进行了综述.依据算法的特性和数学基础对算法进行了分类,主要集中于算法的求解思想和不同算法之间的关系的比较,并对一些著名的算法进行了详细的分析和讨论.基于算法的特性,比较了各种算法适用的范围以及应用领域.最后,讨论了频繁模式挖掘的最新进展及未来的研究方向.