事件预测的时间序列数据挖掘方法

研究了应用数据挖掘技术预测时间序列数据中事件的方法。针对时间序列数据提出了显著特征提取算法,给出了特征间的相似度量标准,并应用特征聚类算法,将时间序列数据转换成相应的特征序列表示。应用频繁模式发现算法和预测模式生成算法在预测时段内发现与目标事件相关的时序特征模式,预测事件的发生。实验结果表明,该文所提出的方法能够有效地预测时间序列数据中的事件。     

食源性疾病事件智能探测与预警平台

食源性疾病由来已久,每年都会造成巨大的社会经济损失.人工智能技术给食源性疾病事件的探测和预警带来了新的方法.该文基于互联网大数据开发了食源性疾病事件智能探测与预警平台,该平台面向食源性疾病事件的数据获取、数据分析以及可视化展示的全过程,通过D-M-V分层模型以及模块化开发集成了多种模块.该平台主要解决了食源性疾病事件的数据获取、数据融合、事件探测、风险预测和可视化等问题,该平台能够自动从互联网中采集社交媒体、社会经济等数据;根据数据的时空坐标对多源异构数据进行高效融合;从社交媒体数据中探测出食源性疾病事件并推断其关键信息;利用多源数据对食源性疾病风险进行预测;提供高效的可视化方法和交互手段.该文通过2018年北京市食源性疾病数据作为示例验证平台功能.     

事件库构建技术综述

恐怖事件、突发事件、冲突事件等特定主题事件通常对国家安全带来严重威胁,记录现实事件的事件库在态势感知、风险预警、应急决策等应用中发挥重要作用,事件库构建技术随之发展为内容安全技术的重要组成部分。事件库构建技术是一类实现从海量的非结构数据批量生成结构化事件数据的技术,由于数据环境、表示精度、应用场景的差异,出现了各类构建技术的相关研究。本文详细介绍了事件库的定义、分类和架构,按自底向上输出的数据层次,将事件库构建技术划分为事件检测、事件抽取、事件融合三类关键技术,并分别对其研究现状和进展进行了全面分析,总结了事件库的主要应用领域,最后对事件库构建技术中面临的主要挑战和关键问题进行了探讨。     

基于加权马尔可夫链和GM(1,1)模型的公共危机事件预测研究

突发公共危机事件的频繁发生已经成为社会生活中的一种常见现象。为了给政府提供决策上的参考,本文以北京市丰台区病毒性肝炎发病率的实际数据为例,利用加权马尔可夫链模型和GM(1,1)模型进行公共卫生事件传染病发病率的预测,然后比较这两种模型预测的优缺点,最后得出要根据实际的数据特点进行选择预测的结论,从而提高了预测的精度。     

基于数据驱动的电力安全生产事故风险预警研究

智能电网的快速发展和广泛应用为电力企业提供了来源复杂、结构多样的海量数据，使得智能电网成为大数据最重要的应用领域之一。如何应用大数据技术实现对电力安全生产数据的采集、存储和挖掘，进而提高电力企业的安全生产水平成为当前重要的研究课题。本文首先阐述了电力大数据和大数据技术的基本概念，然后借鉴传统的“海因里希法则”的思想，从隐患的角度出发，运用大数据技术对我国某省电力安全生产数据进行处理，通过这些数据建立某省电力企业的安全事故比例模型。再通过回归分析，对未来可能存在的隐患数量进行预测。最后根据安全事故比例模型对未来可能发生事故、事件数量做出预测，确定隐患数量的控制目标，形成一套安全生产预警模型，从而达到消除隐患、减少事故发生目的。     

和欣事件同步对象扩展的研究与应用

传统的事件同步对象由于其自身的局限性,在实际应用中不得不结合其他数据结构以达到预期要求。这样做不可避免地带来效率的降低和占用内存的升高。和欣操作系统中对事件同步对象进行了扩展,使其能够支持多达232-1个已通知状态,从而允许当事件发生时,线程能够通过事件对象告知等待在其上的线程更详细的情况,因此显著提高了事件同步对象本身的通讯能力,使其可以满足更广泛的应用需求。文中介绍了此事件同步对象的扩展特性、实现以及应用。     

基于事件描述的社交事件参与度预测

在基于事件的社会网络（EBSNs）的相关研究中，基于事件描述来预测社交事件参与度是难点问题。相关的研究非常有限，研究难度主要来自对事件描述评价的主观性和语言建模算法的局限性。针对这些问题，首先定义了成功事件、相似事件和事件相似度等概念，并基于这些概念将采集自Meetup平台的社交数据进行抽取，同时分别设计了基于拉索回归、卷积神经网络（CNN）和门控循环神经网络（GRNN）的分析预测方法。实验时，先从抽取过的数据中选取部分数据训练三种模型，然后用剩余的数据进行分析预测。结果显示，相较于不含事件描述的事件，经过拉索回归模型处理的事件在不同分类器下的预测准确率可提高2.35%~3.8%，经过GRNN模型处理的事件在不同分类器下的预测准确率可提高4.5%~8.9%，而CNN模型的处理结果不理想。证明了事件描述能够提高事件参与度，GRNN模型在三个模型中预测准确率最高。     

基于事件描述的社交事件参与度预测

在基于事件的社会网络（EBSNs）的相关研究中，基于事件描述来预测社交事件参与度是难点问题。相关的研究非常有限，研究难度主要来自对事件描述评价的主观性和语言建模算法的局限性。针对这些问题，首先定义了成功事件、相似事件和事件相似度等概念，并基于这些概念将采集自Meetup平台的社交数据进行抽取，同时分别设计了基于拉索回归、卷积神经网络（CNN）和门控循环神经网络（GRNN）的分析预测方法。实验时，先从抽取过的数据中选取部分数据训练三种模型，然后用剩余的数据进行分析预测。结果显示，相较于不含事件描述的事件，经过拉索回归模型处理的事件在不同分类器下的预测准确率可提高2.35%~3.8%，经过GRNN模型处理的事件在不同分类器下的预测准确率可提高4.5%~8.9%，而CNN模型的处理结果不理想。证明了事件描述能够提高事件参与度，GRNN模型在三个模型中预测准确率最高。     

多媒体社会事件分析综述

由于网络技术的飞速发展,自媒体、微博、论坛等基于互联网的多种交流渠道日渐完善,人们能够方便地在线生成和共享丰富的社会多媒体内容.社会事件数据具有跨平台、多模态、大规模、噪声大等特点,基于多媒体社会事件的分析研究非常具有挑战性.因此,如何对社会媒体数据进行处理,研究社会事件分析方法、设计有效的社会事件分析模型成为社会事件...     

和欣事件同步对象扩展的研究与应用

传统的事件同步对象由于其自身的局限性，在实际应用中不得不结合其他数据结构以达到预期要求。这样做不可避免地带来效率的降低和占用内存的升高。和欣操作系统中对事件同步对象进行了扩展，使其能够支持多达2^32-1个已通知状态，从而允许当事件发生时，线程能够通过事件对象告知等待在其上的线程更详细的情况，因此显著提高了事件同步对象本身的通讯能力，使其可以满足更广泛的应用需求。文中介绍了此事件同步对象的扩展特性、实现以及应用。     

Automatic annotation of tennis games: An integration of audio,vision, and learning

Fully automatic annotation of tennis game using broadcast video is a task with a great potential but with enormous challenges. In this paper we describe our approach to this task, which integrates computer vision, machine listening, and machine learning. At the low level processing, we improve upon our previously proposed state-of-the-art tennis ball tracking algorithm and employ audio signal processing techniques to detect key events and construct features for classifying the events. At high level analysis, we model event classification as a sequence labelling problem, and investigate four machine learning techniques using simulated event sequences. Finally, we evaluate our proposed approach on three real world tennis games, and discuss the interplay between audio, vision and learning. To the best of our knowledge, our system is the only one that can annotate tennis game at such a detailed level.     

基于聚类的数据加权优化在犯罪预测中的应用

近年来，我国传统暴力犯罪与成年人犯罪呈下降态势，但是，犯罪案由层出不穷。为有效提升公安实践工作中犯罪预测能力，打击各类违法犯罪事件,本文针对犯罪数据，提出一种新型犯罪预测模型。利用密度聚类分析方法将犯罪数据分类，然后进行数据降维提取关键属性生成特征数据，继而对特征数据进行加权优化并采用机器学习的方式对特征数据进行学习，从而预测犯罪案由。实验结果表明，与传统方法相比，本文方法具有更好的预测效果，为公安实践工作中类似案件的侦破和预防，提供新的路径支撑。     

事件抽取综述

将用户感兴趣的事件从非结构化信息中提取出来,然后以结构化的方式展示给用户,这就是事件抽取。事件抽取在信息收集、信息检索、文档合成、信息问答等方面有着广泛应用。从全局出发,事件抽取算法可以分为基于模式匹配的算法、触发词法、基于本体的算法以及前沿联合模型方法这四类。在研究过程中根据相关需求可使用不同评价方法和数据集,而不同的事件表示方法也与事件抽取研究有一定联系;以任务类型区分,元事件抽取和主题事件抽取是事件抽取的两大基本任务。其中,元事件抽取有基于模式匹配、基于机器学习和基于神经网络这三种方式,而主题事件抽取有基于事件框架和基于本体两种方式。事件抽取研究在中英等单语言上均已取得了优秀成果,而跨语言事件抽取依然面临着许多问题。最后,总结了事件抽取的相关工作并提出未来研究方向,以期为后续研究提供参考。     

Learning from class-imbalanced data: Review of methods and applications

Rare events, especially those that could potentially negatively impact society, often require humans’ decision-making responses. Detecting rare events can be viewed as a prediction task in data mining and machine learning communities. As these events are rarely observed in daily life, the prediction task suffers from a lack of balanced data. In this paper, we provide an in depth review of rare event detection from an imbalanced learning perspective. Five hundred and seventeen related papers that have been published in the past decade were collected for the study. The initial statistics suggested that rare events detection and imbalanced learning are concerned across a wide range of research areas from management science to engineering. We reviewed all collected papers from both a technical and a practical point of view. Modeling methods discussed include techniques such as data preprocessing, classification algorithms and model evaluation. For applications, we first provide a comprehensive taxonomy of the existing application domains of imbalanced learning, and then we detail the applications for each category. Finally, some suggestions from the reviewed papers are incorporated with our experiences and judgments to offer further research directions for the imbalanced learning and rare event detection fields.     

脚本事件预测：方法、评测与挑战

相较于问答等经典的自然语言处理任务,脚本事件预测并未受到广泛关注。脚本事件预测旨在通过给定的上下文事件对未来事件进行准确预测,进而为后续可能发生的事件作出相应部署。为此,其研究具有重要意义,需要进行归纳与总结。针对脚本事件预测任务,首先给出脚本事件预测的基本概念;然后,梳理分析了事件表征中论元构成和事件表示学习两个子任务,其中事件表示学习从嵌入编码和语义增强两个方面叙述;接着,又以脚本建模方法为主线,从事件对、事件链、事件图以及结合型建模四个角度对其进行总结;并且,对现有模型进行测试,分析各类模型效果;最后,总结当前研究存在的问题,并展望未来可能的研究方向。     

基于事件的新闻报道分析技术研究进展*

首先给出基于事件的新闻报道分析技术相关概念的定义,并提出一个基于事件的新闻报道分析技术框架;然后从四个方面介绍了基于事件的新闻报道分析中的关键技术,包括事件探测、事件追踪、事件相关文档摘要和事件RSU检索.对一些关键技术进行了分类和评价,剖析其优势及不足,通过对各种方法的分析和比较,提出了一些改进的方法和建议.最后展望了未来基于事件的新闻报道分析技术的发展方向.     

融合语义与事件特征的重大事件趋势预测

针对当前基于海量公开新闻数据的重大事件趋势预测研究在特征选择上的局限性问题,结合人工智能相关技术对现有方法进行优化改进,提出一种融合语义与事件特征的重大事件趋势预测方法。利用网络爬虫技术辅助数据采集;利用主题模型与事件抽取技术辅助海量新闻数据的特征集构建与向量表示,并针对LDA主题模型在特征词提取上存在偏向性的问题,提出一种改进模型IDFLDA;利用机器学习分类模型进行预测结果输出。以朝鲜核行为预测为例对提出方法进行验证,预测结果表明,该方法的预测性能优于依赖专家知识进行特征集构建的传统方法,能有效进行重大事件的趋势预测,为战略决策提供辅助支持。     

Predicting Cyber Risks through National Vulnerability Database

ABSTRACT

Software vulnerabilities are the major cause of cyber security problems. The National Vulnerability Database (NVD) is a public data source that maintains standardized information about reported software vulnerabilities. Since its inception in 1997, NVD has published information about more than 43,000 software vulnerabilities affecting more than 17,000 software applications. This information is potentially valuable in understanding trends and patterns in software vulnerabilities so that one can better manage the security of computer systems that are pestered by the ubiquitous software security flaws. In particular, one would like to be able to predict the likelihood that a piece of software contains a yet-to-be-discovered vulnerability, which must be taken into account in security management due to the increasing trend in zero-day attacks. We conducted an empirical study on applying data-mining techniques on NVD data with the objective of predicting the time to next vulnerability for a given software application. We experimented with various features constructed using the information available in NVD and applied various machine learning algorithms to examine the predictive power of the data. Our results show that the data in NVD generally have poor prediction capability, with the exception of a few vendors and software applications. We suggest possible reasons for why the NVD data have not produced a reasonable prediction model for time to next vulnerability with our current approach, and suggest alternative ways in which the data in NVD can be used for the purpose of risk estimation.     

CoreFlow: Extracting and Visualizing Branching Patterns from Event Sequences

Event sequence datasets with high event cardinality and long sequences are difficult to visualize and analyze. In particular, it is hard to generate a high level visual summary of paths and volume of flow. Existing approaches of mining and visualizing frequent sequential patterns look promising, but have limitations in terms of scalability, interpretability and utility. We propose CoreFlow, a technique that automatically extracts and visualizes branching patterns in event sequences. CoreFlow constructs a tree by recursively applying a three‐step procedure: rank events, divide sequences into groups, and trim sequences by the chosen event. The resulting tree contains key events as nodes, and links represent aggregated flows between key events. Based on CoreFlow, we have developed an interactive system for event sequence analysis. Our approach can compute branching patterns for millions of events in a few seconds, with improved interpretability of extracted patterns compared to previous work. We also present case studies of using the system in three different domains and discuss success and failure cases of applying CoreFlow to real‐world analytic problems. These case studies call forth future research on metrics and models to evaluate the quality of visual summaries of event sequences.