并行化编译器中基于工作量的条件并行化研究

并行化编译器通过发掘串行程序中的并行性来提高程序的运行性能。但当可并行的工作量与并行的线程数目之比较小时，有可能采用并行执行反而会降低程序的整体性能。本文工作基于SUIF结构．研究精确的工作量计算方法，并实现了基于工作量的条件并行化技术．有效地提高了并行程序的执行性能。     

基于Isolation Forest改进的数据异常检测方法

针对现有的基于隔离森林(Isolation Forest)的数据异常检测算法检测精度低、执行效率差和泛化能力弱等问题,提出一种改进的数据异常检测方法SA-iForest。该方法基于模拟退火算法选择精度高和有差异性的隔离树来优化森林,同时去除冗余的隔离树,改进了隔离森林的森林构建。采用标准仿真数据集对所提方法进行验证,结果表明该方法与传统Isolation Forest和LOF方法相比,在准确率、执行效率和稳定性方面均有显著提高。     

基于Spark的K-means改进算法的并行化实现

针对传统K-means算法在处理海量数据时,存在计算复杂度高和计算能力不足等问题,提出了SKDk-means （Spark based kd-tree K-means）并行聚类算法.该算法通过引入kd-tree改善初始中心点的选择,克服传统K-means算法因初始点的不确定性,易陷入局部最优解的问题,同时利用kd-tree的最近邻搜索减少K-means在迭代中的距离计算,加快聚类速度,并在Spark平台上实现了该算法的并行化,使其适用于海量数据聚类,最后通过实验验证了算法具有良好的准确率和并行计算性能.     

并行化技术与工具

程序并行化工具由它能有效地解决了多种并行机结构间的代码可移植性和大大地减轻用户使用并行机的困难，已成为当今并行处理领域的一个热门研究课题。相信随着对并行机系统越来越广泛的使用。它还将会得到不断的发展和完善。本文着重介绍了并行化关键技术和工具系统的研究历史与现状，并就这一研究课题今后的发展趋势提出一些看法。     

MapReduce框架下的朴素贝叶斯算法并行化研究

研究朴素贝叶斯算法MapReduce的并行实现方法, 针对传统单点串行算法在面对大规模数据或者参与分类的属性较多时效率低甚至无力承载大规模运算, 以及难以满足人们处理海量数据的需求等问题, 本文在朴素贝叶斯基本理论和MapReduce框架的基础上, 提出了一种基于MapReduce的高效、廉价的并行化方法. 通过实验表明这种方法在面对大规模数据时能有效提高算法的效率, 满足人们处理海量数据的需求.     

基于异常因子的异常模式探测算法

时间序列挖掘中不同的数据集中的异常模式的长度未必相同.提出的算法使用异常因子作为模式的异常度量,利用模式的k-距离和中位数来计算异常因子,使用二次回归算法来探测时间序列中的所有模式和其长度范围,在这个范围内使用变长方法来判断一个模式是否异常,然后合并相邻的异常模式.为了验证算法的有效性和健壮性,使用人工合成数据和标准数据集对算法进行了测试,得到了较为满意的效果.     

自动并行化系统AFP的设计与实现

有效的自动并行化系统帮助用户充分利用并行计算机的硬件资源,文中介绍了我所研制的自动并行化系统ＡＦＰ,其特色及所解决的关键技术,使用结果表明,ＡＦＰ一个高效实用型的自动并行化系统。     

基于OpenCL的JPEG压缩算法并行化设计与实现

随着图像数据的大量增加,传统单处理器或多处理器结构的计算设备已无法满足实时性数据处理要求。异构并行计算技术因其高效的计算效率和并行的实时性数据处理能力,正得到广泛关注和应用。利用GPU在图形图像处理方面并行性的优势,提出了基于OpenCL的JPEG压缩算法并行化设计方法。将JPEG算法功能分解为多个内核程序,内核之间通过事件信息传递进行顺序控制,并在GPU+CPU的异构平台上完成了并行算法的仿真验证。实验结果表明,与CPU串行处理方式相比,本文提出的并行化算法在保持相同图像质量情况下有效提高了算法的执行效率,大幅降低了算法的执行时间,并且随着图形尺寸的增加,算法效率获得明显的提升。     

基于微内核的文件服务器的多线程并行化设计

在Ｍａｃｈ微内核之上模拟实现的ＵＮＩＸ操作系统由透明模拟库和若干系统服务器构成。服务器的效率是整个系统成败的关键因素之一。在实践中，我们采用多线程技术设计实现了一个并行化的文件服务器。本文介绍了构造基于ＩＰＣ的多线程文件服务器所涉及的几个问题和解决的办法。     

关系数据库系统并行化方法

提出一种新的并行数据库系统的实现模型，称为“半重写变换”模型。基于该模型提出了一种并行数据库系统的结构。这一结构由多个ＤＢＭＳ Ｉｎｓｔａｎｃｅｓ和并行查询服务器（ＰＱＳ）组成。文中首先描述了“半重写变换”模型，然后描述了基于这个模型实现的一个并行查询原型系统ＰａｒａＢａｓｅ，最后给出基于Ｗｉｓｏｎｓｉｎ Ｂｅｎｃｈｍａｒｋ的一组性能测试结果。     

基于云计算的数据异常智能检测技术研究

针对传统数据异常智能检测技术无法实现检测率与误检率同步的问题,提出一种基于云计算的数据异常智能检测技术。该技术结合聚类分析算法,通过计算相似度实现异常数据与正常数据之间的分类,从而达到数据异常检测的目的,其过程如下:首先对待检测数据进行预处理,然后从预处理后的数据中提取代表性特性,接着计算待检测数据与数据特征之间的相似度,并按照相似度大小筛选出异常数据,最后进行异常数据响应,并进行相应处理。结果表明:与结合神经网络算法、深度学习算法、随机森林算法等传统数据异常检测技术相比,本技术在保证检测率的同时,降低了误检率,误检率分别降低0.19%,0.4%、0.53%。     

基于Hadoop的云端异常流量检测与分析平台

Hadoop系统作为一种开源的分布式云计算平台已获得广泛应用,但其云端易受到各种威胁和攻击,基于此,开发了一种基于Hadoop的云端异常流量检查与分析平台。首先,使用Mapper周期性地从所有存储流量信息的文件中提取流量的部分信息;然后,通过Reducer将异常流量提取并保存。通过对流量数据的存储、检测与分析可成功地检测出有威胁的攻击,从而保障云端的安全。由于本平台基于开源的Hadoop实现,因此成本较低;同时,基于Java语言实现,可成功移植于各种主流操作系统,具有广泛适用性。基于局域网进行监控试验,结果表明本平台可成功地检测出异常流量,并输出友好的用户界面。     

基于检测域划分的虚拟机异常检测算法

虚拟机的正常运行是支撑云平台服务的重要条件,由于云平台下虚拟机存在数量规模大、运行环境随时间动态变化的特点,管理系统难以针对每个虚拟机进行训练数据采集以及统计模型的训练。为了提高在上述环境下异常检测系统的实时性和识别能力,提出基于改进k中心点聚类算法的检测域划分机制,在聚类迭代更新步骤上进行优化,以提升检测域划分的速度,并通过检测域策略的应用来提高虚拟机异常检测的效率和准确率。实验及分析表明,改进的聚类算法拥有更低的时间复杂度,采用检测域划分机制的检测方法在虚拟机异常检测中拥有更高的效率和准确率。     

基于W-Kmeans算法的DNS流量异常检测

为了对DNS查询进行有效检测,及时发现DNS流量异常,提出了适合于检测DNS流量异常的权重Kmeans (WKmeans)算法.对CN顶级域2009年5月19日的原始查询日志抽取有用信息,提取相关的向量特征,对不同的向量特征赋予不同的权重值.利用W-Kmeans算法对查询日志进行聚类检测,并分析了算法各种参数选择的影响.5.19事件的DNS查询检测结果表明,W-Kmeans算法可以有效检测DNS流量异常的发生.     

基于MapReduce的并行异常检测算法

为了提高数据挖掘中异常检测算法在数据量增大时的准确度、灵敏度和执行效率,本文提出了一种基于MapReduce框架和Local Outlier Factor （LOF）算法的并行异常检测算法（MR-DLOF）。首先,将存放在Hadoop分布式文件系统（HDFS）上的数据集逻辑地切分为多个数据块。然后,利用MapReduce原理将各个数据块中的数据并行处理,使得每个数据点的k-邻近距离和LOF值的计算仅在单个块中执行,从而提高了算法的执行效率;同时重新定义了k-邻近距离的概念,避免了数据集中存在大于或等于k个重复点而导致局部密度为无穷大的情况。最后,将LOF值较大的数据点合并重新计算其LOF值,从而提高算法准确度和灵敏度。通过真实数据集验证了MR-DLOF算法的有效性、高效性和可扩展性。     

一种基于反馈神经网络的异常检测方法

目前的入侵检测系统缺乏从先前所观察到的进攻进行概括并检测已知攻击的细微变化 的能力。描述了一种基于最小二乘估计(LS)模型的入侵检测算法,该算法利用神经网络的特点,具 有从先前观测到的行为进行概括进而判断将来可能发生的行为的能力。提出了一种在异常检测中用 反馈神经网络构建程序行为的特征轮廓的思想,给出了神经网络算法的选择和应用神经网络的设计 方案。实验表明在异常检测中利用反馈神经网络构建程序行为的特征轮廓,能够提高检测系统对偶 然事件和入侵变异的自适应性和异常检测的速度。     

基于异常与误用的入侵检测系统

入侵检测系统近年来得到长足的发展,但功能都不够完善.为此将基于误用的入侵检测与基于异常的检测结合为一体.在误用检测上,将检测规则进行分类排序,从而极大地提高了检测效率.异常检测则采用人工免疫技术,使系统对已知的攻击和新型攻击均有较强检测能力.     

基于多目标跟踪的交通异常事件检测

针对传统异常行为自动检测方法的准确率和稳定性无法满足多变视频检测需求的问题,将最新的目标检测网络YOLOv3与目标跟踪算法相结合,通过对基于SORT多目标跟踪框架的改进,对检测目标的级联匹配采用了融合运动与外观特征的指标,以适应实际高架桥梁道路监控的情况.然后利用改进的多目标跟踪算法,对城市高架道路监控视频中的目标进行跟踪,配合相应的轨迹判别规则实现对视频中出现的行人、停车和车辆变道的交通行为异常情况的自动判别,具有较高的判别精度,可以达到实际应用目的.     

一种基于费歇(Fisher)判别法的异常检测模型设计

网络上的入侵事件层出不穷,这对信息资源的安全构成了严重威胁。应对这些恶意行为的重要措施之一就是入侵检测。该技术的一个重要分支——异常入侵检测技术在目前的网络安全领域研究中十分活跃。文中提出一种基于统计理论——费歇(Fisher)判别法的异常入侵检测模型,该模型与其他的异常检测模型相比,在对异常事件响应能力的实时性与精确性方面有了较为显著的提高,应用该模型也简化了入侵检测系统设计的复杂性。     

集成学习分布式异常检测方法

研究了基于模型共享的集成学习分布式异常检测模型,采用多数投票、边界扩展、平均叠加和距离加权4种不同的集成学习方法得到全部的局部模型;采用交换本地数据挖掘模型的方式来实现数据共享,从而构造出一个总体的集成学习模型。从全局的观点检测异常,减少了集中式检测所需数据的传输量,有效保护了数据提供者的隐私性。仿真实验结果表明,该方法的检测性能与集中式检测的性能相当,甚至更好。