基于集群的水文数据安全性能提升对策

随着水文数据量的不断增加及业务的不断扩展,在数据安全与访问效率上,现有数据管理及服务模式已无法满足水文现代化发展的迫切需求,为提高数据库安全与性能,对数据库性能优化理论进行深入的研究和分析,并提出基于集群的优化方案,将单实例数据库升级到数据库集群。从对敏感数据与非敏感数据进行物理隔离,建设数据审计系统,搭建数据库集群,开发数据访问接口API等4个方面进行优化,分析集群部署环境创建,故障转移群集搭建,并创建一个集群实例,对优化方案实施前后数据库的安全与性能进行对比,经过对比发现数据库的安全与性能提升明显,对于单实例数据库升级到集群系统有一定的借鉴作用。     

异构Hadoop集群下的比例数据分配策略

针对异构Hadoop环境下仍采用均等的数据分配方法将严重降低MapReduce的性能,提出比例数据分配策略。通过计算异构集群中各节点的计算比率,将已经分割好的数据块重新进行组合,形成数个按比例划分的数据块。每个节点根据自身性能来选择所分配和存储的数据块,从而使异构Hadoop集群中各节点处理数据的时间大致相同,降低节点之间数据的移动量。实验验证了提出的比例数据分配方法可以有效地提高MapReduce的性能,并使数据负载均衡。     

分布式入侵检测中基于能力与负载的数据分割算法

针对高速网络环境下分布式入侵检测中海量数据并行检测处理的效率和检测率问题,提出一种基于能力与负载的数据分割算法。该算法依据采集到的集群内各数据分析节点的系统性能指标及运行状态,评估节点的数据处理能力与负载程度。基于节点的能力与负载适应因子,权衡节点在集群中检测和分析数据能力的权重,实现海量数据在集群内各数据分析节点间的动态数据分割,为节点分配适应其能力与实时负载的数据粒度。仿真测试结果表明,该算法具有较好的负载均衡性,降低了系统的检测时间,提高了数据并行处理的效率和检测率。     

一种用于大数据的改进的ItemBased推荐算法

为了改善传统ItemBased推荐算法在大数据环境下的数据稀疏性问题和可扩展性问题,论文提出了一种基于Hadoop平台的ItemBased推荐算法.通过Pearson相关系数公式获取数据项之间的相关度,并根据数据集中的数据稀疏程度赋予一定的权值.在此基础上,将该算法在Hadoop平台上分布式并行化,在保证算法的平均绝对误差情况下,提升集群的运算速度.实验表明,改进的算法能够改善推荐质量、提高推荐效率,并且在大数据环境下拥有良好的可扩展性.     

高校大数据实验室及实验体系的规划与建设

大数据产业已上升至国家战略, 建立大数据实验室及实验课程体系是培养大数据技术人才的必要条件. 本文对大数据的知识体系进行了梳理, 分析了“数据科学与大数据技术”专业和“大数据技术与应用”专业的培养目标及职业定位, 明确了大数据专业的学生应该掌握的关键知识和需要重点培养的专业技能, 介绍了主流的大数据生态系统, 选取了最通用的大数据架构, 提出了在单机环境、单机虚拟化环境、共享大数据集群环境、云计算环境下建设大数据实验室的不同方案, 并设计了大数据实验课程体系及实验项目.     

基于聚类结构编码的差分隐私异构数据发布

针对异构数据发布的隐私保护以及数据挖掘泛化性问题，提出一种用于聚类分析的异构数据差分隐私发布方案。为了解决处理隐私信息后缺乏正确引导的问题，将原始数据分组为集群，并利用集群标签对数据的集群结构进行编码，还为异构数据定制了一个同时考虑关系属性和集值属性的距离度量集群。在保留集群结构的同时迭代地概括原始数据。进一步在原始数据中加入噪声从而满足ε-差分隐私的要求。在满足差分隐私原则的前提下，提出一种同时处理关系数据和集值数据的不确定性算法，不同类型的数据以类似的方式进行匿名化。通过实验验证了该方法能够有效解决异构数据发布问题。     

MapReduce集群环境下的数据放置策略

MapReduce是一种适用于大规模数据密集型应用的有效编程模型,具有编程简单、易于扩展、容错性好等特点,已在并行和分布式计算领域得到了广泛且成功的应用.由于MapReduce将计算扩展到大规模的机器集群上,处理数据的合理放置成为影响MapReduce集群系统性能(包括能耗、资源利用率、通信和I/O代价、响应时间、系统的可靠性和吞吐率等)的关键因素之一.首先,对MapReduce编程模型的典型实现——Hadoop缺省的数据放置策略进行分析,并进一步讨论了MapReduce框架下,设计数据放置策略时需考虑的关键问题和衡量数据放置策略的标准;其次,对目前MapReduce集群环境下的数据放置策略优化方法的研究与进展进行了综述和分析;最后,分析和归纳了MapReduce集群环境下数据放置策略的下一步研究工作.     

一个数据并行型计算的网格资源的管理模型

在由多计算机集群构成的数据网格环境下，挖掘网格计算节点的空余资源来支持数据并行型计算（Data Parallel Computing，DPC），提出了一个基于分类、统计机制的数据网格管理模型。根据不同时间的网格资源的空余、各类DPC以及逻辑计算机机群，研究了支持DPC的网格资源管理模型。实验表明，该模型有效地解决了网格环境下数据并行型计算所需的空余资源优化使用问题。     

基于能力优化机制的网格分组通信模型

在由多计算机集群构成的数据密集型网格环境下，为了解决通信峰值阶段的通信冲突问题，在GCA模型的基础上，提出了一个基于能力优化机制的分组通信模型OGCM（Optimizing Group Communication Model）。实践表明，该模型有效地解决了数据密集型网格环境下通信峰值所造成的并行计算效率低下的问题。该模型适合于基于网格的数据密集型并行计算。     

一种优化MapReduce系统能耗的数据布局算法

在云计算技术和大数据技术的推动下,IT资源的规模不断扩大,其能耗问题日益显著.研究表明:节点资源利用率不高、资源空闲导致的能源浪费,是目前大规模分布式系统的主要问题之一.研究了MapReduce系统的能耗优化.传统的基于软件技术的能耗优化方法多采用负载集中和节点开关算法,但由于MapReduce任务的特点,集群节点不仅要完成运算,还需要存储数据,因此,传统方法难以应用到MapReduce集群.提出了良好的数据布局可以优化集群能耗.基于此,首先定义了数据布局的能耗优化目标,并提出相应的数据布局算法;接着,从理论上证明该算法能够实现数据布局的能耗优化目标;最后,在异构集群中部署3种数据布局不同的MapReduce系统,通过对比三者在执行CPU密集型、I/O密集型和交互型这3种典型运算时的集群能耗,验证了所提出的数据布局算法的能耗优化效果.理论和实验结果均表明,所提出的布局算法能够有效地降低MapReduce集群的能耗.上述工作都将促进高能耗计算和大数据分析的应用.     

Symbolic graphs for attributed graph constraints

In this paper we present a new class of graphs, called symbolic graphs, to define a new class of constraints on attributed graphs. In particular, in the first part of the paper, we study the category of symbolic graphs showing that it satisfies some properties, which are the basis for the work that we present in the second part of the paper, where we study how to reason with attributed graph constraints. More precisely, we define a set of inference rules, which are the instantiation of the inference rules defined in a previous paper, for reasoning about constraints on standard graphs, showing their soundness and (weak) completeness. Moreover, the proof of soundness and completeness is also an instantiation of the corresponding proof for standard graph constraints, using the categorical properties studied in the first part of the paper. Finally, we show that adding a new inference rule makes our system sound and strongly complete.     

基于本体论的论文检索

本文首先分析了传统论文检索机制的不足,在此基础上,提出将本体论应用于论文检索中的基本思路,建立了论文本体模型,设计了基于本体论的论文检索系统,最后根据所建立的检索模型,研完了智能化论文检索的相关算法。     

并发验证系统中操作向导的设计与实现

介绍并发验证系统中的操作向导,给出了具体的实现方案,此外,研发过程中遇到的相关问题和采用的技术也是讨论的对象。     

一类四阶各向异性扩散方程在图像放大中的应用

在文中我们首先分析了进行图像放大时各向异性偏微分方程优于各向同性偏微分方程,随后我们分析了在本文中不同四阶模型的扩散方向.为了消除低阶偏微分方程在处理图像中出现的块状效应的影响,同时保证方程为各向异性扩散,我们构造了两个各向异性的四阶偏微分方程,并且分别从数据和放大图像效果两方面来说明我们给出的模型优于文中提到的其它四个模型.     

多目标跟踪传感器网络的节点设计

传感器节点是根据我们对多目标跟踪传感器网络研究的需求而设计的。首先介绍传感器节点的体系结构。然后制定四种传感器节点的结构方案,通过这四种方案的对比,选定方案四,并完成电路原理图的设计。     

Student cluster competition: ParConnect reproducibility task report

Reproducibility is a desirable characteristic of any experimental work in computer science. In this paper, we reproduce the results in the paper, “A parallel connectivity algorithm for de Bruijn graphs in metagenomic applications”, for verifying their claims on the speed and scalability of their algorithm. We first state the claims made in the original paper. Then, we describe our hardware and software setup used for the reproducibility task, followed by the steps taken to setup the proposed algorithm and profiling software. Lastly, we present the results obtained from our experiments and show that we are able to reproduce most of the claims made in the original paper.     

数据仓库在企业中应用的研究

分析了数据仓库的特点、体系结构及实现的方法,并以分销资源计划管理系统（ＤＲＰ）中的销售分析为例说明面向主题的数据仓库的构建方法,另外还给出了实现分布式数据提取的方法。     

基于深度学习的论文个性化推荐算法

该文基于学术搜索和数据挖掘平台Aminer向用户进行个性化推荐,提出了结合协同过滤推荐和基于内容推荐的混合模型,实验表明该算法可以有效解决新物品的推荐问题,即冷启动问题。其中在基于内容推荐的模型中,融合深度学习的方法,引进了词向量模型,将用户和论文映射到用词向量空间, 并使用WMD(Word Mover Distance)计算相似度。实验表明,与其他基线模型相比该文提出的推荐模型在准确率上显著提高了4%。     

多媒体保安监控系统的研究与设计

本文阐述了多媒体技术在保安监控系统中的一种应用，并解决了在此应用中的一些关键技术，使多媒体技术的应用范围得到了进一步扩展，文章从功能设计到系统结构设计方面，对多媒体监控系统进行了较详细的讨论。     

基于VB的飞机电气设计系统网络化的研究

通过可视化编程工具VB和关系型数据管理系统SQL Server实现了飞机电气信息集成系统的设计系统网络化，提高了工作效率，本文针对在设计系统网络化中出现的一些问题，提出了解决的办法，并对部分程序细节给出了程序代码。