云计算分布式缓存技术在海量数据处理平台中的应用

随着云计算和大数据时代的到来,在满足用户对系统访问量、访问速度、访问安全的要求的同时,系统必须实时准确地处理迅猛增长的海量数据,而传统的缓存技术无法满足海量数据处理和用户高并发访问的需求.分布式缓存技术是最好的高性能缓存解决方案.本文研究如何利用云计算下分布式缓存技术在海量数据处理平台中解决该问题,分析研究了分布式缓存的关键技术、分布式缓存的一致性和分布式内存数据管理.在此基础上,分析并设计了分布式缓存系统的部署和整体架构.并将该分布式缓存系统的设计模式应用在某团购网上,进行了POC测试.测试结果证明分布式缓存技术可以缓解服务器的压力,解决海量数据和超高并发数据访问所带来的问题,提升了系统的性能、访问速度、可靠性以及降低响应延迟.     

Web Service构建多层分布式职称申报评价系统

分布式、部件化、交互性和互操作计算机软件已经成为软件研发的一个重要方向.传统的分布式技术,如DCOM、CORBA等,具有如难以穿越防火墙,不同组件间互操作性差等缺点.因此笔者在设计职称申报评价系统时,提出了利用基于数据词典的Web Service作为教育厅与各高校之间、高校与本校的申报用户之间所有通讯的中间接口.文中详细介绍了基于数据词典和Web Service的职称申报评价系统实现的方法,为分布式异构数据库软件开发提供了一个范例.     

基于入侵检测的分布式防火墙的应用研究

针对分布式防火墙和入侵检测技术各自存在的不足,文中提出基于入侵检测的分布式防火墙的解决方案,通过在主机防火墙内部增加入侵检测模块,形成一种动态分布式防火墙.主机防火墙过滤模块通过修改数据包结构以减少入侵检测量,入侵检测结果快速返回管理中心,及时动态更新策略.实验结果表明:该方案解决了分布式防火墙策略更新慢、内部通信被非法用户截获、无法及时发现入侵攻击等问题,同时也解决了入侵检测模块的数据检测量大和无法阻断攻击等问题.     

分布式无线传感网络的协作目标跟踪策略

基于图像序列的目标跟踪是目标跟踪的重要研究问题之一.由于受图像解析度和跟踪范围限制,单视角跟踪准确性和鲁棒性不足.本文提出了分布式无线传感网络测量环境下的多视角协作融合跟踪方法,并引入了渐进分布式数据融合,采用基于能耗参数和信息有效性参数的综合优化函数动态选择融合节点,规划融合过程,平衡融合精度与网络能耗.通过目标跟踪准确性、网络能耗及传输延时对比实验表明:基于渐进分布式数据融合的协作信号处理方法提高了分布式多视角跟踪的准确性与实时性,减少了网络拥塞,降低了通讯能耗及延时.     

大数据环境下的海量非结构化信息处理

文章针对大数据环境下的非结构化数据的特性和存储现状进行分析,运用分布式云存储理论,以及分布式技术和软硬件一体化原理,提出一个务实的高性能、可伸缩、易管理的分布式海量非结构化信息处理解决方案。     

分布式任务调度与副本复制集成策略研究

研究了分布式任务调度和副本复制集成体系结构,并提出了基于博弈理论的分布式副本复制模型及相应算法--Best-Reply算法,最后通过仿真实验与其他4种算法进行比较.结果表明,尽管分布式的在线任务调度算法与Best-Reply算法集成策略与集中式的集成策略相比其任务平均完成时间稍高,但是它对存储空间的敏感度较低,网络负载更稳定,因此完全可以替代现有集中式的任务调度和副本复制集成策略.     

云计算下分布式数据安全读取算法研究北大核心CSCD

针对传统的云计算下分布式数据安全读取算法,一直存在数据读取质量不高,读取数据重复率较高的问题.提出基于范围型属性的云计算下分布式数据安全读取算法,首先采用经验分布函数与核估计对云计算下分布式数据的分布函数进行估计;然后以分布式数据的分布函数变换进行均匀分布的假设检验;再以分布式数据分析结果为依据,利用范围型属性的值域特征,将分布式数据值域按照目标数据库的分布样本划分为多个子区间,在此基础上完成云计算下分布式数据的安全读取.实验结果分析证明,所提算法能提高分布式数据的安全读取速度和读取正确率,降低计算复杂度,适用范围广.     

民机机电系统3H架构仿真的任务划分研究

针对目前AMESim分布式仿真难以确定仿真分布式划分点、无规则划分将进一步降低仿真实时性的难题,以民机协同仿真中的机电系统为研究对象,提出一种基于网络模型和组合赋权法的机电系统协同仿真任务划分方法.首先,利用基于数据分发服务的分布式平台作为通信基础,保证了分布式仿真的同步性.其次,将网络模型的拓扑属性引入民机机电系统协...     

基于联邦学习的分布式数据安全融合方法研究

为满足在可用性、实用性的前提下实现大数据安全融合共享,设计了基于联邦学习的分布式数据安全融合模型,并运用差分隐私、安全多方计算、同态加密、函数加密四种方法进行实现,以保证分布式数据融合的安全性和可行性.     

数据压缩在分布式内存数据库同步中的设计与实现

智能电网的发展,一方面带来了电网运行和设备检测或监测数据的不断增多,另一方面是有限的网络通信资源影响实时数据的传输,针对该问题,本文提出在分布式内存数据库系统采用数据压缩算法来实现分布式数据的实时快速同步,使得分布式内存数据库的各个节点数据保持一致性,进而保证对全网数据进行准确分析.     

基于数据挖掘的分布式入侵检测系统

简单介绍传统入侵检测系统,进而提出基于数据挖掘的分布式入侵检测系统模型,讨论了为了实现该模型所需要的数据挖掘技术.这些技术的应用,可以有效检测大规模协同攻击,提高分布式入侵检测系统的自适应性和可扩展性.     

基于大数据平台的信令数据采集技术研究

针对现有信令数据采集技术所面临的海量数据采集需求以及存储困难等问题,文中研究了基于大数据平台的信令数据采集技术。设计了基于大数据平台的信令监测系统架构,并分析了信令监测系统的大数据解决方案。另外,文中进一步划分了基于大数据平台的信令数据采集架构,主要包括大数据信令采集架构、大数据信令采集模式以及大数据信令采集内容3部分。所设计的面向大数据平台的信令数据采集技术架构可以有效适用于海量信令数据采集场景,为实现大规模分布式信令数据采集提供了工具。     

分布式空间数据索引机制研究

在分析各种空间数据索引的基础上,研究利用分布式并行技术建立网络环境下海量空间数据的大规模索引机制的关键技术。对经典的R-树进行了改进,基于R-和散列hash表,提出了一种分布式环境下面向海量空间数据的分布式索引树结构DR-H,此索引树结构充分利用了R-树的范围查询和散列hash表的高效单key查询。经模拟实验结果表明,该分布式索引机制结构能够有效提高分布式网络环境下海量空间数据的检索性能。     

基于线状特性的大数据地铁用户识别与定位方法

从MR原始数据特性出发研究数据结构与字段,采用基于线状特性分析MR大数据的地铁用户识别过滤方法和位置定位方法,该方法经过验证能够有效输出地铁用户数据并定位在地图上,解决人工地铁测试效率低且测试片面的问题,实现基于大数据的自动化地铁网络评估,提供海量的有效定位数据用于地铁评估与分析。     

基于Hadoop的海量电信数据云计算平台研究

传统的数据分析方法面对海量电信数据存在管理和分析难的问题.Hadoop是一个可实现大规模分布式计算的开源框架,具有高效、可靠、可伸缩的优点,被广泛应用于云计算领域.本文在对云计算和Hadoop进行分析和研究的基础上,提出了一种针对海量电信数据的分布式云计算方法,建立了基于Hadoop的海量电信数据云计算平台.实验证明,该平台能够有效完成海量数据的管理和分析任务,提高海量数据分析的速度和效率.     

基于LXI总线的数据采集系统数据同步方法研究

对于大型的航空发动机数据采集系统而言,需要采集的信号众多.其不仅仅是不同设备信号的简单叠加,还要求不同设备信号间具有更高精度数据同步能力.LXI总线是新一代的仪器总线,其基于开放的工业网络标准,具有分布式的架构、高速的数据传输、高精度的系统同步等优势.某型航空发动机数据采集系统基于LXI总线设备进行设计和组建,充分利用了LXI总线的优点,有效解决了大型数据采集系统数据同步的问题,提高了系统的精度和测试效率.     

基于共享模式的SaaS多租户数据划分机制研究

对SaaS模式下,对共享模式的多租户数据在云中多节点环境的划分问题进行了研究,提出一种支持SaaS应用的多租户数据划分模型和算法。与目前主要面向分析型应用并且缺乏事务支持的分区技术和云数据库解决方案进行比较,理论分析和实验结果同时表明,该划分机制能有效地实现云环境中系统规模动态扩展,同时最大限度地降低分布式事务代价。     

移动互联网大数据关键技术

随着智能终端的普及,移动互联网得到蓬勃发展。其产生维护了海量的数据信息,包括系统的日志、服务质量、服务调用关系、用户的行为、位置、业务使用偏好等。越来越多的数据使得数据量变得过于庞大、内容过于复杂,难以通过传统的方法进行有效地处理。本文将讨论移动互联网大数据处理的关键技术,包括移动互联网的多源数据采集、海量异构数据管理、实时数据挖掘、高效数据分析与呈现等技术。     

Differentially private feature selection under MapReduce framework

Privacy preserving data mining algorithms are crucial for the personal data analysis, such as medical and financial records. This paper focuses on feature selection and proposes a new privacy preserving distributed algorithm, which can effectively select features based on differential privacy and Gini index under the MapReduce framework. At the same time, the theoretic analysis for privacy guarantee is also presented. Some experiments are conducted on bench-mark datasets, the simulation results indicate that during the selection of important features, the proposed algorithm can preserve privacy information to a certain extent with less time cost than on centralized counterpart.     

基于Spark平台的大数据挖掘技术分析

文章指出,大数据技术现在越来越成熟,大大提高了数据信息的利用率,尤其是大数据挖掘技术可以从海量的数据中挖掘具有价值的信息,为社会的生产生活提供更大的助力.基于大数据自身所具有的数量大、多样性突出等特点,在进行数据挖掘时,想要达到较高处理速度、效率以及实时性效果,还需要不断地进行研究.Spark平台是一个针对超大数据集合...