一种安全性的海量数据处理平台设计与实现

提出了一种开放分布式海量数据处理平台的设计方案。该平台以HDFS、Hive和HBase等作为底层数据存储方式,以Map Reduce、Spark和Storm等作为底层数据处理方式,向用户提供了统一的接口,同时使用Kerberous进行权限控制,保证了数据安全性。这种开放式的服务可使用户可在不同平台不同环境下简单方便地完成海量数据处理任务。     

基于Hadoop的云平台设计与实现

Hadoop是一个免费、可靠、高效、可扩展的开源云平台,允许在分布式集群上处理大数据的软件框架。本文以Hadoop为基础,详细介绍了虚拟机VMware、JDK、CentOS、Hadoop等技术。在伪分布式环境下搭建虚拟云平台,经过测试,本系统能正常运行MapReduce化的分布式程序,本文还针对用户权限、路径配置和使用SSH服务程序等问题进行了详细的阐述,为基于Hadoop的云平台研究和应用程序开发提供了基础。     

分布式大数据管理系统的设计与实现研究

社会高速发展的同时,数据也呈现爆炸式的增长,传统的数据库管理系统已经无法满足海量数据的存储需求。云存储技术成为一种新的数据存储方案,在Hadoop分布式系统的基础个,提出了一种基于云计算环境下的分布式大数据管理系统,为海量的文件存储与处理提供平台。对云计算大数据存储系统进行功能分析,同时还对大数据管理系统的框架进行设计,最后通过实验的方式验证了分布式大数据管理系统相比于其他方式的管理系统,处理的速度更快,存储时间更短,存储效率更高。     

基于兴趣社会网络的电子商务平台设计

本文将P2P技术和社会网络分析方法相结合,提出了分布式、高效的基于兴趣社会网络的电子商务平台。给出了电子商务社会网络的整个架构,同时,提出了构成底层P2P电子商务网络的网络拓扑构建方法,提出了根据用户存储的资料和用户行为进行P2P信息搜索机制,并在此基础上提出了根据用户兴趣计算用户之间相似度以形成具有相同兴趣的自组织社会网络。本文结论为基于P2P架构的电子商务实际运营提供了参考。     

安氏领信发布:LinkTrust IDS V7.2新版本

安氏领信科技有限公司推出的LinkTrust IDS V7.2新版本,是基于工作域的部署和管理模式,可以适应分布式多级部署、集中统一管理的大规模网络部署要求。同时在策略管理架构、网络活动审计、深度数据分析等方面,较前代产品有了进一步的改进,从而为用户提供了更出色的入侵检测解决方案。新版本具有以下特点:     

基于大数据平台的教学资源共享系统访问量实时统计

在大数据时代数据呈现几何级的数量增长,传统单机服务器架构的教学资源共享系统已经不能存储处理大量的数据,需要建设大数据平台进行存储处理.基于大数据平台的教学资源共享系统是在教育信息化方面构建教学资源共享系统,其存储容量大,处理数据计算量大.用户在访问教学资源时,对其访问的教学资源数据进行实时访问量统计,应构建大数据平台,利用Hadoop的分布式文件存储并通过Spark的内存计算实现教学资源实时访问统计.然后用数据可视化技术将用户访问统计结果显示出来,以便查看用户对教学资源的使用情况,对后续教学资源建设提供依据.     

基于云计算的大数据挖掘平台

开发了一个基于云计算的并行分布式大数据挖掘平台——PDMiner.PDMiner实现了各种并行数据挖掘算法,如数据预处理、关联规则分析以及分类、聚类等算法.实验结果表明,并行分布式数据挖掘平台PDMiner中实现的并行算法,能够处理大规模数据集,达到太字节级;具有很好的加速比性能;实现的并行算法可以在商用机器构建的并行平台上稳定运行,整合了已有的计算资源,提高了计算资源的利用效率;可以有效地应用到实际海量数据挖掘中.在PDMiner中还开发了工作流子系统,提供友好统一的接口界面方便用户定义数据挖掘任务.     

基于Hadoop和HBase的分布式索引模型的研究

随着互联网上信息量飞速增长,海量数据的索引出现了难题,现行的索引方案已经难以提供高效、可靠的服务,为此,设计并实现了一种针对海量数据进行索引的平台模型。该平台模型首先利用Solr分布式索引器生成索引文件,然后利用Hadoop分布式集群,以HDFS分布式文件系统、Map Reduce分布式并行计算模型、Zookeeper同步协同系统以及Hbase分布式数据库技术来处理、协调管理索引和存储海量数据,最后通过实验测试,该平台模型可以克服现行的海量数据索引时存在的效率低的问题,同时具有良好的扩展性和可靠性。     

云计算在分布式管理系统中的应用与设计

云计算是一种非常强大的存储、计算服务技术,该技术可以将分布于网络各地的计算机终端、服务器、存储器集成在一起,为用户提供透明计算、分布存储、集群协作等功能,为分布式管理系统开发提供了一种新的理念,可以根据用户需求定制服务空间,分别是基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS),实现系统并发处理功能,提升分布式管理系统的执行效率。     

基于用户行为分析的PPTV点播系统测量研究

利用基于协议分析和逆向工程的主动测量方法对PPTV点播系统进行了研究,通过对PPTV点播协议进行分析,获悉该协议的通信格式和语义信息,总结出了PPTV点播系统的工作原理,在此基础上设计并实现了基于分布式网络爬虫的PPTV点播系统主动测量平台,并对该平台获取的用户数据进行统计分析,获得了PPTV点播系统部分用户行为特征.研究结果对P2P点播系统的监控及优化提供了研究方法.     

云计算负荷分布控制平台的设计与实现

电网环境复杂,需要对其进行分布控制。而分布式平台的功能往往较为分散,以往设计出的负荷分布控制平台控制能力较弱,电网无法对其产生高效响应。因此,设计能够合理兼顾电网响应能力和控制能力的负荷分布控制平台。该平台利用Hadoop云计算实现平台对电网负荷的有效控制。当电网设备对平台发起控制请求,Hadoop云计算将调用负荷采集模块和负荷控制模块,对电网负荷进行控制。负荷采集模块从用户或电网设备中采集负荷数据,并对所采集到的负荷数据进行处理,得到问题负荷数据。负荷控制模块通过对问题负荷数据进行分析,为用户和电网设备提供最终控制指令。平台为用户提供低级应用软件和高级控制软件,并给出负荷问题设备控制流程图。实验结果表明,所设计平台对负荷具有较强的控制能力,且电网对平台的响应效果较好。     

卫星网络和高空平台网络频谱共存下的分布式鲁棒波束成形算法

面向由卫星网络和高空平台网络有机结合的星空融合网络,提出一种基于非完美信道状态信息的分布式鲁棒波束成形算法。首先,在卫星网络和高空平台网络分别采用多播技术和非正交多址技术服务多个用户的场景下,以最大化网络和速率为目标函数,并以满足各个用户速率需求为约束,建立卫星和高空平台发射功率受限为约束的优化问题。其次,在仅能获取用户非完美信道状态信息且仅能实现非完美连续干扰消除的情况下,采用S-procedure和连续凸逼近对非凸问题进行转化,并进一步提出基于拉格朗日对偶的分布式波束成形算法,以实现网络间的频谱共享。最后,计算机仿真表明所提分布式算法相比现有工作能以更低的信令开销获取更高的频谱效率。     

基于Android平台的云计算旅游信息导航系统设计

本文设计了一个基于Cloud Stack虚拟云架构的旅游信息导航系统,用户可以通过该系统查询南京地区的旅游景点信息、生活服务信息,同时还可以结交朋友、论坛互动等,享受优质的旅游服务。实验结果表明,该系统不仅能够提供高效、准确的信息导航,还提供了用户间交流的平台,使得大量用户可以并发请求数据以及随时随地快速上传自己的信息。与传统的信息导航系统相比,云计算平台能高效地分配资源,高效地处理并发用户的请求。     

面向6G物联网的分布式译码技术

随着5G商业化和标准化的逐步推进,对6G技术的研究也提上了日程。由于其在6G无线通信系统中的巨大应用前景,物联网(IoT)技术引起了人们广泛的兴趣。面向6G的物联网网络需要允许大量设备接入并支持海量数据传输,其鲁棒性和可扩展性至关重要。在物联网中,所述“事物”(用户)可以通过采用各种多功能无线传感器实时收集环境数据。通常来说,收集的数据将反馈到中央单元以进行进一步处理。但是这一机制依赖于中央单元的正常工作,鲁棒性较差。该文提出一种分布式译码算法,该算法通过让各用户之间互相协作,交换信息来实现在各个用户处完成译码。利用分布式译码算法,每个用户可以得到与中心化处理相似的译码性能,从而提高了网络的鲁棒性和可扩展性。同时,相比传统分布式译码算法,该算法不需要每个用户了解网络的拓扑结构,因此为面向6G的高动态物联网提供了技术支撑。     

刍议企业级协同办公平台的选择

企业在日常办公、资产管理、业务处理、信息交流等方面有着迫切的需求。协同办公系统能够提供分布式办公、即时沟通、数据共享、数据流转、知识管理的功能,简化工作内容,提升办公效率。市场上有近百种平台产品支持协同办公系统的快速实施,如金和协同管理软件、用友致远、泛微协同平台、惠点indi.office、蓝凌知识管理专家等。在已成型的产品上进行实施具有项目周期短、成效快的优势。本文浅议如何在众多的产品中选择出适合自己企业的平台。     

基于分布式数据流的网络处理器数据收集分类平台

自适应分布式数据流处理调整技术进行分布式数据收集与分类时,未构建精准的数据分类器,导致分类精度有所偏差,设计基于分布式数据流的网络处理器数据收集分类平台。所设计平台总体架构包括平台管理层、分布式数据收集层、分布式数据分类层;网络处理器通过网络交换机端口接收分布式数据流,采用变压器、PHY处理所获数据,与主控芯片FPGA交互将数据保存,实现分布式数据流收集;网络处理器实现分布式数据流分类过程包括训练阶段与测试阶段,训练阶段采用分布式数据流更新规则完成数据特征选择,测试阶段进行分布式数据流分类特征更新,对关联度较大的特征数据实施筛选,实现分布式数据流的分类。实验结果表明,所设计平台分类精确度均值高达99.5%,且用时短、使用内存小。     

面向6G物联网的分布式译码技术

随着5G商业化和标准化的逐步推进,对6G技术的研究也提上了日程.由于其在6G无线通信系统中的巨大应用前景,物联网(IoT)技术引起了人们广泛的兴趣.面向6G的物联网网络需要允许大量设备接入并支持海量数据传输,其鲁棒性和可扩展性至关重要.在物联网中,所述"事物"(用户)可以通过采用各种多功能无线传感器实时收集环境数据.通常来说,收集的数据将反馈到中央单元以进行进一步处理.但是这一机制依赖于中央单元的正常工作,鲁棒性较差.该文提出一种分布式译码算法,该算法通过让各用户之间互相协作,交换信息来实现在各个用户处完成译码.利用分布式译码算法,每个用户可以得到与中心化处理相似的译码性能,从而提高了网络的鲁棒性和可扩展性.同时,相比传统分布式译码算法,该算法不需要每个用户了解网络的拓扑结构,因此为面向6G的高动态物联网提供了技术支撑.     

基于PCIe总线的专用高速信号采集卡设计

在某些雷达对抗试验中,为了精确地评估试验效果,设计了一个高速信号采集系统,该系统具有最高为500 MS/s的采样率,板上缓存为1 GB,同时提供与高速存储系统的数据传输接口以供外扩存储容量。该系统提供了示波器工作模式和连续采集工作模式两种工作模式,用户可根据需求使用不同的工作模式对采集到的数据进行处理,同时该系统具有完善的触发功能,以方便用户对数据进行分析。     

企业云开发平台研究

企业云开发平台提供了一个虚拟的开发环境,开发者可以很方便的获得开发和测试环境.使得开发者可以将精力集中于应用的开发,提供更好的产品.同时该平台还提供了云体验功能,使用户可以在云端试用产品,发现问题,减少购买的盲目性.开发者在云端模拟用户的环境,再现用户的问题,迅速找到解决方案.平台的提供商使用这个平台可以有效地宣传自己的产品,增加合作伙伴和用户的数量.企业云开发平台建立了一个多赢的生态链.     

CRM／DECnet—DOS

CRM/DECnet-DOS是在IBM/PC及其兼容机上运行的汉字实时多任务网络操作系统,为具有VAX机及PC机的用户提供了良好的网络软件系统。它能同时运行多个用户任务,具有自动激活网络OBJECT任务的分布式处理功能,克服了DECnet-DOS单任务的缺点,使单个的PC个人计算机系统成为DECnet网络的真正端节点。 CRM/DECnet-DOS是在对MS-DOS和DECnet-DOS改进的基础上研制的,因此所有在MS-DOS及DECnet-DOS上开发的应用程序都能在CRM/DECnet-DOS上运行,并对某些功能进行了改进。