浅谈基于Hadoop平台的大规模数据排序

据IDC统计,2011年全球处理的数据量达到1.8 ZB,预计到2020年达到40 ZB.如何对海量数据进行高效分析和有效管理已成为大数据时代亟需解决的问题之一.商业数据、科学数据和网页数据这3类海量数据的异构性(充满着非结构化、半结构化和结构化数据)进一步增加了海量数据的处理难度.海量数据排序是海量数据处理的基本内容之一.Hadoop曾利用3 658个节点的集群在16.25小时内完成1PB数据的排序,获得Daytona类GraySort和MinuteSort级别的冠军.本文在设计层面上对Hadoop平台上海量数据排序策略进行分析.     

基于预留缓存的飞行试验iNET数据处理技术

为解决飞行试验测试系统跨代升级,网络化测试系统采集记录的海量i NET试飞数据高效处理难题,该文介绍传统的试飞数据处理软件设计思路及结构。针对新形势下飞行试验采集的海量i NET网络数据的高效处理难题,分析i NET网络数据的特点及制约飞行试验海量试飞数据高效分析处理的因素;提出预留缓存的试飞数据处理新思路及实现技术,实现飞行试验海量试飞i NET数据的高效分析及处理;最后在某试验机飞行试验中对采集的海量i NET试飞数据进行分析处理。试验表明使用这些算法的数据处理软件的处理效率满足了飞行试验海量i NET数据处理需求。     

基于深度学习的遥感图像分类研究

作为机器学习的分支,深度学习克服了机器学习在提取特征上的弱点,能从海量数据中提取抽象特征.其特征表达能力和泛化能力高,面对海量遥感影像数据也能高效准确的提取特征.遥感影像分类是从提取影像中各类地物特征并归类处理,是遥感影像处理中的关键技术.基于深度学习的遥感图像分类可以弥补传统机器学习分类精度不高、效率低和泛化能力不足...     

基于数据归约和面向属性归纳的网络流量分析系统

为了满足网络流量分析系统对海量数据快速查询和提取的要求,主要应用数据挖掘技术中的数据归约和面向属性归纳方法,对采集到的海量数据进行了相关的前期处理,主要包括数据归约和数据泛化,使得前端系统与后台数据库间的数据交互得以高效便捷地完成。最后,利用某运营商提供的奥运专网数据对所设计的系统进行了实际测试,测试结果表明,系统运行稳定,效果良好。     

基于云计算的海量数据处理平台设计与实现

针对传统并行处理技术在海量数据处理中存在的实际应用问题,利用云计算技术强大的计算能力、高效的海量数据处理方式,结合关系数据库实时访问的优点,在Hadoop分布式计算框架基础上,采用Map-Reduce架构,设计并实现了基于云计算的海量数据处理平台.实践证明,该系统在计算能力、稳定性、可扩展性等方面都优于传统并行处理的技术,能有效解决海量数据大并发访问.     

基于InfluxDB与Grafana的物联网监测系统设计

随着监测系统使用时间的增加与物联网设备的不断接入,系统内数据量增长十分迅速,现有的单一存储模式已无法满足海量数据的存取需求。文中针对物联网异构数据海量性、时序型、低修改性和高写入性等特点,提出使用时序型数据库InfluxDB作为数据持久层存储核心业务数据的新思路。在此基础上,视图层增添Grafana组件用于业务数据可视化展示,并提出一种具备设备接入、设备监控、数据分析与展示功能的物联网监测系统。该系统易于操作,耦合程度低,可使用容器化部署方式降低后期运维成本。实验结果表明,系统存储海量物联网数据后,仍可在极短时间内提供服务,实现了海量物联网数据的高效存取,具有较高的研究价值与现实意义。     

基于Hadoop云计算平台的图像分类与标注

为有效处理并利用互联网海量的图像和视频数据,提出了一种基于Hadoop云平台的图像分类和标注解决方案。针对如何高效地进行训练集提取这一重要问题,搭建了基于云计算的图像抓取平台,利用互联网的图像资源作为原始数据集,为提取训练集图像提供足够的数据;实现了基于概率潜在语义分析模型的训练集图像提取功能,对原始数据集进行基于主题的聚类,帮助用户快速选取训练集图像;加入了SVM分类模型,利用提取出来的训练集对未标注图像进行分类标注,实现了完整的系统。实验结果表明,该方案能够满足海量图像数据分类和标注的功能和性能需求。     

大型物联网电子设备的海量数据高效挖掘方法研究

当前对大型物联网电子设备数据采用状态模式识别的数据挖掘方式,对具有差异性特征的电子设备数据挖掘无法分类识别,性能不好。在此提出一种基于关联度主特征量提取的大型物联网电子设备的海量数据高效挖掘方法,首先分析了大型物联网中电子设备的数据采集模型,通过对电子设备的原始数据采集,提取电子设备数据信息的关联度主特征量,采用海量数据挖掘最优控制算法实现对大型物联网中的电子设备海量数据的分类挖掘和特征提取。仿真结果表明,采用该算法进行数据挖掘,电子数据的数据差异性特征幅度平稳,数据的关联度区分明显,具有较好的分类识别和数据检测能力且系统运行效率提高。     

基于云计算的海量图片存储管理系统研究

随着网络信息容量的膨胀,如何高效地存储和管理海量图片数据,传统的数据管理技术难以满足这些应用所提出的对数据管理的需求。针对云计算应用的特点和需求,借鉴传统数据管理技术的理念,提出了一种基于CouchDB的高可扩展、高可靠的海量图片存储管理系统。系统采用分布式文件系统、分布式数据库等技术,支持海量数据存储、资源目录和交换体系以及并行程序处理,可提供从数据到处理功能的一体化服务。实验证明,本系统具有可行性,能满足空间信息服务的多种需求。     

构建电信级电子邮件系统

建设电信级邮件系统已成为人们十分关注的问题。电信级邮件系统是一种高效、可靠、实用的网络应用系统。本文从IDC与MailHosting,邮件系统基本模型,系统组成,系统功能,海量用户支持,多域名/虚拟域名支持及安全特性等方面进行了阐述。     

基于IP地址段的网站内容监控的研究

实时发现并对网络信息进行安全性监控是IDC业务管理部门目前一个难题，也是网络监控的一个重要任务。这里提出一种在指定IP段内发现网站域名并对网站内容进行分析监控的技术框架。通过该技术对海量数据进行降噪和智能分析，能以最快的速度发现网站及经营内容。实验证明，提出的技术框架相比于同类系统，数据库更新周期快，更新周期仅为1天左右，检索到的内容更快速、准确。     

互联网数据中心IDC建设阐述

互联网数据中心IDC是一个建立在高稳定高带宽电信基础互联网平台之上、以企业用户服务器托管为核心的综合业务服务。随着信息技术与计算机技术的不断融合,互联网数据中心IDC建设也在经历着巨大变革。为了适应时代发展需要,必须加强数据中心安全管理,提高数据中心安全性,因此,如何构建安全可靠的互联网环境就显得尤为重要。文中首先分析阐述了IDC系统建设,其次从国内外市场分析了IDC的建设,最后提出了IDC未来的发展趋势。     

大数据技术在电子信息工程中的应用

文中通过多种数据采集手段,如传感器、设备和通信网络,旨在构建一个海量数据的基础。采用数据分析和处理方法,揭示了大数据技术在电子信息工程中的潜在应用价值。通过对实时数据的监测与分析,揭示了大数据技术在电子信息工程生产过程中的关键作用。研究结果表明,大数据技术在感知系统、质量监控与改进、智能决策和创新等方面发挥了关键作用,推动了电子信息工程的智能化与高效化发展。     

面向监控系统的物联网中间件的研究与实现

针对目前物联网终端接入量大、数据采集海量化等特点,提出了一种具有数据处理模块的监控系统中间件模型,实现了对“事物”数据的快速过滤、提取、分类和存储,降低了上层应用开发难度.并在物流车监控系统中得到了应用,结合物流车终端节点数据特点和保证实时性的同时,为物流车辆安全行驶提出了一种数据过滤算法,并且定义了多种安全事件,用于警告和预防事故的发生.最后通过测试,取得了良好效果.     

Information extraction from massive Web pages based on node property and text content

To address the problem of extracting valuable information from massive Web pages in big data environments,a novel information extraction method based on node property and text content for massive Web pages was put forward.Web pages were converted into a document object model (DOM) tree,and a pruning and fusion algorithm was introduced to simplify the DOM tree.For each node in the DOM tree,both density property and vision property was defined and Web pages were pretreated based on these property values.A MapReduce framework was employed to realize parallel information extraction from massive Web pages.Simulation and experimental results demonstrate that the proposed extraction method can not only achieve better performance but also have higher scalability compared with other methods.     

一种面向运营商CDN业务的不良信息检测方案 设计与实现

本文主要描述一种面向运营商CDN业务的不良信息监测方案与实现方法,此方案补全了通信运营商网络不良信息监测治理方案在CDN业务方面的缺失,实现对CDN业务中不良信息的监测和处置,完善了电信运营商不良信息治理能力。     

基于任意分割的串行进位链规则获取的计算流程

 分析了等价矩阵和联合决策矩阵规则提取算法对于大数据集低效性的根源.提出了基于任意分割的规则获取方法和相应的串行进位链计算流程.这种计算流程将大数据集上的规则获取,转化为通过分割后多个智能体(子系统)及其智能体间数据共享的"并行＋串行"的规则提取计算过程,有效的解决了大数据集上规则获取问题.复杂度分析表明该算法在效率上较现有的算法有显著的提高;实例分析验证了该方法的可行性;相应的对比实验表明这种计算流程对大数据集上的规则获取的实用性和高效性.     

无线监控服务资源提取算法

针对目前无线监控系统可控性、扩展性不足的问题,设计了一种能够进行大规模接入的分布式视频监控系统架构,提出了服务资源按类别先请求后提取、集中控制,监控终端集中管理的策略,并给出了数据资源、媒体资源的提取过程,最后通过服务器负载均衡算法和级联方案实现了接入容量扩展。实验结果表明,采用该算法的系统响应时间可以有效降低58%左右,最高能同时处理上万个监控前端服务请求。     

群聊业务中的跨消息关键词匹配技术研究

近年来,以群聊为媒介的不良信息和诈骗信息传播变得愈发猖獗.相比于点对点通信,群聊具有多人高交互性的特点,一些不良信息需要通过结合多条消息才能识别,需要研究跨多条消息的关键词匹配技术.本文重点对跨消息关键词匹配流程中的消息缓存和关键词匹配两个步骤进行了深入研究,并给出了高效的实现方案.该方案对群聊业务监控策略的设计和实现...     

基于ISO27001的IDC信息安全管理体系

中国电信深圳分公司以ISO27001信息安全管理体系为基础,以风险管理为核心,以技术手段为支撑,通过资产识别、资产重要性评估、风险评估、编制管理体系文件、实施、监控和持续改进ISMS等过程,构建了一套完善的IDC信息安全管理体系,有效地保障了信息资产的安全和业务连续性。