基于HBase的交通流数据实时存储系统

交通流数据具有多来源、高速率、体量大等特征,传统数据存储方法和系统暴露出扩展性弱和存储实时性低等问题.针对上述问题,设计并实现了一套基于HBase交通流数据实时存储系统.该系统采用分布式存储架构,通过前端的预处理操作对数据进行规范化整理,利用多源缓冲区结构对不同类型的流数据进行队列划分,并结合一致性哈希算法、多线程技术、行键优化设计等策略将数据并行存储到HBase集群服务器中.实验结果表明:该系统与基于Oracle的实时存储系统相比,其存储性能提升了3~5倍;与原生的HBase方法相比,其存储性能提升了2~3倍,并且具有良好的扩展性能.     

基于HBase的气象地面分钟数据分布式存储系统

针对气象地面分钟数据要素多样、信息量大、产生频次高等特点,传统的关系型数据库系统在存储和管理数据上出现负载饱满、读写性能不理想等问题。结合对分布式数据库HBase的存储模型的研究,行主键(row key)采用时间加站号的方式设计了气象分钟数据存储结构模型,实现对海量气象数据的分布式存储和元信息管理。对HBase的唯一索引在面对气象业务的复杂查询用例时响应时间过长的问题,使用搜索引擎solr提供的API接口并参考气象业务中的查询用例对相关字段建立辅助索引,来满足业务检索时效。实验结果表明,该系统具有很好的存储能力和检索效率,入库效率最高可达每秒34000条,并且在常规查询用例的结果返回时效达到毫秒级,能够满足大规模气象数据在业务应用中对存储和查询时效的性能要求。     

基于HBase的遥感数据分布式存储与查询方法研究

遥感影像的存储与查询是地理信息处理中重要的内容,在海量遥感影像的实时处理中发挥着重要作用。针对传统的遥感影像处理中存在单节点故障、扩展性低和处理效率低等问题,提出了一种基于HBase的遥感数据分布式存储与查询方案。该方法首先采用均匀网格对遥感影像进行划分,并根据划分结果设计了一种基于网格ID和Hilbert曲线相结合的索引方案。然后,通过利用HBase的过滤机制设计了过滤列族,达到了在查询时筛选数据的目的。另外,采用MapReduce的并行处理方法对影像数据进行并行写入和查询。实验结果表明,与MySQL和MapFile相比,该方法可以有效地提高数据的写入和查询速度,且具有较好的可扩展性。     

基于HBase的大规模无线传感网络数据存储系统

无线传感网络(WSN)存在分布的跨区域性,随着无线传感网络的扩张,传感器数目增多,将产生大规模的传感数据。针对存储大规模无线传感网络数据的问题,提出了一个两层分布式存储架构,使用分布式数据库HBase存储跨区域的无线传感网络数据和全局数据存储管理目录,实现一个近实时的存储系统。实验结果证明,该系统有良好的扩展性、存储和查询效率。     

基于HBase的交通大数据存储查询平台的设计及实现

在交通数据量持续增长的影响下,传统的交通数据处理方法已经无法满足其需求,在云计算技术日渐成熟的影响下,基于交通大数据基础上,将其与Hadoop结合起来,通过对其非关系型数据库HBase进行合理运用,即可较好的实现对交通数据的存储和查询处理。     

基于HBase的QAR数据存储设计与实现

为解决传统关系数据库存储QAR数据可扩展性低、可用性差的问题,设计一种基于HBase的QAR数据分布式存储方法。根据QAR数据的特点,设计HBase表结构,将QAR参数划分为安全、航迹、燃油、发动机、预测、飞行员操作及其它共七大主题,构建基于航班号、航班日期、参数主题三者组合的MD5散列值行键结构,根据行键散列值对QAR数据值表预分区,通过行键散列机制和预分区技术相结合的两级优化策略实现QAR数据文件分布式存储。真实QAR数据集上的实验结果表明,该QAR数据存储模式能使数据均衡分布在集群中,避免了写热点和数据倾斜问题,有较高的存取性能。     

基于HBase的气象结构化数据查询优化

海量气象观、探测数据是提高公共气象服务精细化、精准化和个性化水平的关键。日增TB级的海量气象数据在存储、检索、传输、共享方面的时效性要求对构建在传统的IOE技术架构上气象数据管理系统提出了严峻挑战。在HBase基础上,提出了一个基于索引的气象结构化数据查询优化架构HBase4M（HBase for Meteorology）。首先,根据HBase存储特性设计表结构;然后,利用协处理器建立和维护辅助索引,将字段查询转化为对索引表的行键查询,使得HBase4M在具备HBase可扩展性、低延迟的特性上可以支持结构化气象数据的灵活查询。实验结果表明,HBase4M的性能可以基本满足气象服务的业务需要。     

基于HBase的大数据架构下负载平衡技术

随着气象数据规模和种类的不断增长,气象数据已经逐渐进入海量服务阶段,而基于大数据背景提供更敏捷的数据服务已经成为业务发展的迫切需求.本文针对气象中的半/非结构化数据,提出基于HBase系统的负载平衡算法和策略.在实际测试对比中发现,系统可以满足200多万个格点,100个并发的场景,查询速度在2 s以内,与未曾增加负载平...     

基于HBase和GeoTools的矢量空间数据存储模型研究

针对非结构化数据库HBase存储技术的研究,提出一种矢量空间数据存储模型,对现有的矢量空间数据格式进行转换存储,以解决云存储技术缺乏空间数据拓扑关系描述及不能直接存储矢量空间数据的问题。该模型利用了列模式和key/value映射的稀疏存储机制,并采用基于GeoTools中间件的思想对矢量空间数据展示其空间拓扑关系。在HBase集群上的实验表明,该模型克服了HBase存储技术在矢量空间数据存储方面的瓶颈,在其体现空间拓扑关系的前提下,对矢量空间数据可以直接存取和展示,提高了空间数据存储效率。     

基于RIA架构的网络监控系统的研究和实现

针对传统Web架构下构建实时性和交互性要求较高的网络监控系统时存在的不足,给出了RIA架构的技术优势.讨论基于Flex的Cairngorm框架和消息“发布/订阅”机制实现网络监控系统.通过介绍拓扑图绘制工具和实时监控图表的实现过程,说明了RIA架构构建的监控系统具有交互性好、服务端性能高、网络负载低、易于部署的优点.     

基于Hadoop平台的农产品价格数据爬取和存储系统的研究

目前许多大型农贸市场和农业信息商务平台都在实时发布每天各地区不同农产品的价格数据。针对数据更新快、数据量大、数据形式多样,使数据的爬取和存储以及后续的分析工作变得困难,提出基于Hadoop的农产品价格爬取及存储系统。利用HttpClient框架结合线程池通过多线程爬取,爬取结束后执行完整性检查,过滤出信息不完整的网页,进行二次爬取直到信息完整。对爬取到的网页使用正则表达式进行解析和清洗,提取有用的数据,以文本文件的形式存入HDFS(Hadoop Distributed File System),此后爬取到的数据以追加的方式写入HDFS文件中。实验表明HDFS的写入性能满足爬取数据不断递增的现状,副本数越少,数据块越大,写入性能越好。     

基于物联网的智能家居远程监控系统设计与实现

为了以较低成本实现家居的智能化远程监控,设计一种基于物联网的智能家居远程监控系统。采用Zig Bee、WIFI技术将家电、摄像头、控制器等组成物联网,实现对家电的远程控制和无线视频传输。以JN5139芯片为核心设计了各个Zig Bee终端节点,采用星型网络实现Zig Bee无线组网;以ARM11 S3C6410控制板为核心设计了无线视频监控模块。阐述了Zig Bee无线组网流程和数据帧结构;通过视频压缩编码,降低了视频图像的计算复杂度;采用AT命令驱动EM560 3G模块实现短信传输。系统测试结果表明:该系统Zig Bee无线组网时间约1 s左右,Zig Bee无线通信距离最大可达100 m左右,无线视频传输速率为250 Kb/s,完全满足家庭远程监控的需求。系统具有开发成本低、操作方便、功耗低等优点,具有一定的应用推广价值。     

基于XML的异构数据源查询系统设计

XML语言因其具有与平台无关、易于扩展、数据描述性(语义性)强等特点,目前己经成为数据交换的标准,基于XML的数据查询技术研究成为当前研究的一个热点.在对异构数据集成关键技术的分析和研究的基础上,设计基于XML的异构数据源查询系统,为用户提供一个统一的数据集成平台以及优质、快速的信息资源共享服务,从数据集成的层面解决当前普遍存在的"信息孤岛"问题.     

无线3G交通监控与事故防范系统的方案设计与实现

针对当前交通监控系统的诸多不足,提出一种基于无线3G的交通监控系统的方案。该系统前端监控节点可对交通视频图像以及天气状况等多种信息进行采集,并且依据相关信息分析路况,对可能出现的事故进行防范预警。节点通过3G网络传输数据,可以根据需要灵活移动。后端由多个不同功能的服务器组成,将前端的视频信息重新封包,使用RTSP协议进行传输,气象等相关数据储存在数据库中。后端结合视频图像以及气象路况信息对事故隐患进行二次判断。实验表明,该系统能够准确获取信息,达到设计要求。     

基于WFP的终端信息泄漏监控系统的研究与实现

终端信息泄漏是一个严重问题。提出一种基于Windows过滤平台WFP(windows filtering platform)的网络敏感信息监控方法。利用WFP在终端内核协议栈中的加载过滤器,在内网中对连接建立和传输的敏感信息进行监控拦截,实现敏感信息泄漏控制。实验结果表明,该方法能对内网敏感信息的泄漏有较好的监控和过滤。     

基于物联网实验室环境远程监测系统的研究

实验室环境对电子仪器及设备的使用安全和寿命以及实验室消防安全有着非常重大的影响,传统实验室环境监控需要安排人员进行24 h值班和巡检,人力投入和安装布线成本非常高;针对上述问题,采用高性能低功耗离子式烟雾传感器NIS-07和温湿度复合传感器DTH11进行环境数据的采集,采用无线网络模块完成数据的传输,并通过微处理器将采集的数据上传服务器,同时采用基于BP神经网络PID控制算法实现在线动态温湿度调控;服务器端使用Tomcat web服务器,采用MySQL数据库进行数据存储,并通过Java编程语言实现传感器数据的存储、分析、处理以及客户端数据的更新;客户端通过Web网页或APP对实验室环境进行实时监控,从而实现精确和高效的实验室环境远程集中管理.     

基于HBASE的时空大数据关联查询优化

随着数字采集和存储技术的快速发展,视频监测系统得到快速普及,以此带来了海量的监测视频数据。与文本数据不同的是,监测数据具有时空特征,如何在规模庞大且动态增长的数据量下进行高效的查询成为许多时空数据应用所关心的问题。针对云存储体系结构中监测视频大数据高效的时空联合查询需求,充分利用时空特征值和属性特征值在应用中的关联关系,以及HBase数据库在海量查询方面的优良性能,提出了基于HBase Bloomfilter的时空大数据多重过滤机制,创新性地利用视频文件特征值之间的依赖与关联关系来安排rowkey索引键。在此基础上设计出两种时空关联查询算法。最后通过实验证明了算法在时空大数据查询方面的可行性、灵活性和高效性,对其他大数据关联查询应用有较好的指导意义。