基于HBase的配用电海量时序数据存取研究

针对配用电海量时间序列数据,目前南方电网普遍采用关系型数据库进行存储,在技术上使用分库、分区、分表、联合索引等方式进行优化,灵活性、可扩展性、存储量等方面都存在问题。为满足配用电海量时间序列数据的存储要求,分析了关系型数据库优缺点,提出采用分布式数据库HBase构建电力系统数据中心以提高系统性能,并重点分析了HBase数据存储机制及实现方法,最后通过仿真实验进行对比。实验结果表明,基于HBase的配用电海量时间序列数据存取技术在存储及查询操作上具有较大的性能优势。     

基于HBase的数值预报产品存储检索应用

数值预报产品数据快速增长,传统的关系型数据库对其存储和管理能力不足,查询规模较大的历史数据时效率较低。鉴于此,基于HBase设计了分布式的数据存储模型,应用Map Reduce将数值预报产品解码信息存入HBase,并将解码得到的要素GRIB文件写入HDFS。因HBase对Rowkey的一级索引支持较好,而对多条件查询支持不足,需辅助Solr索引加以优化。HBase接收数据时自动触发协处理器同步记录到Solr,实现了HBase的二级索引。测试结果表明,最快入库速度可达每秒16145条,数据检索结果返回时效达到毫秒级,能够满足业务应用中对数值预报产品存储和检索时效的要求。     

基于Hadoop平台的岗位推荐系统设计

针对当前学生择业难而学校人才培养无法满足当前社会实际需求的问题,提出基于Hadoop平台的大数据就业岗位推荐系统。该系统利用爬虫技术爬取互联网招聘网站上的海量岗位信息,并对岗位信息进行整理、清洗、分析,HBase作为数据存储,将数据制作成图表,给用户直观体验;根据用户提供的用户技能为用户筛选出合适的岗位,实现岗位的精确推荐。     

网络安全隔离与信息交换技术的系统分析

随着当前网络技术的不断发展,信息安全问题变得十分突出.因此,采取积极措施保障信息交换的安全性和实效性显得尤为重要.通过对分析信息安全和信息交换问题的分析,网络安全隔离和信息交换技术应运而生.网络安全隔离与信息交换这种技术最先来源于隔离卡技术,它通过物理隔离,最大限度地防止外界网络的攻击,保证了网络数据的安全性.本文首先系统分析了网络安全隔离与信息交换技术的优越性,进而指出了隔离交换技术的主要内容,最后提出了网络隔离交换技术的系统框架     

基于大数据的信息安全处理技术的分析研究

为了解决传统技术手段效率低下的问题，可以采用以大数据为基础的信息安全处理技术来分析数据。文中首先介绍了计算机大数据的概念，然后对当前计算机大数据存在的安全问题进行了分析，最后介绍了信息安全处理技术，以提高计算机大数据处理的安全性。为解决大数据处理所带来的信息安全问题，文中以大数据为基础搭建了信息安全保障系统。该系统通过以防火墙技术和IDS（Integration Detection System）技术为核心的信息安全技术来保证数据传输过程中不会出现因病毒攻击、黑客攻击等而产生的风险。信息安全技术使用防火墙对信息和程序进行隔离处理，IDS 技术可以对信息数据进行安全处理。借助以防火墙技术和IDS技术为核心的信息安全处理技术，利用计算机大数据加密技术、密钥技术和备份技术，解决了信息采集、存储、挖掘等数据处理过程中的信息安全问题。     

数据处理器串行通信板的设计改进

以某雷达数据处理器串行通信为应用背景,设计了一种可靠隔离型RS-422通信接口保护方案。方案中采用了增加光电耦合器进行信号隔离,使用TVS,PTC等元器件组成旁路保护,以增强串行通信中的抗干扰的能力。经过环境试验和实际使用验证,该方案很好地解决了数据处理器串行通信中的串行接口损坏问题。     

基于HBase跨行事务功能的研究

随着HBase分布式数据库的广泛应用,大量基于HBase的应用越来越多,但是由于HBase本身不支持跨行事务性的功能,所以在传统应用向分布式HBase迁移中,会出现功能不兼容问题。文章研究了HBase的实现原理,在其基础上修改原代码,实现了跨行事务性的功能,并对其进行了试验,对比修改效果。     

基于HBase数据分类的压缩策略选择方法

为解决现有的HBase数据压缩策略选择方法未考虑数据的冷热性,以及在选择过程中存在片面性和不可靠性的缺陷,提出了基于HBase数据分类的压缩策略选择方法。依据数据文件的访问频度将HBase数据划分为冷热数据,并限定具体的访问级别;在此基础上增加评估层,综合考虑基于相邻区和统计列的选择方法,提出基于数据访问级别的压缩策略选择方法。仿真实验及结果表明,提出的压缩策略选择方法不仅节省了存储空间,还大大提高了数据查询的性能。     

基于张衡一号卫星HBase数据库的入库方法研究

海量卫星监测数据不断增大,为提高HBase数据库的入库效率,本文以张衡一号卫星空间电场探测仪ULF频段数据为例,进行基于HBase数据库的入库方法研究,将HBase提供的多种入库方法进行对比实验,提出了将HBase API方法和Ma-pReduce Bulk Load方法结合的方案,来满足不同数据量的入库需求,为张衡一...     

基于HBase跨行事务功能的研究

随着HBase分布式数据库的广泛应用,大量基于HBase的应用越来越多,但是由于HBase本身不支持跨行事务性的功能,所以在传统应用向分布式HBase迁移中,会出现功能不兼容问题。文章研究了HBase的实现原理,在其基础上修改原代码,实现了跨行事务性的功能,并对其进行了试验,对比修改效果。