基于MapReduce物联网大数据处理框架设计

针对传统方法处理物联网中大数据时缺乏可扩展性，提出了基于MapReduce的物联网大数据处理框架，用于实现对各种形式的数据资源，包括结构化、半结构化和非结构化数据的处理，该框架为基于物联网的大数据智能应用提供了技术支持。使用K-最近邻技术来清除噪声数据；使用奇异值分解来降低数据的维数；使用模糊C均值和基于密度的空间聚类的混合技术来处理噪声数据。实验结果表明，所提出的框架具有较好的可扩展性和拟合精度，在IADL活动数据集上的准确率为98.9%。     

一种基于数据划分的字符串相似连接外存算法

字符串相似连接操作具有广泛应用,因而将着重研究基于编辑距离的字符串相似连接。而现有的字符串相似连接算法大多为内存算法。实际应用中的数据集越来越大,有必要针对超大规模数据集研制字符串相似性连接外存算法。利用组合频率向量划分数据集,并提出了基于编辑距离的字符串相似性连接外存算法框架,证明了磁盘调度问题的难度并提出了不同的启发式磁盘调度方法。此外,还提出了基于该外存算法框架实现字符串相似性连接增量式计算的方法。实验结果表明,数据划分方法可以有效地过滤不相关的数据子集;磁盘调度算法能够有效减少磁盘IO次数;外存算法是高效的;增量式计算方法能够高效地处理数据更新。     

基于磁盘的脉冲雷达信号高速记录系统

介绍了一种基于SCSI磁盘的高速、大容量脉冲雷达信号记录系统 ,详细分析了系统的的工作原理、硬件和软件设计、性能测试和应用情况。该系统能够以 2 0 0MB/s采样频率将脉冲雷达回波信号长时间连续记录到磁盘中 ,事后可对记录在磁盘上的数据进行分析和处理     

基于无监督聚类和频繁子图挖掘的电力通信网缺陷诊断与自动派单

缺陷诊断一直是电力通信领域研究的难点之一。基于人工规则的缺陷诊断已经无法应对告警数据的海量增长。基于有监督学习的智能方法需要大量的标注数据和较长的系统构建时间,且大多面向指标性数据,实现部署缺乏可行性。面向告警数据,提出一种基于无监督聚类和频繁子图挖掘实现告警归并和缺陷模式发现的自学习算法,设计了一个自动化完成缺陷诊断及处置的架构。该架构具有良好的可扩展性和迭代更新能力,并部署于实际缺陷自动派单系统中。通过真实场景数据集进行实验验证,结果显示出良好的性能表现,实现了对缺陷的及时发现及精准派单维护。     

一种基于Hadoop的多表链接策略

Hadoop系统在处理多表链接问题时,每轮都会将大量的中间结果写入本地磁盘,从而严重降低了系统的处理效率。为解决该问题,提出一种"替换-查询"方法,该方法通过对链接表建立索引,将预输出的元组集替换为索引信息输出到中间结果,以索引的形式参与多表链接,以此减少中间结果的I/O代价。运用缓冲池、二次排序和多线程技术对索引信息进行优化管理,加快索引查询速度。最后在TPC-H数据集上,设计了与原Hadoop的对比实验,结果表明该方法可减少35.5%的存储空间,提高12.9%的运行效率。     

基于硬件协议栈的网络化UPS监测系统

提出了一种以硬件协议栈芯片为核心构建的基于Internet的不间断电源(UPS)智能监测系统方案,重点分析了监测系统简单网管协议(SNMP)卡的设计以及监控系统网络数据的收发过程.该UPS监测方案通过Internet实现监控数据的交换,能保证其实时性和可靠性,组成复杂的UPS监控网络,实现了对UPS的网络化管理.利用硬件协议栈的设计保证了协议处理的快速性、数据传输的可靠性和保密性,极大地释放了协议处理过程所占用的微控制器(MCU)资源,使系统有良好的可扩展性,是一种优秀的UPS监测方案.     

基于SAN的分布式卷管理架构及实现

随着SAN存储量的增长,提出了存储虚拟化的管理技术来解决存储管理、异步平台的数据共享、存储系统的可用性和可扩展性等方面的要求。文章主要探讨了存储虚拟化的分类,给出了一个基于SAN的分布式卷管理架构,该架构将操作系统中纵向虚拟存储管理概念扩展到不同磁盘、磁盘阵列的横向虚拟化管理,并在此架构下实现了分布式快照系统,该系统解决了海量数据备份时的I/O带宽问题。原型系统分析表明,新架构可以较好地解决分布式卷管理的问题,在实施数据迁移和数据拷贝时,实现海量数据瞬间完成与瞬间恢复。     

海量地震数据并行处理系统架构优化设计与实现

随着石油勘探数据规模成指数级增长,各类应用软件系统的数据计算量和磁盘存储量也随之增加,给传统并行处理架构带来巨大挑战。提出了海量地震资料并行处理系统架构的设计与优化方案。通过分析地震资料处理过程中各软件模块对CPU、内存、本地磁盘及网络传输等硬件参数的敏感性和NFS、RPC、Buffer调优配置,实现了该集群的高效运行。实际生产应用表明,该在支持百TB级海量数据并行处理、多操作系统软件兼容问题等方面有着独特优势,有力支撑了地震资料处理业务发展。     

数据链消息处理技术

分析了数据链消息处理系统在不同阶段的发展情况和可扩展标记语言(XML)的技术特点,针对数据链消息处理系统实现与消息格式绑定过紧的问题,提出了采用XML技术进行数据链消息处理系统设计的思路,最后举例说明了该思路在数据链消息处理系统中的具体实现.该方法可提高数据链消息处理系统的可扩展性,对于开发新的数据链消息处理系统具有很强的借鉴作用.     

基于MEMS技术的微型组合导航传感系统研究

大型无人机的航姿系统、大气数据系统及惯性导航系统等导航设备因结构复杂、体积、重量大及价格昂贵等因素,无法在微型无人机(MAV)上使用.本文采用PC104嵌入式微机、MEMS集成技术、数据融合技术及GALILEO技术,实现了一种用于微型无人机的微型组合导航传感系统.以C语言及汇编语言作为系统软件的开发平台,增强了系统软件的可维护性及可扩展性.该系统集飞机航姿系统、大气数据系统、惯性导航传感器等功能于一身.实验室和现场的测试结果表明,该传感系统提高了导航精度,简化了结构,缩小了体积,减轻了重量.该系统拟用于微型无人机.