基于选择性加载策略的电能质量数据处理

根据电能质量系统中监测数据海量化的趋势,提出了一种基于部分存储和选择性加载的数据处理算法,彻底解决了现有数据处理算法中重复排序和多余处理的问题。在计算日指标时,根据存储率存储部分日排序数据;在计算周(月、季、年)指标时,利用多路归并算法将存储的部分日排序数据合并,计算出临时95概率大值(CP95);根据临时CP95确定需要重载的日数据,对部分存储的日数据和重载数据重新排序以计算稳态指标。部分存储的日排序数据可以重复利用,有效解决了传统处理方案中的重复排序问题;排序过程中只需读取部分日排序数据和少量重载数据,有效解决了传统处理方案中冗余处理问题。与传统的数据处理方法做测试对比,结果表明:日采样数据较小时,性能提升3倍以上;日采样数据超过2880时,性能提升15倍以上。数据量越大,性能提升越明显。所提方案已在山西、河北等监测系统中成功应用,实践证明所提方案正确、有效。     

移动通信网络路测数据的可靠性分析方法研究

通过对电子地图、基站信息和无线传播特点的研究,提出了一种移动通信网络路测数据的可靠性分析方法.该方法首先提取对地理单元进行聚类分析的属性,然后采用数据挖掘中Birch 算法和K-means算法对地理单元进行聚类分析.最后,引入抽样理论中的整群抽样和二阶段抽样,给出了分析路测数据可靠性的方法.     

基于Hadoop的农产品安全监控平台的设计

针对当前传统数据库已经不能满足海量农产品安全监控信息的存取及处理需求,借鉴Hadoop平台的分布式文件系统和Map/Reduce并行计算方法设计了农产品安全监控平台的框架,在此基础上,提出了一种用于监测农产品各项指标的Map/Reduce算法;最后通过Linux集群技术,搭建了一个基于Hadoop的农产品安全监控数据存储处理实验性平台,该平台能够有效地对海量农产品数据进行及时存储与处理。实验最终结果表明,相比传统的数据库,该平台能够大幅提升海量农产品数据的吞吐率及数据处理性能,由此验证了平台的合理及有效性。     

基于Hadoop框架的MapReduce计算模式的优化设计

对某高校教学资源平台的海量日志进行了分析,将传统单机分析处理模式,转变为Hadoop框架下的MapReduce分布式处理模式。MapReduce采用分而治之的思想,很好地解决了单机对海量数据处理产生的瓶颈问题。通过分析Hadoop源码的使用,认真研究MapReduce对海量数据处理作业流程分析,提出了MapReduce分布式作业计算的优化策略,从而更好地提高了海量数据的处理效率。     

PostgreSQL与MongoDB处理非结构化数据性能比较

互联网技术的发展产生的海量非结构化数据在传统关系型数据库中难以被高速有效地进行存储和处理,各类NoSQL数据库可以有效存储处理非结构化数据,但是对关系运算功能的弱化难以满足应用场景的需求。具备非结构化数据处理能力的新型关系型数据库提供了适用多种应用场景的高效存储方式。为了能够定量地比较关系型数据库和面向文档的NoSQL数据库的数据存储与处理能力,比较了PostgreSQL的hstore数据类型和MongoDB的内嵌文档对非结构化数据的储存方式,并通过非结构化数据的批量加载、磁盘占用、主键查询、非主键查询、地理空间坐标查询等方面的对比来以分析性能特征与适用场景。     

WCDMA中RF优化及路测数据分析方法

WCDMA网络是目前在用的主流网络,WCDMA的网络优化对用户和运营商有重要作用。RF优化是WCDMA网络优化的主要部分之一。RF优化主要结合路测数据进行。因此,本文通过对RF优化流程及路测数据分析方法的分析,提出路测的主要的KPI指标,并对弱覆盖、导频污染、邻区漏配和切换问题等常见的网络优化问题进行分析。     

WCDMA中RF优化及路测数据分析方法

WCDMA网络是目前在用的主流网络,WCDMA的网络优化对用户和运营商有重要作用。RF优化是WCDMA网络优化的主要部分之一。RF优化主要结合路测数据进行。因此,本文通过对RF优化流程及路测数据分析方法的分析,提出路测的主要的KPI指标,并对弱覆盖、导频污染、邻区漏配和切换问题等常见的网络优化问题进行分析。     

关键参数快速处理单元在飞行试验中的应用

用于飞行试验的传统数据处理模式及流程的时间大致是飞行时间的1.5~2倍,这种数据处理模式已经严重制约了型号的试飞效率;针对新一代试验机测试参数海量数据快速处理的需求,介绍了具有自主知识产权的关键参数快速处理单元的设计研制思路,以及在新型号飞行试验过程中关键参数快速处理单元的应用情况,实现了能对1 200路试飞关键参数数据实时处理,达到试飞结束后及时获得试飞关键参数结果的目的。     

基于Hadoop的海量电费数据处理模型

随着电费数据量的快速增长,某特大型集团公司财务管理信息系统传统的电费数据处理模式已经成为系统的性能瓶颈. Hadoop是一个可实现大规模分布式计算的开源框架,具有高效、可靠、可伸缩的优点,被广泛应用于海量数据处理领域. 本文在对电费业务和Hadoop进行分析和研究的基础上,提出了电费数据新的处理模型,建立了基于Hadoop和Hive的电费明细数据处理平台. 实验证明该模型可以有效解决目前海量电费数据处理面临的性能瓶颈,提高电费数据处理的速度和效率,并且可以提供高性能的明细数据查询功能.     

基于WEB的分布式试飞数据处理系统结构设计

介绍了一种基于WEB架构,面向飞行试验各类海量测试数据处理应用的分布式事后数据处理网络系统的设计结构;用户可以方便地通过WEB浏览器,建立自己的数据处理任务,定义需要处理的参数、时间段等,由系统网络调度服务器群集和分布式计算服务器群集共同完成数据处理任务;系统能够满足多用户对海量数据的快速处理要求,提供了多功能的分析处理工具,实现了海量试飞数据的集中管理,分布式应用,网络计算资源的分配和调度等,避免了对海量试飞原始数据的拷贝,分发或无序共享等应用,解决了困扰已久的海量非结构化数据的统一管理和处理的问题.     

网络安全关键字搜索驱动数据备灾测试系统

传统数据处理系统在测试网络安全关键字搜索驱动备灾数据时,花费成本高、测试精度低、误差率高。为了解决上述问题,设计一种新的测试系统,分别对系统硬件和软件进行设计,系统硬件主要由采集器、处理器、存储器、传输器组成,采集器选取PL3200采集芯片,实现多功能采集;处理器选用SOC处理器,能够同时处理多类型数据;存储器选用的是STM32存储器,降低系统工作延时;传输器采用HDMI传输器,提高系统兼容能力。软件由安全数据划分、测试计划编写、测试环境构建以及测试结果检测四部分组成。为检测系统性能,与传统系统进行了实验对比。实验结果表明,所设计的测试系统的平均相对误差比传统测试系统低10.09%,系统花费成本比传统测试系统节约了近1500千元。由实验结果可得所设计的备灾测试系统能够有效降低成本、减少误差率。     

一种多扫描链混合测试数据压缩方法

针对集成电路测试数据量大、测试应用时间长和测试结构复杂等问题,提出一种多扫描链的混合测试数据压缩方法。对于含无关位较多的测试向量,使用伪随机向量产生器生成。对于含无关位较少的向量,则直接使用自动测试设备存储。将该方法与另一种基于扫描阻塞的测试方法进行比较,理论分析和实验结果表明,该方法对数据的压缩效果优于单纯用伪随机方式的扫描阻塞测试方法。     

直升机尾传动轴系的非线性刚度参数辨识方法

提出了基于测试数据来识别尾传动轴系非线性刚度参数的方法。首先,对尾传动轴系进行低幅值激励下的模态测试,并建立尾传动轴系的简化模型,与试验结果对比验证模型的准确性。然后,对尾传动轴系开展不同激励水平下的步进正弦扫频测试,基于测试频响函数得到固有频率随位移幅值的变化关系。对建立的尾传动轴系简化模型进行有限元迭代计算,可以识别出固有频率随等效刚度的变化关系。最终建立起尾传动轴系等效刚度与位移幅值的关系,识别出尾传动轴系的非线性刚度参数。     

基于自动路测系统的数据业务评估与优化

现有自动路测系统依托对城市网格化的管理手段,通过前、后台结合,有效地实现了三大运营商多项业务的测试与分析,完全取代了以往人工执行第三方测试工作,达到了实时进行网络质量评估监控的目的,实现了由集团到省公司从上至下测试数据共享,并通过分时管理方式达到资源利用率最大化的目的,为集团各期网络质量考核提供了重要的支撑,本文就自动路测系统在数据业务中测试评估、优化分析等方面的应用进行详细介绍.     

基于信息融合的移动通信网络优化分析系统

现有移动通信网络路测软件不能提供网络所在地的地形地貌信息,存在着网络路测数据与实际地理环境信息脱节的问题.针对该问题,提出了一种能够将现有路测软件和Google Earth所提供信息进行融合的方法,开发出了集成式的网络优化分析应用系统.该系统能将路测数据、基站分布数据、信号覆盖数据、网络地理环境、通信质量投诉数据进行整合,提供了可视化、直观的网络优化分析工作环境,实验结果表明,该系统能有效地提高网络规划及优化工作的质量和效率.     

某式某型高超声速风洞连续变攻角测力试验测试系统研制及关键技术研究

在某式某型高超声速风洞开展了连续变攻角测力试验技术研究,针对性地建立了某式某型高超声速风洞专用的连续变攻角试验软硬件测试系统,完成了模型攻角的实时测量、滤波截止频率和机构运行角速度择选、多类信号高速连续采集、信号相关性研究和数据同步修正、专用数据采集和处理软件研制等多项研究内容。该项技术通过了多轮动态试验验证,从试验结果可以看出,同阶梯变攻角试验方式相比,某式某型高超声速风洞连续变攻角试验技术缩短了约2/3的试验时间,大幅节约了气源,有效地减小天平温度效应,获取了更丰富的试验数据,达到了预期的研究目的,实现了某式某型高超声速风洞连续变攻角测力试验技术的工程化应用,可用于大多数测力试验。     

基于驱动程序的协议栈设计

提出了一种新的协议栈设计思路———基于驱动程序的协议栈设计。在对比传统的协议栈设计方式———基于任务的协议栈设计的基础上 ,说明了其优点为可减少实时操作系统保存和恢复任务上下文的次数、数据和控制信息更简单的在层与层之间传输 ,给出了协议栈设计的基本框架。     

无线通信网络优化的自动路测系统设计

由于传统的无线通信网络优化工作中数据的采集和回传困难,并且浪费资源,因而设计出一种基于嵌入式系统的自动路测系统.该系统主要由通信模块GR47和PC/104主机板组成,采用MontaVista Linux专业版进行内核、文件系统的剪裁.系统在无人监守情况下可通过无线网络自动接收监控中心任务调度数据进行指定业务测试,并实时采集、回传大量可靠有效的测试数据.     

基于龙门结构的风洞流场校测架测控系统设计与应用

针对大尺度试验段流场性能测试要求,设计了龙门结构校测架装置,满足流校试验多种支撑状态;配套的双伺服同步驱动与自动控制系统,使上、下丝杠连接板带动排管架或翼型支架做高精度同步定位控制;测量系统完成所有流场测量任务,测试数据准确,达到规范要求。为类似应用提供了高性价比的测控系统解决方案。     

基于ATLAS语言的某型信号处理机测试应用研究

提出了模块驱动的方法,将对设备的测试部分作为底层的驱动模块,利用上层人机交互界面来完成驱动和测试过程,利用人机交互界面来提高了ATLAS测试程序的人机交互性能,克服了ATLAS语言本身人机交互难的问题。实践证明,这一方法不仅发挥了ATLAS语言测试良好的测试性能,而且极大地方便了用户的使用,充分满足了用户的需求,取得了良好的测试效果。