智能电网环境下电能计量大数据智能多维分析

针对目前现有的电能计量数据分析系统处理效率低下、计算周期过长和性能差等问题,设计出一套基于大数据技术的计量装置智能多维分析系统。该系统SQL分析通过Spark SQL实现,来弥补复杂HQL转换成Map Reduce任务后计算时间长的问题;数据采集预处理方面采用基于合区聚合法ETL技术,解决了传统ETL技术处理效率差的问题;多维分析方面则采用基于关联规则的What-if分析方法,解决了传统多维分析性能差的问题。实验表明,该方案具有效率高、编程简单、易操作、性能好等优点,保证了电能计量数据分析系统稳定性。     

非结构化海量网络数据处理技术研究

为实现网络化测试系统下非结构化海量网络数据的快速分析处理,在关键的算法和系统化集成处理方面提出解决方法。采用内存映射文件方式快速读取海量数据,并设计了时间矩阵算法,用以快速进行同步分析处理;应用分布式中间件方式实现海量数据的并发处理和数据分发,对飞行试验采集的网络数据进行了分析处理,使用这些算法的数据处理软件,可以使处理效率满足飞行试验海量网络数据处理的需求。这些都为新一代机载采集系统应用于飞行试验提供了技术保障。     

基于预留缓存的飞行试验iNET数据处理技术

为解决飞行试验测试系统跨代升级,网络化测试系统采集记录的海量i NET试飞数据高效处理难题,该文介绍传统的试飞数据处理软件设计思路及结构。针对新形势下飞行试验采集的海量i NET网络数据的高效处理难题,分析i NET网络数据的特点及制约飞行试验海量试飞数据高效分析处理的因素;提出预留缓存的试飞数据处理新思路及实现技术,实现飞行试验海量试飞i NET数据的高效分析及处理;最后在某试验机飞行试验中对采集的海量i NET试飞数据进行分析处理。试验表明使用这些算法的数据处理软件的处理效率满足了飞行试验海量i NET数据处理需求。     

基于WiFi数据的实时高效定位分析系统设计

近年来很多室内定位技术被提出,但是大多数技术都是重点研究怎样提高定位精准度,却忽略了系统处理海量数据的稳定性、实时性和高效性。特别是在机场高峰时段和大面积航班延误情况下,大量旅客聚集在航站楼产生了海量WiFi数据,导致传统的数据处理架构出现处理数据不及时、统计实时性差、稳定性差的问题。针对该问题设计一种高吞吐、低延迟的分布式实时数据处理架构。该架构使用消息中间件、实时流数据处理、内存并行计算和分布式数据库读写技术,实现了大客流环境下处理海量实时WiFi数据的分布式定位分析系统。通过使用模拟数据和实时数据进行多组实验测试,验证了系统在保持定位算法准确性的情况下,仍然具有稳定、实时、高效的定位分析能力。     

LAA系统在非授权频段上的动态子帧配置策略

异构网络中动态TDD技术的应用可以有效提高系统吞吐量,改善系统性能.由于受到信令控制等问题的限制,授权频段上往往只是实现传统的7种固定子帧配比之间的动态切换.而非授权频段作为工作在授权频段上LTE系统的一个补充,不用考虑信令控制等问题,可以实现更加灵活的完全动态子帧配置.提出了两种非授权频段上的动态子帧配置算法,并与传统的静态子帧配置进行比较,通过LAA系统级仿真平台验证动态子帧配置算法对系统性能的影响.仿真表明,提出的两种动态子帧配置算法可以有效提升资源利用率,提高系统整体吞吐量.     

基于粗糙集的海量数据挖掘算法研究

针对传统数据挖掘算法在数据量级方面的局限性,提出在粗糙集理论的基础上,采用类分布链表结构改进传统的基于属性重要性的数据离散化算法、属性约简算法以及基于启发式的值约简算法;讨论了基于动态聚类的两步离散化算法,当算法适应大数据处理之后,采用并行计算的方法提高算法的执行效率。算法测试结果表明改进的算法能有效地处理大数据量,同时并行计算解决了大数据量处理带来的效率问题。     

靶场遥测数据处理方法的分析研究

研究靶场遥测数据处理现状,分析遥测数据分路、对接和大数据量处理三方面存在的问题,提出构建基于网络数据库的遥测处理系统,采用数据压缩技术,更新数据分路理念,改变数据对接方式,并应用实测数据进行处理和验证,对缩短数据处理周期,提高结果数据精度及软件的通用性设计具有重要意义。     

基于粗糙集的海量数据挖掘算法研究

针对传统数据挖掘算法在数据量级方面的局限性,提出在粗糙集理论的基础上,采用类分布链表结构改进传统的基于属性重要性的数据离散化算法、属性约简算法以及基于启发式的值约简算法。讨论了基于动态聚类的两步离散化算法,当算法适应大数据处理之后,采用并行计算的方法提高算法的执行效率。算法测试结果表明,改进算法能有效地处理大数据量,同时并行计算解决了大数据量处理带来的效率问题。     

基于IEEE802.11的星间链路最短接入时延退避算法

为满足空间信息网络低轨卫星用户多址接入骨干中继卫星的访问需求,基于IEEE 802.11机制,提出最短接入时延退避算法（Delay-Optimal Backoff,DOB）,可解决大时空尺度条件下,传统二进制退避算法（Binary Exponential Backoff,BEB）造成的网络平均接入时延高和吞吐量低的问题.根据用户卫星与中继卫星的相对位置特性,设定中继卫星通信窗口,利用通信窗口内不同用户卫星数量时用户接入时延与平均接入请求概率的变化关系,确定最短接入时延条件下用户平均接入请求概率,实现动态调整碰撞窗口大小.研究结果表明,该算法使网络接入时延较BEB算法平均降低了10s,饱和吞吐量提升一倍,归一化业务量阈值比BEB算法增加至0.6,网络多址接入性能显著提高.     

基于CN56xx网络处理器的网络控制器的研究

在网络处理器的平台上开发了用户管理控制系统,用于对用户上网内容和行为进行监控。网络处理器是可编程的高效网络数据处理芯片,网络控制器是用户管控系统中用于过滤数据的器件。通过实验,在硬件方面使用优化流水线这一高效的芯片处理数据的方法来提升数据处理效率,在软件方面通过使用不同的算法来优化性能,这些算法包括流过滤算法、潜在语义索引算法和IP碎片处理技术。实验结果表明,基于网络处理器的网络控制器在根据过滤和转发规则对数据过滤和转发时准确率高,速度快,非常好地达到了对用户上网内容和行为监控的效果。     

基于TimeGAN和多臂老虎机的WMN接入模式选择方法

无线Mesh网络是一种多跳网络,与传统无线网络不同,它融合了无线局域网WLAN和Ad Hoc网络的优势,具有易组织、高速率和自愈性等优点。由于无线Mesh网络存在负载高、不均衡业务以及业务突发性高等特性,直接在无线Mesh网络中应用传统无线自组网的经典接入算法可能会导致网络性能下降,包括丢包率偏高、吞吐量不足、端到端时延无法得到保障等问题。基于此,提出了一种基于时间序列生成对抗网络(Time-series Generative Adversarial Networks, TimeGAN)与和多臂老虎机(Multi-Armed Bandits, MAB)的无线Mesh网络接入模式选择方法,该方法使用TimeGAN生成无线Mesh网络中Mesh节点的时间序列数据,并将其用于预测不同接入模式下的网络性能;然后,使用多臂老虎机算法选择最佳的接入模式,以实现最优的网络性能。在使用具体硬件搭建的无线Mesh网络中进行了实验,结果表明所提出的方法具有显著的优势和实用性,对于提高无线Mesh网络的性能具有重要意义。     

大数据分析平台——从扩展性优先到性能优先

认为现有以Map Reduce/Spark等为代表的大数据处理平台在解决大数据问题的挑战问题方面过多考虑了容错性,忽视了性能。大数据分析系统的一个重要的发展方向就是兼顾性能和容错性,而图计算系统在数据模型上较好地考虑了性能和容错能力的平衡,是未来的重要发展方向。     

单兵作战系统中信息监听冲突消除技术研究

针对当前单兵作战系统通信网络中所采用的固定分配TDMA算法不能适应大型战场环境和自组织运行需求的问题,提出一种基于消费算法和二叉树时隙分配算法的动态时隙分配TDMA算法,即C-TDMA算法,通过多组载波监听消除接入冲突,在保证延时的基础上使用消费算法控制节点分组发送量,提高信道接入公平性,同时通过二叉树时隙分配算法支持网络分布式运行。仿真结果表明,对于负载较重、传输混合业务且时延敏感的单兵作战系统网络,该算法可以消除接入冲突,提高信道吞吐率。     

电网统一视频监控平台分布式部署架构研究与实现

在提升视频监控信息资源共享利用水平的同时,电网统一视频监控平台系统及网络负载均不断提高。本文分析了电网统一视频监控平台集中式部署关键性能影响因素,并通过分布式部署解决了多用户并发访问、视频接入量扩大给系统带来高负载、大视频量问题,为系统的深化应用及后续扩大视频点接入提供了保障。     

一种利用优先经验回放深度Q-Learning的频谱接入算法

针对认知无线传感器网络中频谱接入算法的频谱利用率不高、重要经验利用率不足、收敛速度慢等问题,提出了一种采用优先经验回放双深度Q-Learning的动态频谱接入算法。该算法的次用户对经验库进行抽样时,采用基于优先级抽样的方式,以打破样本相关性并充分利用重要的经验样本,并采用一种非排序批量删除方式删除经验库的无用经验样本,以降低能量开销。仿真结果表明,该算法与采用双深度Q-Learning的频谱接入算法相比提高了收敛速度;与传统随机频谱接入算法相比,其阻塞概率降低了6%~10%,吞吐量提高了18%~20%,提高了系统的性能。     

不同维传感器的状态估计技术

为改善多传感器系统的状态估计性能,针对各传感器在测量数据联合处理时出现的测量周期不同,导致测量数据不同步的问题,采用数据压缩滤波的方法,使信息同步;由于各测向传感器仅测得目标的方位信息,采用将处理中心的状态估计和预测协方差阵反馈给各测向传感器的数据处理算法,减小各测向传感器局部估计的协方差阵,从而有效地提高系统的估计性能。仿真结果表明,利用提出的方法可使系统达到较好的估计效果。     

云计算分布式缓存技术在海量数据处理平台中的应用

随着云计算和大数据时代的到来,在满足用户对系统访问量、访问速度、访问安全的要求的同时,系统必须实时准确地处理迅猛增长的海量数据,而传统的缓存技术无法满足海量数据处理和用户高并发访问的需求.分布式缓存技术是最好的高性能缓存解决方案.本文研究如何利用云计算下分布式缓存技术在海量数据处理平台中解决该问题,分析研究了分布式缓存的关键技术、分布式缓存的一致性和分布式内存数据管理.在此基础上,分析并设计了分布式缓存系统的部署和整体架构.并将该分布式缓存系统的设计模式应用在某团购网上,进行了POC测试.测试结果证明分布式缓存技术可以缓解服务器的压力,解决海量数据和超高并发数据访问所带来的问题,提升了系统的性能、访问速度、可靠性以及降低响应延迟.     

基于云计算的数据挖掘系统设计

为了高效、快速地解决呈指数增长的数据处理问题,提高数据储存、运算能力,文中提出了基于云计算的数据挖掘系统的设计。该系统首先分析了主流云计算平台Spark的组件构成和运行机制,深入研究其计算架构的编程原理。同时利用Spark进行了C4.5算法和K-medoids聚类算法的并行化设计,有效提高算法的运行速度、收敛速度和结果的稳定性。测试表明,在进行海量数据的分析处理时,文中提出的云计算平台在分类误差内,可有效提高整体系统的运算速度,分类效率也大幅提高。     

一种基于多主体模糊知识交换的动态网络路由方法

路由是通信网络中重要的研究课题,但对于高度动态网络环境,现有的许多路由方法仍存在一些局限性。本文将多Agent(主体)迁移合作系统应用于解决动态网络路由问题,提出了基于模糊知识的多Agent合作模型和用于计算路由的基础合作算法,并讨论了影响系统的几个关键因素。通过对动态网络仿真的试验研究,分析了系统的性能开销特性和合作策略。研究结果表明,所提出理论模型和算法适合于解决动态网络的路由问题,并且能提高路由系统的响应性能。     

基于国产芯片的E1接口重构技术研究与实现

接入路由器中接入板的FPGA和CPU等关键元器件采用国产化芯片,控制数据和业务数据分布式协同处理,同时对板卡进行模块化设计,使得更改接口模块和加载不同程序实现设备的静态重构。采用两片FPGA既能弥补国产芯片性能的不足,也使得不同接入板数据处理模块易于隔离。介绍了接入板的整体设计思路、所要解决的问题和软硬件设计方案,并对CPU、FPGA和接口模块间的通道进行配置。经过测试,E1板卡能很好的完成数据的收发处理。