基于内存映射的试飞iNET数据快视分析技术

飞行试验网络化i NET测试系统正逐渐取代传统的PCM测试系统,成为当前飞行试验测试系统的主要架构;试飞网络化测试的单架次i NET试验数据激增,为了满足采用新一代网络化测试系统架构的飞行试验工程对海量试飞测试i NET数据的即时处理需求,针对试验i NET网络数据的特点,采用了基于内存映射的海量试验数据快速存取及定位方法,设计了试飞i NET数据快视分析技术,实现了飞行试验i NET数据的动态快视,解决了海量i NET试验数据即时处理难题,满足了现代飞行试验i NET数据即时处理需求。     

基于Hadoop的轴承监测海量数据的存储与管理

针对高速机车转向架滚动轴承监测数据的格式多样化、数据量激增带来的管理和存储问题,在分析监测数据特征和数据量大小的基础上,构建了树形索引结构对滚动轴承状态监测海量数据进行管理。利用研究所当前的软硬件环境,搭建了分布式集群系统存储海量监测数据,并对集群系统在存储和管理海量数据时的可用性和稳定性进行了探讨。通过对实际数据的测试和分析,结果表明基于树形索引结构的分布式集群系统能在一定程度上满足滚动轴承状态监测非结构化海量数据存储和管理的要求。     

区域医疗领域大数据应用系统测试研究

针对区域医疗大数据应用系统海量数据、高并发和系统扩展性强等特点,建立了区域医疗大数据应用系统测试体系,包括功能测试、易用性测试、兼容性测试、扩展性测试、安全性测试和压力测试,重点研究了测试环境搭建、测试体系、测试方法、测试流程,从而对改善区域医疗大数据应用软件系统应用效果进行指导。     

基于异构数据库的海量数据查询系统设计

多种快速发展的应用产生了海量的数据,使得数据结构多样化,导致在异构数据库系统中数据的存储和查询方式不统一。文章设计了基于分层思想的异构数据库的海量数据查询系统,提出查询分发策略并通过Map Reduce并行计算实现了海量查询子结果的汇聚,最后对该系统的有效性进行测试,结果表明:系统实现了统一数据格式的联机查询目标,性能表现良好,提升了查询的精度和效率。     

基于预留缓存的飞行试验iNET数据处理技术

为解决飞行试验测试系统跨代升级,网络化测试系统采集记录的海量i NET试飞数据高效处理难题,该文介绍传统的试飞数据处理软件设计思路及结构。针对新形势下飞行试验采集的海量i NET网络数据的高效处理难题,分析i NET网络数据的特点及制约飞行试验海量试飞数据高效分析处理的因素;提出预留缓存的试飞数据处理新思路及实现技术,实现飞行试验海量试飞i NET数据的高效分析及处理;最后在某试验机飞行试验中对采集的海量i NET试飞数据进行分析处理。试验表明使用这些算法的数据处理软件的处理效率满足了飞行试验海量i NET数据处理需求。     

非结构化海量网络数据处理技术研究

为实现网络化测试系统下非结构化海量网络数据的快速分析处理,在关键的算法和系统化集成处理方面提出解决方法。采用内存映射文件方式快速读取海量数据,并设计了时间矩阵算法,用以快速进行同步分析处理;应用分布式中间件方式实现海量数据的并发处理和数据分发,对飞行试验采集的网络数据进行了分析处理,使用这些算法的数据处理软件,可以使处理效率满足飞行试验海量网络数据处理的需求。这些都为新一代机载采集系统应用于飞行试验提供了技术保障。     

一种海量军事信息的数据云管理系统

采用云计算的思想与技术平台,针对军事数据海量和异构的特点,研究了网络环境下跨域、异构、动态、海量数据组织与服务提供等关键技术,构建了对海量军事数据云存储的管理系统.测试结果表明,该系统能较好地解决海量军事数据云的分布式存储、透明访问和并发处理等问题,为民用技术在军事上的应用进行了有益的探索.     

学科专业文献数据分析处理系统功能架构设计与实现

针对已有方法用于揭示海量文献数据背后的隐性关联知识的效果不甚理想的现状，设计了支持对海量文献数据进行数据清洗、语义揭示、深度处理和高效分析的系统功能架构。针对数据的分析过程设计PM模型，选取PC-value、Density和ASS作为数据处理算法。选取样本文献数据对系统的功能框架和过程模型进行多维测试。测试结果表明，系统功能架构合理，数据处理逻辑关系清晰，结果控制和输出效果良好；PM模型的关联链条清晰，聚类效果显著，揭示的演化路径规律明显，系统功能框架和PM模型测试结果均达到预期效果。     

LTE-Advanced网络Uu接口用户行为分析系统的研究与实现

大数据时代,面对海量且复杂的结构化、半结构化和非结构化数据,传统的信令监测分析系统无法快速准确地分类、处理以及存储海量数据中包含的信息.针对这些问题,提出了一种基于Hadoop系统技术平台和支持向量机(Support Vector Machine,SVM)分类算法的LTE-Advanced网络Uu接口用户行为分析系统.对用户行为分析系统的系统架构、在Hadoop平台下数据挖掘分类算法SVM的实现进行了详细阐述,并通过Uu接口进行了现网测试,测试结果表明,提出的用户行为分析系统达到了预期的效果,对用户偏好分析以及精准营销具有推广意义.     

云计算分布式缓存技术在海量数据处理平台中的应用

随着云计算和大数据时代的到来,在满足用户对系统访问量、访问速度、访问安全的要求的同时,系统必须实时准确地处理迅猛增长的海量数据,而传统的缓存技术无法满足海量数据处理和用户高并发访问的需求.分布式缓存技术是最好的高性能缓存解决方案.本文研究如何利用云计算下分布式缓存技术在海量数据处理平台中解决该问题,分析研究了分布式缓存的关键技术、分布式缓存的一致性和分布式内存数据管理.在此基础上,分析并设计了分布式缓存系统的部署和整体架构.并将该分布式缓存系统的设计模式应用在某团购网上,进行了POC测试.测试结果证明分布式缓存技术可以缓解服务器的压力,解决海量数据和超高并发数据访问所带来的问题,提升了系统的性能、访问速度、可靠性以及降低响应延迟.     

基于PHY的网络的监听

针对以太网,在不降低网络安全性并且以透明的形式存在于网络节点中的情况,介绍了一种基于端口物理层(PHY)和ARM的网络监听方案。系统使用网络PHY芯片接收底层网络数据,通过MII总线传给ARM嵌入式处理器,由ARM处理器存储及解析网络数据包,实现了一种灵活的网络监听工具。获得的数据可以显示在LCD显示器上或通过USB接口发送给上位PC机.该系统不仅集成度高,运行高效稳定,并且功能的升级十分方便。     

基于垂直行业场景的5G网络综合评估研究

本文详细介绍了一种基于垂直行业场景的5G网络综合评估方法,利用大数据手段将海量的用户数据和行业场景数据进行降维、映射和加权处理后,转换成为场景级直观数据,并以网络性能和用户趋势构建评估分析体系。该评估体系输出的是一个可靠的量化结果,每一个应用场景都有一个专属结果,通过分析每个场景中用户发展趋势和网络性能状态得到平衡关系,能够为5G网络的规划建设、市场拓展、维护优化等工作提供方向指引和数据支撑。     

基于特征选择的战场数据处理技术研究

面向现代战场中各类感知设备产生海量实时数据,消除冗余及无关数据是提升信息质量,降低军事信息系统资源开销的关键技术。提出了一种基于特征选择的数据降维方法,实验结果表明该方法能够大幅消减噪音数据,有效提升信息质量,降低系统开销,适用于现代战争环境。     

基于大数据和AI的网络效能评价体系

为了解决现有维护人员效率低、配置和结构不合理的突出问题,中国联通山东分公司采用大数据分析和AI智能算法等创新手段,构建基于网络资源、业务收入、用户规模、地理分布等多维度立体网络维护效能标杆模型,建立科学的网络维护效能量化评价体系,重构和增强网络线队伍能力,引领整体维护效率的提升,实现降本增效.     

On-line estimation and location of non-technical losses in a distribution system

Remote diagnosis of electrical distribution networks contributes greatly to their global performance, obviously on technical grounds, but also on 3 economic factors: 1) the reduction of technical losses through a detailed knowledge of all energy flows at various nodes of the network; 2) the optimization of investments and of operational costs through precise information on the network status and its operation conditions and 3) the improvement of the energy dependability (availability and quality) through close monitoring of the energy delivery conditions and the identification of the possible need for correction and their most efficient locations. There is a fourth economic factor, relevant for distribution companies: the reduction of total losses through the reduction of the non-technical losses. This paper demonstrates for the first time a method to calculate and locate on-line the non-technical losses in a distribution system. All these factors largely justify the implementation of a DMS system including a corporate IT platform to feed data from the GIS (or other information systems, NIS, etc.) on a central data base repository and the means to capture and maintain the model data.     

基于入侵监测的网络信息安全管理技术

针对网络安全面临非法入侵威胁、实时防御性差的问题,文中研究和分析了基于入侵监测的网络信息安全管理技术。通过在现有网络模型中增加入侵监测模块,将网络信息采集、信息处理和信息分析3个模块相结合进行入侵监测。为提升入侵监测的准确率,利用基于数据降维的决策树方法对异常数据进行识别,有效实现不同类型的异常数据监测。系统验证表明,所提出的入侵监测方法对于不同类型的入侵均有较好的监测效果,比现有算法提高了约8%。     

基于互联网思维的网络质量保障支撑系统设计

烟囱式专业分工是网络发展的必然产物,但一个业务场景会被分为建设专业、无线专业、核心专业、传输专业等,导致本为一体的网络运维质量保障被多个专业切割,跨专业的问题分析和协作沟通的成本变得巨大。本文提出了一种基于互联网思维设计的全程化、自动化网络质量保障支撑系统,从网络数据监控、线上问题定位、各专业协作、自动滚动更新进度与指标,各环节都在统一平台上流转,并且可被各专业成员订阅关注,实现大众监督效果。通过这样的网络质量保障支出系统,网络运维中的指标、工作进度等信息均被透明化,消除多专业分工引发的信息不对称,降低跨专业协作沟通成本,实现低成本与高质量的网络运维。     

基于粗糙孤立点检测的安全风险分析方法

Security is a nonfunctional information system attribute that plays a crucial role in wide sensor network application domains. Security risk can be quantified as the combination of the probability that a sensor network system may fail and the evaluation of the severity of the damage caused by the failure. In this paper, we devise a methodology of Rough Outlier Detection (ROD) for the detection of security-based risk factor, which originates from violations of attack requirements ( namely, attack risks). The methodology elaborates dimension reduction method to analyze the attack risk probability from high dimensional and nonlinear data set, and combines it with rough redundancy reduction and the distance measurement of kernel function which is obtained using the ROD. In this way, it is possible to determine the risky scenarios, and the analysis feedback can be used to improve the sensor network system design. We illustrate the methodology in the DARPA case set study using step-by-step approach and then prove that the method is effective in lowering the rate of false alarm.     

Anomaly detection of smart metering system for power management with battery storage system/electric vehicle

A novel smart metering technique capable of anomaly detection was proposed for real-time home power management system. Smart meter data generated in real-time were obtained from 900 households of single apartments. To detect outliers and missing values in smart meter data, a deep learning model, the autoencoder, consisting of a graph convolutional network and bidirectional long short-term memory network, was applied to the smart metering technique. Power management based on the smart metering technique was executed by multi-objective optimization in the presence of a battery storage system and an electric vehicle. The results of the power management employing the proposed smart metering technique indicate a reduction in electricity cost and amount of power supplied by the grid compared to the results of power management without anomaly detection.     

Computer-Aided Microwave Impedance Measurements

The use of a general purpose digital computer to convert data obtained from a network analyzer system to parameters useful to the circuit or device engineer is discussed. Measurement errors resulting from system imperfections such as coupler directivity and reflections from small discontinuities are removed by matrix manipulation while the data are being processed. The computer program was written to allow any three known impedances to be used as references. The use of arbitrary reference impedances instead of ideal short circuits, ideal open circuits, or perfectly matched terminations allows greater flexibility and in most cases permits the system to be calibrated with only three measurements at each frequency. Quantitative results are presented which show the large reduction of the error vector obtained when measurements are corrected using the method described. The corrected results are compared with the manufacturer's calibration data for some loads. All measurements are compared with measurements made on a recently marketed automatic network analyzer system. The computer program was written to allow the use of a time-sharing remote-access computer for fast turn-around time for small amounts of data. A second program was written for use with batch-process computers when large amounts of data are needed.