首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到20条相似文献,搜索用时 109 毫秒
1.
高速海量数据的接收和存储系统的设计与实现   总被引:1,自引:0,他引:1  
介绍了一种海量数据实时高速接收与存储系统的软硬件平台设计方案,详细论述了多线程技术和双缓冲区理论在数据实时接收存储数据领域的实现方法.实践证明,该方案可以有效地提高计算机系统接收与存储数据的效率、降低数据的丢失率,成功解决快速准确地实时接收与存储海量数据这一难题.  相似文献   

2.
徐智  王岳  王欣 《计算机仿真》2021,38(7):304-307,354
针对非结构化数据云存储效率低下的问题,提出了结合区块链技术的非结构化大数据云存储方法.云存储网络利用F2域获得存储信息,根据域首判断出数据状况,实时更新存储策略;同时存储调度利用存储窗与采集窗估算出数据均值与动态振荡,确定存储更新的频次.另外,在云存储网络中引入存储审计策略,根据数据热度与损坏性确定存储审计需求,对存储数据进行存储时间、数据包量的审计,从而优化存储效率.最后考虑到传统非结构化数据云存储过程中的数据验证效率不佳问题,设计了区块链网络结构,并在其中实现了基于Merkle树与Hash的数据完整性高效验证.仿真结果表明,结合区块链技术的非结构化大数据云存储方法显著降低了数据的审计与存储时间,有效提高了非结构化数据的云存储效率,具有良好的大数据处理性能.  相似文献   

3.
随时间实时变化的客流数据属于时间序列数据,本文根据客流数据的接收频率,应用关系模型实现客流数据的存储建模;为了减弱数据采集频率对实时客流查询效率的影响,建立多时间粒度的客流视图,可提高实时客流查询的计算效率.  相似文献   

4.
RRDTool监控数据存储技术结合Open-Falcon开源监控平台,可以实现针对铁路云数据中心下大规模实时监控数据的有效处理,提高运维生产效率。随着铁路的快速发展,铁路监控运维平台在处理大规模实时数据时所面对的任务也越来越艰巨。本文将以处理大规模实时监控数据为切入点,介绍RRDTool的基础概念与工作原理,简化大规模监控数据的存储、规整数据的格式,直观展示被监测对象随时间的变化趋势。同时结合Open-Falcon这一开源监控平台采集、存储和展示大规模实时数据,从而实现针对铁路云数据中心下大规模实时监控数据的有效处理,提高运维生产效率。  相似文献   

5.
针对传统车联网平台在处理海量数据时存在吞吐量小, 实时性差的问题, 设计了一种基于大数据流处理技术的实时分析系统. 系统分为数据采集、 数据转发、实时分析、数据存储和可视化展示5层. 为了满足系统高并发接入以及实时性的需求, 引入Storm实时计算系统进行数据的实时分析. 同时, 利用Kafka消息队列的异步通信机制将各层之间解耦, 采用Hbase进行海量数据存储, 从而提高车联网非机构化数据存储效率. 另外, 针对访问数据库开销大的问题, 采用Redis缓存策略, 进一步提高查询效率. 实验证明, 较传统的多线程处理平台, 该系统具有低延迟, 高吞吐, 可拓展等特点, 能够满足车联网大数据流处理要求.  相似文献   

6.
针对矿井机电设备管理存在不能及时发现设备潜在故障、设备利用率低、生产效率低等问题,设计了一种矿井机电设备数据分析系统。该系统采用iHistorian服务器存储各个采集点的机电设备数据,从基础数据、可靠性、能耗、效率和预警5个方面分析数据,并将分析结果存储在SQL Server数据库中,通过Web服务器供客户端使用。实际应用表明,该系统可实时反馈矿井机电设备的运行状况,确保了矿井机电设备运行数据的实时分析和安全高效运行预警。  相似文献   

7.
为了实现卫星监控、海洋探测等领域海量数据的实时采集、显示、存储和分析,该文设计了一个海量数据图像快视系统,系统综合运用海量数据分块、图像金字塔、图像高速缓冲和磁盘阵列等技术来满足用户对海量数据的实时调度、显示、存储的要求。实际应用证明系统的实现极大提高了海量数据处理的效率,具有很高的军事和工业应用价值。  相似文献   

8.
为了在不影响实时控制系统响应时间的前提下实时地保存数据,提出了一种基于分片的数据实时存储方式.通过在实时控制系统中添加存储节点,在实时控制的过程中,实时节点将数据按时间分片,传给存储节点,存储节点采用分片存储的方式保存到存储系统中.这种方式只需要占用实时控制节点很少的控制周期时间,结合新增的存储节点完成对实时数据的存储,能在控制过程中实时读取分析数据.该方式应用于东方超环(EAST)等离子体控制系统上,能够较好的实现对长脉冲放电和未来的稳态放电实验数据进行实时的存储和读取分析,也能为其他实时控制系统的数据的实时存储提供借鉴.  相似文献   

9.
利用HDF5和Esper的高效外汇数据分析系统   总被引:1,自引:1,他引:0  
为解决目前关系型数据库由于死锁和阻塞等原因造成系统随数据量增加性能急剧降低的问题,本文提出结合HDF5和Esper的数据处理方法,利用HDF5(层次型数据存储格式)的强大I/O性能和数据类型自定义功能做数据存储,加快数据存储的速度。同时,结合Esper实时计算的高运算效率特征,设计出一套针对外汇计算行业的可移植的数据格式和函数库,解决了即时数据分析系统在存储、管理、交换、归档需求中出现的性能和效率问题。实验结果表明,在10G/天的数据量下,HDF5的数据读写性能比MSSQL要高80倍左右,结合Esper的毫秒级处理能力,能够做到外汇数据的实时计算。系统对于数据处理分析和实时性要求极高的情况有较高的应用价值。  相似文献   

10.
机载实时数据处理可以大幅提高数据处理的效率。为满足机载网络化测试系统架构下的实时数据处理的需求,设计并实现了一种基于VxWorks的网络数据实时处理软件。该软件运行在多核嵌入式数据处理系统上,通过多任务并发执行的方法保证实时性。软件运行过程中利用零拷贝技术实时接收机载测试系统发送的网络包数据,然后按照自定义的文件格式存储原始数据,同时将需要处理的网络包存入数据处理缓存中,根据网络数据协议实时解析网络包数据,最后利用预留缓存的办法将处理结果写入结果文件。实践证明,该软件能快速接收并实时处理网络数据,同时将原始数据和结果数据进行存储,该方法有效提高了数据处理的效率,为飞行试验数据处理提供了新的途径。  相似文献   

11.
提出了一种新的基于连续及非连续长度块编码的测试数据压缩方法,该方案从提高码字利用率的目的出发,利用定长的二进制码字表示连续长度块的长度信息,同时,将连续位长度不足的序列按一定的策略划为非连续块,并且不对其进行编码,故有效地避免了用长码字替换短游程序列的情况。该方案的编码规则减少了使用前、后缀形式编码的复杂性,所以其编码及解码过程简单,同时具有简单的通讯协议。对ISCAS-89标准电路Mintest集的压缩结果表明,提出的方案较FDR码和Golomb码都具有更好的压缩效率。  相似文献   

12.
为了保证存储网格中数据的高可获取性,提出了一种对数据资源进行RS编码和LT编码级联的新方法,使RS码和LT码互相促进,同时实现纠删和纠错,这是单独采用两种编码都无法达到的。仿真结果表明,RS-LT级联编码可提高LT码译码成功概率,能够以较小的系统代价大幅度提高数据的可获取性。  相似文献   

13.
基于网络的数据安全传输问题是信息安全领域的重要课题之一。分析了对称密码和非对称密码体制的优缺点,介绍了集两者之长的数字签名技术,实现了带有数字签名及验证的数据在网络中加密传输系统的方案设计,利用DES、RSA和HASH函数构建了一种能够实现数据快速加密、并具有数字签名功能的数据加密传输系统,该系统保证了信息的保密性、完整性、身份验证和不可抵赖性。最后,用JAVA语言实现了系统的基本功能。  相似文献   

14.
基于开源源码大数据进行代码生成、缺陷预测等是当前智能化软件开发方法与技术的重要研究内容。然而现有的关注点主要聚焦于各种推荐、预测等智能算法的研究,较少对研究所使用数据的质量进行评估与分析。大部分智能化软件开发研究的数据来源于开源数据托管平台,受限于开发者自身水平,它们并不能保证都具有较高质量。根据"garbage in,garbage out",这会影响最终结果质量。源码数据的质量对相关的研究有重要影响,却没有得到足够的重视。针对上述问题,提出了一种面向开源源码大数据的方法块数据质量评估方法。首先研究如何定义和评估GitHub上抽取的源码的数据质量问题,然后对开源源码从不同维度进行质量评估。通过该源码数据质量评估方法可以帮助相关研究人员构建具有更高质量的数据集,进而提高智能化相关研究,比如代码生成、缺陷预测等的结果质量。  相似文献   

15.
陈志锋  李清宝  张平  丁文博 《软件学报》2016,27(12):3172-3191
内核恶意软件对操作系统的安全造成了严重威胁.现有的内核恶意软件检测方法主要从代码角度出发,无法检测代码复用、代码混淆攻击,且少量检测数据篡改攻击的方法因不变量特征有限导致检测能力受限.针对这些问题,提出了一种基于数据特征的内核恶意软件检测方法,通过分析内核运行过程中内核数据对象的访问过程,构建了内核数据对象访问模型;然后,基于该模型讨论了构建数据特征的过程,采用动态监控和静态分析相结合的方法识别内核数据对象,利用EPT监控内存访问操作构建数据特征;最后讨论了基于数据特征的内核恶意软件检测算法.在此基础上,实现了内核恶意软件检测原型系统MDS-DCB,并通过实验评测MDS-DCB的有效性和性能.实验结果表明:MDS-DCB能够有效检测内核恶意软件,且性能开销在可接受的范围内.  相似文献   

16.
模型驱动开发以其低错误率,易仿真,易验证的特点在嵌入式软件开发中被广泛应用.近年来,基于模型的嵌入式软件开发方法及相应工具也在逐渐发展和完善.数据流模型是各种建模工具中使用最为频繁的语义模型,然而各种工具对于数据流模型的代码生成能力却参差不齐,特别是对于数据分支组件的支持,当前主流的建模工具都采用各种方式来回避复杂的分支建模及对应的代码生成.但是,分支建模是非常重要的,使用分支组件可以更清晰地表现出数据流的数据传递逻辑.为了解决复杂分支建模带来的代码生成难题,本文针对具有复杂分支组合的数据流模型提出了一种基于分支调度标记的代码生成方法.在本文提出的算法中,首先通过拓扑排序确定模型的调度顺序,再根据不同分支的影响对组件进行分支标记,之后根据组件的分支标记构造一个基于控制流的代码生成位置表,最后即可根据代码生成位置表进行各种主流语言的代码生成.本文通过构造四个具有复杂分支的数据流模型实例进行代码生成,并在生成代码行数和运行时间等方面与Simulink和Ptolemy进行对比,进一步说明了我们的代码生成方法在复杂分支组合情况下的通用性以及本文工作的价值和意义.  相似文献   

17.
Determination of data dependences is a task typically performed with high-level language source code in today's optimizing and parallelizing compilers. Very little work has been done in the field of data dependence analysis on assembly language code, but this area will be of growing importance, e.g., for increasing instruction-level parallelism. A central element of a data dependence analysis in this case is a method for memory reference disambiguation which decides whether two memory operations may access (or definitely access) the same memory location. In this paper we describe a new approach for the determination of data dependences in assembly code. Our method is based on a sophisticated algorithm for symbolic value propagation, and it can derive value-based dependences between memory operations instead of just address-based dependences. We have integrated our method into the Salto system for assembly language optimization. Experimental results show that our approach greatly improves the precision of the dependence analysis in many cases.  相似文献   

18.
通过分析航空、通信、航天等领域综合电子项目中常规总线数据报文,以及动态可扩展数据报文,归纳出数据报文结构特点,研究了适应动态可扩展数据报文的描述模型,并给出基于XML语言对动态可扩展数据报文模型的实现方法。通过该方法解决了动态可扩展数据报文难以统一描述问题,可实现软件代码与接口定义的解耦;解决了因接口变更导致修改软件代码的问题,可提高软件代码的通用性和适应性。该方法设计的总线接口测试软件已在多个型号工程的中应用,可达到在不修改软件代码的情况下,配置多种类型的常规数据报文或动态可扩展数据报文进行数据总线通信。  相似文献   

19.
针对目前现有静态分析方法存在的漏报率和误报率较高的问题,提出一种基于数据融合的源代码静态分析漏洞检测技术.该技术通过对不同检测方法的分析结果进行解析和数据融合,有效地降低误报率和漏报率.设计与实现了一个可扩展的源代码静态分析工具原型,可通过用户的反馈信息自动寻优.实验结果表明:相对于单个漏洞检测方法而言,该方法的误报率和漏报率明显降低.  相似文献   

20.
代码克隆检测在剽窃检测、版权侵犯调查、软件演化分析、代码压缩、错误检测,以及寻找bug,发现复用模式等方面有重要作用。现有的代码克隆检测工具算法复杂,或需要消耗大量的计算资源,不适用于规模巨大的代码数据。为了能够在大规模的数据上检测代码克隆,提出了一种新的代码克隆检测算法。该算法结合数据消重中的基于内容可变长度分块(content-defined chunking,CDC)思想和网页查重中的Simhash算法思想,采用了对代码先分块处理再模糊匹配的方法。在一个包含多种开源项目,超过5亿个代码文件,共约10 TB代码内容的数据源上,实现了该算法。通过实验,比较了不同分块长度对代码克隆检测率和所需要时间的影响,验证了新算法可以运用于大规模代码克隆检测,并且能够检测出一些级别3的克隆代码,达到了较高的准确率。  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号