共查询到20条相似文献,搜索用时 687 毫秒
1.
2.
针对非结构化数据云存储效率低下的问题,提出了结合区块链技术的非结构化大数据云存储方法.云存储网络利用F2域获得存储信息,根据域首判断出数据状况,实时更新存储策略;同时存储调度利用存储窗与采集窗估算出数据均值与动态振荡,确定存储更新的频次.另外,在云存储网络中引入存储审计策略,根据数据热度与损坏性确定存储审计需求,对存储数据进行存储时间、数据包量的审计,从而优化存储效率.最后考虑到传统非结构化数据云存储过程中的数据验证效率不佳问题,设计了区块链网络结构,并在其中实现了基于Merkle树与Hash的数据完整性高效验证.仿真结果表明,结合区块链技术的非结构化大数据云存储方法显著降低了数据的审计与存储时间,有效提高了非结构化数据的云存储效率,具有良好的大数据处理性能. 相似文献
3.
RRDTool监控数据存储技术结合Open-Falcon开源监控平台,可以实现针对铁路云数据中心下大规模实时监控数据的有效处理,提高运维生产效率。随着铁路的快速发展,铁路监控运维平台在处理大规模实时数据时所面对的任务也越来越艰巨。本文将以处理大规模实时监控数据为切入点,介绍RRDTool的基础概念与工作原理,简化大规模监控数据的存储、规整数据的格式,直观展示被监测对象随时间的变化趋势。同时结合Open-Falcon这一开源监控平台采集、存储和展示大规模实时数据,从而实现针对铁路云数据中心下大规模实时监控数据的有效处理,提高运维生产效率。 相似文献
4.
随时间实时变化的客流数据属于时间序列数据,本文根据客流数据的接收频率,应用关系模型实现客流数据的存储建模;为了减弱数据采集频率对实时客流查询效率的影响,建立多时间粒度的客流视图,可提高实时客流查询的计算效率. 相似文献
5.
针对传统车联网平台在处理海量数据时存在吞吐量小, 实时性差的问题, 设计了一种基于大数据流处理技术的实时分析系统. 系统分为数据采集、 数据转发、实时分析、数据存储和可视化展示5层. 为了满足系统高并发接入以及实时性的需求, 引入Storm实时计算系统进行数据的实时分析. 同时, 利用Kafka消息队列的异步通信机制将各层之间解耦, 采用Hbase进行海量数据存储, 从而提高车联网非机构化数据存储效率. 另外, 针对访问数据库开销大的问题, 采用Redis缓存策略, 进一步提高查询效率. 实验证明, 较传统的多线程处理平台, 该系统具有低延迟, 高吞吐, 可拓展等特点, 能够满足车联网大数据流处理要求. 相似文献
6.
为了实现卫星监控、海洋探测等领域海量数据的实时采集、显示、存储和分析,该文设计了一个海量数据图像快视系统,系统综合运用海量数据分块、图像金字塔、图像高速缓冲和磁盘阵列等技术来满足用户对海量数据的实时调度、显示、存储的要求。实际应用证明系统的实现极大提高了海量数据处理的效率,具有很高的军事和工业应用价值。 相似文献
7.
8.
为了在不影响实时控制系统响应时间的前提下实时地保存数据,提出了一种基于分片的数据实时存储方式.通过在实时控制系统中添加存储节点,在实时控制的过程中,实时节点将数据按时间分片,传给存储节点,存储节点采用分片存储的方式保存到存储系统中.这种方式只需要占用实时控制节点很少的控制周期时间,结合新增的存储节点完成对实时数据的存储,能在控制过程中实时读取分析数据.该方式应用于东方超环(EAST)等离子体控制系统上,能够较好的实现对长脉冲放电和未来的稳态放电实验数据进行实时的存储和读取分析,也能为其他实时控制系统的数据的实时存储提供借鉴. 相似文献
9.
利用HDF5和Esper的高效外汇数据分析系统 总被引:1,自引:1,他引:0
为解决目前关系型数据库由于死锁和阻塞等原因造成系统随数据量增加性能急剧降低的问题,本文提出结合HDF5和Esper的数据处理方法,利用HDF5(层次型数据存储格式)的强大I/O性能和数据类型自定义功能做数据存储,加快数据存储的速度。同时,结合Esper实时计算的高运算效率特征,设计出一套针对外汇计算行业的可移植的数据格式和函数库,解决了即时数据分析系统在存储、管理、交换、归档需求中出现的性能和效率问题。实验结果表明,在10G/天的数据量下,HDF5的数据读写性能比MSSQL要高80倍左右,结合Esper的毫秒级处理能力,能够做到外汇数据的实时计算。系统对于数据处理分析和实时性要求极高的情况有较高的应用价值。 相似文献
10.
基于HBase的大规模无线传感网络数据存储系统 总被引:1,自引:0,他引:1
无线传感网络(WSN)存在分布的跨区域性,随着无线传感网络的扩张,传感器数目增多,将产生大规模的传感数据。针对存储大规模无线传感网络数据的问题,提出了一个两层分布式存储架构,使用分布式数据库HBase存储跨区域的无线传感网络数据和全局数据存储管理目录,实现一个近实时的存储系统。实验结果证明,该系统有良好的扩展性、存储和查询效率。 相似文献
11.
提出了一种新的基于连续及非连续长度块编码的测试数据压缩方法,该方案从提高码字利用率的目的出发,利用定长的二进制码字表示连续长度块的长度信息,同时,将连续位长度不足的序列按一定的策略划为非连续块,并且不对其进行编码,故有效地避免了用长码字替换短游程序列的情况。该方案的编码规则减少了使用前、后缀形式编码的复杂性,所以其编码及解码过程简单,同时具有简单的通讯协议。对ISCAS-89标准电路Mintest集的压缩结果表明,提出的方案较FDR码和Golomb码都具有更好的压缩效率。 相似文献
12.
13.
刘平 《数字社区&智能家居》2008,(3)
基于网络的数据安全传输问题是信息安全领域的重要课题之一。分析了对称密码和非对称密码体制的优缺点,介绍了集两者之长的数字签名技术,实现了带有数字签名及验证的数据在网络中加密传输系统的方案设计,利用DES、RSA和HASH函数构建了一种能够实现数据快速加密、并具有数字签名功能的数据加密传输系统,该系统保证了信息的保密性、完整性、身份验证和不可抵赖性。最后,用JAVA语言实现了系统的基本功能。 相似文献
14.
基于开源源码大数据进行代码生成、缺陷预测等是当前智能化软件开发方法与技术的重要研究内容。然而现有的关注点主要聚焦于各种推荐、预测等智能算法的研究,较少对研究所使用数据的质量进行评估与分析。大部分智能化软件开发研究的数据来源于开源数据托管平台,受限于开发者自身水平,它们并不能保证都具有较高质量。根据"garbage in,garbage out",这会影响最终结果质量。源码数据的质量对相关的研究有重要影响,却没有得到足够的重视。针对上述问题,提出了一种面向开源源码大数据的方法块数据质量评估方法。首先研究如何定义和评估GitHub上抽取的源码的数据质量问题,然后对开源源码从不同维度进行质量评估。通过该源码数据质量评估方法可以帮助相关研究人员构建具有更高质量的数据集,进而提高智能化相关研究,比如代码生成、缺陷预测等的结果质量。 相似文献
15.
内核恶意软件对操作系统的安全造成了严重威胁.现有的内核恶意软件检测方法主要从代码角度出发,无法检测代码复用、代码混淆攻击,且少量检测数据篡改攻击的方法因不变量特征有限导致检测能力受限.针对这些问题,提出了一种基于数据特征的内核恶意软件检测方法,通过分析内核运行过程中内核数据对象的访问过程,构建了内核数据对象访问模型;然后,基于该模型讨论了构建数据特征的过程,采用动态监控和静态分析相结合的方法识别内核数据对象,利用EPT监控内存访问操作构建数据特征;最后讨论了基于数据特征的内核恶意软件检测算法.在此基础上,实现了内核恶意软件检测原型系统MDS-DCB,并通过实验评测MDS-DCB的有效性和性能.实验结果表明:MDS-DCB能够有效检测内核恶意软件,且性能开销在可接受的范围内. 相似文献
16.
17.
Wolfram Amme Peter Braun François Thomasset Eberhard Zehendner 《International journal of parallel programming》2000,28(5):431-467
Determination of data dependences is a task typically performed with high-level language source code in today's optimizing and parallelizing compilers. Very little work has been done in the field of data dependence analysis on assembly language code, but this area will be of growing importance, e.g., for increasing instruction-level parallelism. A central element of a data dependence analysis in this case is a method for memory reference disambiguation which decides whether two memory operations may access (or definitely access) the same memory location. In this paper we describe a new approach for the determination of data dependences in assembly code. Our method is based on a sophisticated algorithm for symbolic value propagation, and it can derive value-based dependences between memory operations instead of just address-based dependences. We have integrated our method into the Salto system for assembly language optimization. Experimental results show that our approach greatly improves the precision of the dependence analysis in many cases. 相似文献
18.
李智 《计算机测量与控制》2020,28(4):191-195
通过分析航空、通信、航天等领域综合电子项目中常规总线数据报文,以及动态可扩展数据报文,归纳出数据报文结构特点,研究了适应动态可扩展数据报文的描述模型,并给出基于XML语言对动态可扩展数据报文模型的实现方法。通过该方法解决了动态可扩展数据报文难以统一描述问题,可实现软件代码与接口定义的解耦;解决了因接口变更导致修改软件代码的问题,可提高软件代码的通用性和适应性。该方法设计的总线接口测试软件已在多个型号工程的中应用,可达到在不修改软件代码的情况下,配置多种类型的常规数据报文或动态可扩展数据报文进行数据总线通信。 相似文献
19.
简要分析了VFP数据环境中数据绑定功能的缺陷,提出了设计功能强大、通用的动态数据绑定容器类的基本思想和实现方法,它不但有助于代码的封装和重用,也使程序更简洁、易于维护、适应性强,使编程人员从繁琐的表单版面布局中解放出来,该方法亦可用于其他数据库开发平台。并讨论了具体源代码的实现。 相似文献
20.
针对目前现有静态分析方法存在的漏报率和误报率较高的问题,提出一种基于数据融合的源代码静态分析漏洞检测技术.该技术通过对不同检测方法的分析结果进行解析和数据融合,有效地降低误报率和漏报率.设计与实现了一个可扩展的源代码静态分析工具原型,可通过用户的反馈信息自动寻优.实验结果表明:相对于单个漏洞检测方法而言,该方法的误报率和漏报率明显降低. 相似文献