基于云安全存储服务体系的金融大数据存管系统

目前金融行业使用的电子数据存管系统普遍存在存储空间不足、效率低下且稳定性较差等问题，提出了一种基于云安全存储服务体系的金融大数据存管系统。系统采用分层结构，感知层负责数据的采集与整合，同时也是数据的安全防护层；存储层通过云安全存储服务体系保存金融数据，并采用约束性软件函数对其进行管理和调度。测试结果表明，系统的有效存储空间达12TB,数据存储效率接近100%,在高负荷条件下仍能够稳定运行，对于金融数据的安全存管具有很强的实用性。     

云计算环境下网络空间数据分布式存储方法研究

针对传统的网络空间数据分布式存储方法存储空间小的情况,提出云计算环境下网络空间数据分布式存储方法,首先对网络中的空间数据进行划分,在此基础上,建立网络空间分布式存储数据库,把基本的网络空间数据进行存储,为满足大数据的需要,最后对空间数据库存储空间容量进行设计,提高了网络空间数据分布式存储的存储量。并通过实验对比证明,此次设计的网络空间数据分布式存储方法比传统的存储方法的存储容量高,满足了大数据的存储需求,具有一定的实际应用意义。     

海量数据分布式存储技术研究

随着计算机技术的不断发展,互联网业务也在逐渐地扩大,海量用户纷纷涌入到网络中,使得网络系统数据存储空间日益增大。然而海量数据的存储容量往往同存储性能是相反的,传统的数据库在面对海量数据时早已不堪重负,渐渐地就出现了扩展性能差、网络延迟、效率低下等问题。基于此,就车联网海量数据的分布式存储处理技术为研究方向,通过详细分析,构建出一种基于传统数据库存储模式的分布式存储技术,通过仿真实验测试后表明,该技术能够有效解决现有问题,具有一定的参考意义及推广价值。     

有线电视大数据分析平台数据存储与挖掘

大数据时代,如何对海量的有线电视数据进行分析,充分挖掘潜在的有价值的信息,提高运营商运营效率和服务水平,加强市场竞争力,将是有线电视运营商未来发展的关键.本文介绍了有线电视大数据分析平台的数据汇聚、数据存储与数据挖掘技术,简要分析了数据存储与规划,数据挖掘中机构设计与业务指标的确立.     

移动通信网络中大数据的发展策略研究

大数据是现代信息技术和互联网产业发展到一定阶段的必然产物,电信运营商拥有天然的数据资源优势,为发展大数据分析服务,运营商需从技术体系、业务结构及盈利模式等多个层面实施全面转型。结合移动通信网络介绍大数据的价值链,将其分为4个阶段：数据产生、数据获取、数据存储和数据分析,研究电信运营商面临的问题与相应的发展策略,针对目前大数据的应用现状,最后对Hadoop作简单的介绍。     

基于物联网的金融数据动态安全存管系统设计

针对传统金融数据存管系统存在的存储效率低、存储空间小及稳定性能差等问题,设计基于物联网的金融数据动态安全存管系统。该系统感知层采集和融合金融数据,并对数据进行安全保护;存储层采用云安全存储服务体系存储从感知层获取的大量金融数据,并通过约束性软件函数实现金融动态云数据的合理调度;应用层统计和展示金融数据的分析结果。实验结果表明,该存管系统的金融数据存储效率无限接近于100%,金融数据存储空间高达12 TB,在高压情况下系统可进行稳定的大量金融数据同步上传及在线查看,实现金融数据的安全管理。     

内存映射技术在大数据存储应用中的研究

针对无线网络技术研究中对大数据实时存储和国产化需求,在Qt平台下利用内存映射技术,设计实现了一种针对大数据的实时存储方案,可实现对无线网络中频采样数据和解调解码数据的实时存储。并通过设计有效的索引机制,极大的提高了后续离线数据分析时的数据搜索效率。最后通过测试代码对该内存映射文件存储技术进行了实验验证。     

公共云存储中私密数据的去重删除研究

为了降低公共云存储系统的空间开销,对公共云存储中私密数据的重复数据进行归并和删除处理,提高云存储容量,提出一种基于语义本体特征匹配检测的公共云存储中私密数据的去重删除技术。采用交叉分布方法进行公共云存储中私密数据的特征分解,根据数据的属性类别进行存储空间区域划分,提取私密数据的语义本体结构信息特征量,根据提取的特征量进行匹配检测,根据语义属性实现对重复数据的自适应筛选,对筛选出来的重复数据采用矩阵分解方法进行特征压缩和删减,实现去重删除。仿真结果表明,采用该算法进行公共云存储中私密数据的去重删除处理,提高了存储空间的容量,降低了数据存储的维数,实现了私密数据的优化存储。     

基于Hadoop的气象数据分布式存储技术研究

针对目前气象数据存储所面临的海量扩张、高并发读写、结构化和非结构化数据并存以及长时间序列和大数据集检索效率低下等问题,提出了以Hadoop开源框架为基础的气象数据分布式存储方案.通过对气象数据自身属性和特点进行分析,得出了气象数据在经过充分优化的基础上,在分布式存储框架中具有很强的适应性和规模化应用的潜力;并在HBas...     

物联网大数据存储与管理技术探究

为了全面落实通信数据网络和数字信息技术的应用,在物联网应用管理中,要发挥技术应用优势,打造更加合理的数据存储管理平台,提升数据信息管理的时效性,为物联网技术应用控制提供保障。文章分析了物联网大数据存储和管理面临的挑战,并着重讨论了技术应用方案,最后提出了几点建议。     

基于图形数据库Neo4j的RDF数据存储研究

现有的RDF数据分布式存储方式大多将RDF数据分成多个维度,存储多份数据,这无疑大幅度地增加了数据的存储空间,同时给数据的管理带来了很大的难度。本文通过将RDF数据以图的形式存储在图形数据库Neo4j中,大幅度地减少了RDF数据存储的数量。同时,图形数据库Neo4j在数据查询时建立多维索引机制,大大提高了大量复制RDF数据的处理效率。     

新型智慧城市下政务数据资源存储时限的研究

随着新型智慧城市建设持续推进,数据的体量也迎来了井喷试的增长,海量的数据正如潮水般涌入城市的存储中心,数据要实现更新迭代、去旧存新,数据存储时限则成了必须要突破的瓶颈。分析当前新型智慧城市下数据存储时间所带来的问题,梳理国内外针对不同行业数据的存储期限所采取的管理方式,从统筹管理、整体规划、规范体系、分类管理、总体原则等方面对个人数据、公共数据、业务数据提出了具体的管理措施,促进新型智慧城市健康、有序发展。     

面向智能路由的多级哈希网络数据存储结构

网络数据的采集和存储是智能路由控制的基础,为智能路由提供了大量的网络流量数据进行模型训练和决策。然而,作为网络数据存储系统中的核心设备,交换机的存储空间非常有限,且设计灵活性低,无法满足智能路由控制对全面高精度的数据存储和轻量级存储系统的需求,进而影响智能路由控制的效果。提出一种面向智能路由控制的多级哈希网络数据存储结构,高效利用交换机有限的存储空间,实现低碰撞率的网络数据存储。该结构通过多级哈希表增加数据的可存储空间数量,从而降低存储冲突率并提高存储空间利用率。同时,该结构使用基于低开销时间戳的LRU算法解决哈希冲突：在发生哈希冲突时总是保存最新的网络数据,清除陈旧数据,以尽可能减少后续的存储冲突。基于真实网络流量数据的实验证明了相比目前普遍使用的单级哈希存储结构,多级哈希存储结构在存储碰撞率和负载率两方面存在显著的性能优势。     

视频智能大数据分析架构

得益于IT信息技术的快速进步．人类可以随时随地记录下产生的各类数据．同时数据存储的成本也正以前所未有的速度下降．大数据时代正悄然来临。在视频监控领域．高清化．大联网数据汇聚推动视频大数据形成．业务实战化推动大数据分析需求。     

4G时代大数据来袭 运营商应对OTT合作优于封锁

如果运营商仍然把语音、短信、彩信或数据业务作为主要创收,那么取而代之的"微东微西"等各类OTT应用必然将影响运营商的直接利润收入。在"云计算"之后,"大数据"突然火热出现在以IT为首的诸多行业内。随即,数据存储、数据安全、数据分析、数据挖掘等等围绕大数据商业价值的利用逐渐成为各行业人士争相追捧的利润焦点。电信运营商的语音、短信作为利润基础,数据存储和安全问题正面临着巨大的挑战。面对中国移动通信4G网络的迅猛发展,微信赢得的不仅仅只是用户端市场。笔者认为,     

面向大数据的分布式系统设计关键技术研究

随着云计算、物联网等信息技术的飞速发展,异构数据源越来越多,数据信息量在飞速增长,数据的类型也复杂多样,不仅使得信息系统规模日益庞大,也导致海量非结构化数据管理复杂、异构数据存储利用率低下、资源不易扩展等问题。     

基于Selenium自动化图像数据的采集

随着计算机技术的发展,图像数据被广泛地应用在各种领域。因此,图像数据越来越受到人们重视。文章通过分析传统网络爬虫技术采集和数据存储,指出其受到各种因素限制,导致采集图像数据的效率低下,代码设计编写工作复杂,且容易造成存储资源的浪费。为了进一步提高网络爬虫效率,简化图像采集的实现过程以及节约磁盘的存储空间。文章以汽车之家为案例,使用一种基于Selenium+WebDriver方式完成对汽车图像数据自动化采集,并通过OpenCV算法将汽车图像数据进行大比例压缩,较大地节约磁盘的存储空间。     

基于磁光电混合存储技术的新型数据中心建设探讨

磁光电混合存储技术实现了光存储、磁存储和电存储三种技术优势互补,成为目前综合性能最好的存储技术.结合新基建政策对数据中心建设迫切需求,构建基于磁光电全介质混合存储的"海量、绿色、安全、生态"数据湖,为政府、企业及个人在大数据时代实现海量数据存储和计算提供了可能,有效解决数据中心面临能耗太高、数据安全风险、数据共享及开发...     

大数据环境下基于NoSQL数据库的存储技术研究

文章通过研究和分析了典型的NoSQL数据库技术,基于该平台和Hadoop云架构,完成了非结构化的数据云存储架构的设计,可以很好的解决传统的关系型数据库在应对非结构化数据存储过程中的效率低下等问题。     

基于多种群协同进化算法的数据并行聚类算法

为了提高云存储空间多维资源数据挖掘能力,需要进行数据并行聚类处理,提出基于多种群协同进化算法的数据并行聚类算法.构建云存储空间多维资源数据的参数采集模型,对采集的云存储空间多维资源数据进行模糊并行特征分布式重组,提取云存储空间多维资源数据聚类特征参数集,采用关联粗糙集特征分析方法进行云存储空间多维资源数据的多尺度小波结构分解,结合多种群协同控制的方法,建立云存储空间多维资源数据的并行聚类模型,通过关联协同滤波检测方法,进行云存储空间多维资源数据的分组特征检测和融合聚类处理,根据差分进化方法进行云存储空间多维资源数据的聚类中心寻优,遍历云存储空间多维资源数据聚类区域的候选目标集,实现对云存储空间多维资源数据的并行关联规则聚类和可靠性挖掘.仿真结果表明,采用该方法进行云存储空间多维资源数据挖掘的精度较高,聚类性较好,收敛性较强.