海量数据同步的处理技巧与实战

数据时代的到来,给银行应用通过文件同步数据带来了挑战,文件的增大导致处理时间过长.针对此问题,介绍了海量数据的常见处理技巧,基于案例测试单记录同步、批量同步、多线程单记录同步、多线程批量同步4种方案,并对不同大小文件的用时进行了统计和分析,为银行提供了技术路线,以帮助实现应用间快速数据同步.     

采用八叉树和OSG分页结点的海量点云三维可视化

针对现有海量点云可视化方法存在索引构建时间长、内存占用大等问题，研究一种八叉树索引结合OSG分页结点的快速可视化方法，可在占用较小内存的基础上快速建立点云索引并实时调度。采用八叉树索引结构对海量点云进行数据组织，建立各层级的八叉树结点并以文件映射的方式分块保存，对结点文件重组织转换为支持OSG渲染引擎的多分辨率点云数据。采用基于OSG分页结点的实时调度技术，对海量点云进行高质量可视化。与目前两款主流的点云数据处理商业软件进行实验对比分析，结果表明所提方法具有索引建立速度快、内存占用小等优点，同时可视化交互更加流畅，适用于各种配置计算机下海量点云数据的调度管理与实时可视化。     

基于贝叶斯网高效推理的半导体生产故障预测

文章通过搜集半导体晶元数据生产集,建立贝叶斯网,运用python对海量数据进行训练。依据训练数据进行分析,生成全面的半导体生产故障概率参考数据;并依据故障率分析结果与实时数据进行比对,实现高效的生产故障预测。通过对输入的半导体晶元数据生产集进行不断更新与学习,实现了对生产故障的精准预测,并可据此采取针对性的质量改进与预防性措施,提升生产的安全性。     

中国联通发布首张MEC规模商用网络 携手合作伙伴共建开放生态

随着5G商用逐步推进,以及大视频、大数据、物联网等业务的蓬勃发展,越来越多的新应用对网络时延、带宽和安全性提出更高要求。行业普遍认为,MEC是应对"海量数据、超低时延、数据安全"发展要求的关键。4月29日,中国联通"首张MEC规模商用网络暨生态合作发布会"成功举办。     

运营商首次成功应用SDS:华为助浙江电信突破存储性能瓶颈

浙江电信在电信实时业务中应用软件定义存储技术,在业界尚属首次,这一举措推动了浙江电信云资源池建设进程。当前,电信运营商对存储系统提出四大新要求:一是业务快速发展,要求缩短存储建设和扩容周期;二是关键业务云化,要求打破资源的"烟囱建设"模式;三是计算资源虚拟化后,凸显存储资源性能瓶颈;四是大数据时代,存储容量需求大,成本压力增大。但是,运营商从提出存储扩容需求到集采,再到交付部署,如果选择传统FC方案面临"慢、贵、弱、     

安全管理平台中基于云计算的日志分析系统设计

安全管理平台(SMP)是实现安全管理工作常态化运行的技术支撑平台,在实际应用中需要实时处理来自安全设备所产生的海量日志信息。为解决现有SMP中海量日志查询效率低下的问题,设计基于云计算的SMP日志存储分析系统。基于Hive的任务转化模式,利用Hadoop架构的分布式文件系统和MapReduce并行编程模型,实现海量SMP日志的有效存储与查询。实验结果表明,与基于关系数据的多表关联查询方法相比,该系统使得SMP日志的平均查询效率提高约90%,并能加快SMP集中管控的整体响应速度。     

虚拟局域网技术在智能电网中的应用研究

智能电网运行过程的管理需要海量的数据。如何快速可靠地传输、处理和存储这些数据成为有效管理智能电网的必要课题。在分析智能电网管理基本特性的基础上,设计了三层交换的虚拟局域网(VLAN),将分布式智能电网数据管理体系有效划分为不受地理位置限制而逻辑通信单元清晰的子系统,可以有效减少网络的拥堵,提高智能电网数据处理的效率。     

计及柔性资源的含风电场电力系统多目标动态协调调度EI北大核心CSCD

针对风电出力的间歇性和不确定性,提出考虑能量存储系统和需求侧管理的含风电场电力系统的动态经济环境协调调度模型。结合风电出力概率模型,将含随机变量的机会约束转化为确定性约束条件。在此基础上,建立含风电场及柔性资源的多目标调度模型,并提出一种基于拥挤熵的改进多目标粒子群优化(IMOPSO-CE)算法对该模型进行求解。最后以含6台火电机组和1个风电场的电力系统为算例,对不同调度情景下的仿真结果进行比较分析,验证了所提模型的合理性及IMOPSO-CE算法的有效性,为解决含风电场电力系统动态经济环境调度问题提供了一种新思路。