高并发下的大数据处理架构探索与实践

处理大数据时面临的问题多种多样,不仅要面对数据的海量增长,同时也要解决大数据所遇到的一些其他问题,如接入的客户端多种多样、系统处理的并发量呈几何倍的增长。处理大数据的单一技术并不能完全解决大数据面临的各种各样的问题,需要针对系统出现的问题综合运用多种合适的技术手段来处理。本文针对广东移动电子渠道业务中所遇到的大数据量、高并发、低延迟等问题,构建了一种采用多技术方案的经典架构,为今后解决类似问题提供参考。     

移动中间号系统异地双活架构设计与实现

随着中间号系统业务扩张，数据量的增长对系统的数据库存储和可靠性提出了更高的要求。为了解决这一问题，中间号提出了一种基于Canal实现的数据同步架构方案，以实现快速访问数据和高可靠性的存储。该存储架构方案通过Canal实现有条件同步存储数据，即只同步业务需要的关键数据，避免了数据冗余和无效存储，提高了存储效率和数据的安全性，最后对存储架构进行了系统测试和评估。     

基于CP2102高速USB2．0-CAN适配卡的设雷

基于桥接芯片CP2102,设计了USB2．0-CAN的适配卡。系统采用USB和CAN接收中断、通信同步的握手协议等方式,解决了USB的高速率和CAN的低速率、USB的大数据包与CAN的小数据包之间的矛盾,实现了USB数据与CAN数据之间的协议转换和转发。     

基于CP2102高速USB2.0-CAN适配卡的设计

基于桥接芯片CP2102,设计了USB2.0-CAN的适配卡.系统采用USB和CAN接收中断、通信同步的握手协议等方式,解决了USB的高速率和CAN的低速率、USB的大数据包与CAN的小数据包之间的矛盾,实现了USB数据与CAN数据之间的协议转换和转发.     

大数据时代下提升数据分析系统数据处理能力的变革

随着移动业务的快速发展,数据量不断增大,上海联通数据中心的传统IOE的数据加工模式已经远远不能满足业务发展的需要。文章以传统经分系统架构变革可行性为例,提出数据分析型系统转型的建议;通过总结上海联通传统经分的现状,结合云计算和大数据发展的方向,探索大数据处理平台搭建混搭结构的选型思路,利用分布式并行处理技术减小数据仓库的扩容压力;提升数据作业的处理速度及系统的响应速度;从而实现数据中心由原来提供单一的企业经营分析决策的能力转变到适应大数据处理的能力。     

基于业务数据分析的电力移动作业异常巡检核查系统

目前研究的电力移动作业异常巡检核查系统核查时间过长,数据安全难以得到保证.针对上述问题,基于业务分析提出了一种新的电力移动作业异常巡检核查系统,对系统的硬件和软件进行设计.通过核查移动作业端数据、核查后台管理端数据及业务系统数据组成系统架构,利用数据分析技术对信息进行采集、处理,实现异常核查,完成软件工作.实验结果表明...     

数据归档在ERP系统中的应用

为解决数据量日益增大，系统性能逐渐下降的难题，我们实施了济钢ERP业务数据归档管理系统，将访问次数较少的历史数据进行归档，从而实现历史数据与业务数据的分离，减轻业务系统的压力，提高业务系统各方面的性能。     

关于小数据量业务资源占用分析及优化

随着移动互联网的发展,并借助智能终端的强大功能,业务种类越来越多,人们也越来越习惯使用手机上网.目前使用的用户数最多的业务,不是FTP、流媒体等大数据量下载,而是小数据量为特征的移动互联网业务.小数据流量业务主要有手机QQ、微信、微博和陌陌等软件.某地近期TMU负荷增长较为严重,拥塞率也较为突出影响了用户的感知,对此开展了小数据量业务的资源占用分析及优化.     

区域医疗领域海量数据交换系统的研究与实现

针对区域医疗领域海量数据交换的要求,分析了现有交换方式的不足,结合云计算技术在大数据处理方面的优势,研究和设计了适应大数据量、高并发、高扩展性、高性能的海量数据交换系统,阐述了系统的设计方案和应用效果,以此作为实现区域医疗业务的数据基础。     

大数据量Excel数据导入系统的设计与实现

针对现有大数据量Excel导入系统效率较低的问题,设计并实现了一种新的大数据量Excel数据导入系统。该系统采用C#语言,在VS2012的开发环境中,利用多线程技术将大数据量Excel表格数据导入到SQL Server中,加快了信息导入的速度。并且在临时表与目标表之间的合并过程中,摒弃了传统的游标逐条插入方式,取而代之的是SQL Server 2008中的Merge技术,极大地加快了数据库端不同表之间数据的同步过程。实验测试结果表明,整个系统导入100万条数据耗时9 534 ms,远少于传统Excel导入系统所耗时间,有效提高大数据量Excel导入系统的效率。