基于SQL Server应用的大数据量实时处理

对大数据量的实时处理问题是大型数据库应用系统中的共性问题,人们往往采用更换处理能力更强、存储容量更大的服务器来解决问题。这虽然也是解决问题的方法之一,但却不是一种好的方法。针对这一问题,结合SQL Server的功能特点,给出了3种应用技术和策略,即统计分析与实时处理数据分开存储策略、临时表技术和数据库的发布与订阅技术。通过对使用结果的分析,说明了这些技术和策略对完成大数据量业务的实时处理有一定的作用。不足之处是对系统的硬件等提出新的要求,因此在具体应用上要加以权衡。     

Excel数据导入数据库的设计实现

在此详细分析了将电子表格导入到数据库的基本原理和实现方法,解决了大量工程实验数据散落在多个文件中、主要靠手工组合、处理的原始方法,减轻了工程技术人员的负担,提高了数据处理效率,杜绝了数据处理差错。在此采用先进的VS 2010.NET开发工具,动态选择导入文件,在可靠的数据库连接上,构造导入数据中间件Dataset,采用数据库中数据字段与Excel表中列的对应关系,以中间件为桥梁逐行自动读入库外数据并统一保存。该论述方法具有通用性,程序代码稍做修改可适用与其他类型规则数据文件的导入。     

通信运营商大数据量系统数据存储云化浅谈

基于上海电信实现无线网管系统数据存储云化的实践经验,简要介绍了该类系统当前特征和问题,详细论述了数据存储云化框架和动态扩容、map/reduce数据处理、重复数据删除、差分增量备份等关键技术。     

云化环境下计费系统大数据量参数共享实现方案

本课题创新地设计出一种云化环境下共享参数的加载和访问方式,该方案关键功能为:①通过生成单个种子文件代替同时从数据库直接加载:通过单点将参数从物理库导出到文件中并存放于分布式文件存储(如NFS)中共享使用,各应用节点并行将参数文件装载到主机内存,极大减轻对物理库的频繁访问造成的I/O压力以及大量节省数据库连接数。②种子文件模式参数并行加载:采用种子文件的模式,由管理节点生成参数种子文件,存放于共享文件系统中,点到点传播装载数据文件到各节点,各节点并行加载到主机内存中,极大提高参数加载效率和参数加载自动化处理程度。     

雷达信号处理中大数据量FFT的实现研究

根据毫米波雷达信号处理实时性以及大宽带的需求,此次研究使用TMS320C6678多核DSP(TI公司)设计的雷达信号处理系统(DSP+FPGA)可以对大数据量进行多核FFT算法,MATLAB仿真等,同时对FFT算法的精度进行了验证,对大数据量FFT的实现过程给出了相关结论。通过对FFT算法的精度、计算量进行验证与分析有利于为雷达信号处理提供一定的依据,同时说明处理雷达信号大数据量方面多核DSP发挥了关键性作用。     

浅析实现基于网页的数据库数据导入

计算机技术的发展带来了庞大的信息数据,如何实现数据的维护和转移是在数据管理中必须考虑的问题。实际操作中,常常需要对不同操作软件和存储服务器中的数据进行导出和导入,本文就常见的SQLServer数据转移方式进行了介绍,并介绍了一种利用DTS的,基于网页的数据库数据导入方式。     

大数据量FFT的单片DSP高效实现

针对实现大数据量FFT运算的需要和DSP片内存储器容量小的矛盾,提出了用数据抽取的方法把大数据量FFT映射为一系列小点数FFT的设计思想,并利用DSP的DMA对片外存储器的高速访问能力来实现这种映射,以实现对大数据量FFT的高效处理。该设计在TI公司的TMS320C6701上实现,给出了处理速度,并与在pentiumⅢ800MHz上的处理速度做了对比,证明了这种设计思想的可行性。     

基于双口RAM的大数据量信号的通信技术

为了解决大数据量信号,在双CPU系统中的快速、实时、无误的传输问题,文章以振动信号的传输为例,分析了大数据量振动信号的通信的关键问题,设计了底层通信驱动以及高层传输逻辑,将信号量、双缓存及互斥访问的完美地结合,实现了PPC和DSP之间的快速、实时、无误的通信。     

基于物联网的大数据量实时信息交换策略探析

目前对于物联网的运用越来越广泛,但是在信息交换过程中所处理的数据量也逐渐增加,这也增加了数据处理和存取的难度,本文根据物联网实时信息交换过程中存在的问题,提出相应的解决措施,以提高系统的性能.     

新华书店系统的设计与实现

本文阐述了网上购书系统的整体开发过程。介绍了系统的开发环境以及开发工具,对于设计思想和设计流程也做出了全面的叙述,在数据库创建思想以及各个数据表之间的具体关联等方面也做出了详细说明,并且具体剖析了系统各个功能的实现过程以及详细设计过程,在绘制简单系统功能模块图的同时,力求更加清晰地表明设计思想以及对整个程序设计的规划及具体实现。并对现行系统存在的问题进行了分析,同时提出网上购书系统的设计目标,并从技术、经济、运行三个方面进行了可行性分析。     

一种安全性的海量数据处理平台设计与实现

提出了一种开放分布式海量数据处理平台的设计方案。该平台以HDFS、Hive和HBase等作为底层数据存储方式,以Map Reduce、Spark和Storm等作为底层数据处理方式,向用户提供了统一的接口,同时使用Kerberous进行权限控制,保证了数据安全性。这种开放式的服务可使用户可在不同平台不同环境下简单方便地完成海量数据处理任务。     

基于VC++的STATCOM监控系统设计与实现

以VC++6.0作为开发平台,详细介绍了STATCOM监控系统的构成,并从界面设计、通讯接口设计以及数据库设计三方面分别阐述了本系统的设计思想,实现了对STATCOM设备的远程控制、实时监测以及信息存储显示等功能。实际使用表明本系统性能稳定,界面友好,操作便捷,能够很好地满足用户需求。     

基于VB.NET的商位出租管理系统设计与实现

随着商场经营模式的转变,商位的出租的管理工作变得复杂,工作量大。计算机信息化管理是解决这个问题的最好的办法。论述了基于VB.NET开发平台商位出租管理系统的开发过程。本系统以SQL Server 2000为数据库,以VB.NET为开发工具,实现了出租合同管理、出租收费管理,为管理者带来极大的方便。     

体质健康管理系统的设计与实现

针对目前越来越多的人处于亚健康状态,人们对生活质量提出了更高的要求.中医在“治未病”和“养生”方面有着丰富的优势,体质辨识又在中医诊断病情中占有非常重要的地位,然而传统中医诊断方式使得用户在脱离医生的情况下,不能及时得到合理的解决方案.针对上述问题,本文提出了一种体质健康管理系统.本系统以C/S架构为基础,在Visualstudio2012开发平台上,采用C#语言编程,并用SQLServer2008执行数据的处理,完成整个系统的设计与实现.该系统能使用户随时随地进行自我身体检测,并得到合理的治疗方案.     

基于ASP.NET的电子元器件管理系统的设计与实现

高效的电子元器件管理系统是企业元器件库存规范化和信息化的重要一环。结合某研究所库存电子元器件为应用背景,针对电子元器件种类繁多、型号各异、性能差别等独有的特点,以ASP.NET3.5和SQL Server2005技术为基础,应用B/S架构模式,介绍了一个界面友好、功能完备、操作简单、可维护性强的电子元器件管理系统的设计与实现。     

基于数据挖掘的图书馆数据预处理方法研究

通过挖掘高校图书馆大量的借阅历史数据,从中提取出切实有用的信息及有效的借阅规则,可为读者提供个性化的推荐服务,进而提高图书馆馆藏图书的流通率。但是,高校图书馆数据具有类型复杂、数据量庞大、冗余值较多等特点,很大程度上影响了挖掘效率。因此,在对图书馆数据挖掘之前,先对这些数据进行预处理,就可很好地解决挖掘效率问题。本文结合内蒙古工业大学图书馆一段时间的流通数据,借助SQL Server2012数据库管理工具,详细研究了基于数据挖掘的数据清洗、数据转换和数据规约3种图书馆数据的预处理方法。     

基于Java Excel API的数据库数据导入导出方法研究与实现

在Web应用系统中,用户们经常要求将数据库数据进行导入导出处理。Microsoft Excel是用户非常熟悉的办公软件,因此,Excel作为数据库数据导入导出的中间介质成为最佳选择。为了达到此目的,采用Java Excel API操作Excel文件的方法,实现了仅通过在客户端的操作,将数据库中的数据导出到Excel表格中,并将Excel表格中的数据导入数据库的功能。满足了用户进行数据库数据导入导出的要求。     

基于.NET框架的网站内容管理系统(NetCMS)的设计与实现

随着计算机网络和各类信息技术的发展,近年来对内容管理系统的需求逐渐增加。内容管理系统是一个包含硬件和软件的网络化系统,它能有效解决用户网站建设与信息发布中常见的问题和需求。其核心功能是使用户能够快速开发、维护和管理高性能的动态网站。本文运用Microsoft.Net平台作为开发工具,采用SQL Server 2000作为后台,构建了一个B/S模式的高效、可维护、可重用和灵活的网站内容管理系统。     

电磁场数据可视化系统设计与实现

探讨了电磁场数据可视化的表现形式,相应系统显示的数据内容、流程、总体设计与各模块功能设计,研究了随机分形地形生成,等值线算法,结合计算机图形学,实现等值线图,彩色云图,传播路径图显示。