通用ETL工具的研究与实现

ETL(Extraction-Transformation-Loading)是建立数据仓库的重要一环。通用应用ETL工具应能够适应不同领域不同需求的业务,无论是针对多样化异构的数据源,还是针对复杂变化的转换逻辑,都能够给予很好的支持。研究ETL工具的技术难点,提出一种通用ETL工具的设计框架,并对每个模块做了详细分析,在所承担项目中给出了具体实现。     

VideoTorrent:支持BitTorrent用户的P2P视频点播系统

P2P技术的本质就是利用用户的上传能力来完成数据分发,而增加这种上传能力利用率的途径之一就是增加数据分发时的协作人数.提出一种P2P视频点播系统VideoTorrent.对于所有实现了BitTorrent协议的文件共享系统中的用户,都能和Video Torrent中的用户对于同样的视频内容能进行数据上的交互.VideoTorrent对传统P2P视频点播系统进行了模块功能的扩展和数据交互机制的修改.同时,深入讨论了BitTorrent协议的策略对于系统性能影响.实验表明,支持BitTorrent用户之后,服务器的负载以及用户的体验都有了提高.     

SyncShare:一种用于手机终端的视频实时分享同步机制

描述用于手机终端的视频实时同步播放机制SyncShare,用户利用该机制能通过无线局域网将视频实时地分发给其他用户以便同步观看.同步视频块是同步分享播放的基础,同时网络编码策略也被应用在该系统中.通过将SyncShare机制部署在真实的手机终端上,测试了系统的同步播放性能,例如CPU使用率、电池能量消耗以及延时特性等.同时,不同编码策略下的CPU使用率和电池消耗对比也在实验中得到体现.实验结果表明,使用网络编码能有效减少最多45％的平均同步延时.     

基于向量线段的特殊字符识别

传统的OCR技术在某些特定方面,如印刷体数学公式中特殊字符的识别存在困难和限制,其识别结果的准确率不尽如人意.为此,重点介绍基于向量线段的特殊字符识别算法规则和识别系统的设计.提出通过提取字符中的向量线段进行特征比较的分析方法,并将噪点去除算法融入其中.实验表明,该方法对于特殊字符的分析识别具有较好的准确性和应用前景.     

敏捷软件开发的双迭代模型

在软件开发过程中,软件开发企业能否一方面有效地适应用户需求和商务环境的种种变化,另一方面控制好软件开发的周期和成本,提供高质量的软件,是软件开发企业能否顺利发展壮大的关键.基于最佳实践的敏捷软件开发方法逐渐成为一种潮流,被越来越多的软件开发企业所采用.然而许多企业在实施敏捷过程中往往会出现一些问题,从而未能达到预期的效果.通过对敏捷方法存在的问题的分析,设计一个使用敏捷软件开发方法的双迭代软件开发过程模型.实践证明,双迭代模型能很好地解决敏捷开发方法存在的问题.     

基于改进分组遗传算法的虚拟机放置研究

为了提高云计算的资源利用率以及减少能耗,采用改进的分组遗传算法来解决虚拟机放置的效率.通过对遗传算法的交配和突变等过程进行重新设计,提高遗传算法过程中优秀基因遗传给后代的几率,并提出了相应的算法,达到快速求解虚拟机放置问题的目的.实验结果表明,该算法可以快速采用最少的物理机来放置虚拟机,有效地提高了虚拟机放置问题的求解速度.     

高速移动背景下多目标零件的实时识别系统

针对工业生产中流水线高速移动的环境条件下,工作台上同时存在多个运动的零件等工况,提出一种综合的机器视觉快速识别与定位零件的方法.创新性地通过结合不同图像特征提取方法性能差异,形成级联分析算法,提高了算法效率,也保证了零件被准确识别和定位的准确性,以满足工业生产中的实际需要.系统可以对新零件进行训练,适应不同应用场景的需求,并在模拟的实验平台上进行了大量的测试,显示其在实际工业环境中应用的前景.     

一种适用于大规模网页分类的快速算法

网页分类中存在类别多、训练样本少等问题,一般分类器训练应用效果不佳。为了解决这个问题,提出基于类中心的统计学习方法。在较少人工标注网页的训练集情况下,此方法能取得很好的分类性能并且大幅度加快训练时间,并可以通过加入网页层次目录信息提升推理速度。在第一届LSHTC评测数据集上进行实验,结果表明:基于类中心的统计学习方法拥有较快的训练以及推理速度,并且在正确率上有很强的竞争力。     

KBAC:一种基于K-means的自适应聚类

K-means聚类算法存在的主要不足之处之一在于需要用户指定聚类核数目,在一般应用场景下,用户无法给出合适的聚类核数目.另一方面,K-means聚类所具有的可并行化特点非常适合运用到云计算平台上以处理大规模数据样本的聚类任务.本文提出KBAC算法采用K-means算法作为预聚类过程并在云平台上进行实现和优化,能够自适应确定最佳聚类核数目并进行聚类.其核心思想是将样本空间聚类问题转换为图上社团发现问题.理论和实验证明,通过在云计算框架下实现K-means预聚类过程的并行化,KBAC算法能够高效地对大规模数据进行聚类,并获得高质量的聚类结果.     

基于扩展FAST的高速证券交易接口文件交换方法

针对现有方法冗余度高和文件分段造成带宽浪费、延迟大的问题,提出一种基于扩展FAST的高速证券交易接口文件交换方法-FastFile.将接口文件记录映射为消息进行编码并组成段传输,使接收方即便只收到部分分段,也可解析出所含记录,同时利用扩展FAST高效的编码有效降低数据冗余度.实现了扩展FAST及FastFile,实验比较了FastFile与常用接口文件格式.实验表明FastFile处理数据的粒度更小,可降低重传,数据格式比现有的接口文件格式小70%以上,验证了新方法的可行性与有效性.