AMTPOS-机床设计一次成功的保证

由我所等单位开发的机床整机结构参数优化分析(ANALYSIS　of　Machine　Tool　and　Para-metrio　Optimization　for　Sturctur,简称AMTPOS)　课题成果于1992年3月25日在机械工业技术发展基金委员会的主持下通过了鉴定。该软件包用于机床整机结构静动态特性分析和结构参数优化计算。AMTPOS软件包经历了一个逐步完善的过程,其主体计算取自德国阿亨工业大学的DYNFIN大型有限元程序,现已移植至VAX系列机并基本汉化。　　　　AMTPOS软件包在主体有限元计算的基础上增加了下列8个功能程序段(见附图):　　　　　　1　.有限元网格…     

分布式海量文本检索系统研究

文章利用分布式中间件技术和数据库技术实现海量数据高速加载与快速检索系统,针对数据库系统文本索引较慢等问题,采用并行索引方式来实现了一种可线性扩展的分布式海量文本数据检索系统。     

基于Oracle10g的VLDB备份与恢复技术

介绍了海量数据库的概念，进行了数据备份与恢复的实验，研究了Oracle10g的几种技术，针对一个实际的、由多节点组成的海量数据库系统，比较了几种备份恢复方式，设计并实现了一套合理、高效的解决方案。     

分布式日志服务关键技术研究

在分析大型分布式系统对日志服务需求的基础上,设计并实现了一种分布式环境下的日志服务。文章从分布式系统的特点出发,介绍了该分布式日志服务中用到的关键技术,包括:体系结构设计、文件缓冲与传输、时钟同步、运行时调试、日志报警等。实际应用表明,采用以上关键技术实现的分布式日志服务有效地简化了分布式应用系统的开发、调试和维护,可广泛应用于各种分布式应用系统中。     

基于频繁词集聚类的海量短文分类方法

信息技术的飞速发展造成了大量的文本数据累积,其中很大一部分是短文本数据.文本分类技术对于从这些海量短文中自动获取知识具有重要意义.但是对于关键词出现次数少的短文,现有的一般文本挖掘算法很难得到可接受的准确度.一些基于语义的分类方法获得了较好的准确度但又由于其低效性而无法适用于海量数据.针对这个问题提出了一个新颖的基于频繁词集聚类的短文分类算法.该算法使用频繁词集聚类来压缩数据,并使用语义信息进行分类.实验表明该算法在对海量短文进行分类时,其准确度和性能超过其它的算法.     

存在级不确定数据上的概率Skyline计算

概率Skyline计算是在不确定对象集合中找出Skyline概率大于给定阈值的对象,在多目标决策应用中有重要价值.现有的存在级不确定数据上的概率Skyline算法均需要预先建立索引,在数据量很大、维度很高或数据频繁更新时,建立索引往往不可行或者不会带来性能的提升,因此有必要设计通用的非索引算法.提出了存在级不确定数据上...     

一种多用户MapReduce集群的作业调度算法的设计与实现

随着更多的企业开始使用数据密集型集群计算系统如Hadoop和Dryad实现了更多的应用,多用户间共享MapRe-duce集群这种既减少了建立独立集群的代价,同时又使得多用户间可以共享更多的大数据集资源的需求日益增多。在公平调度算法的基础上,结合槽分配延迟和优先级的技术,本文提出了一种改进算法,可以实现更好的数据本地性,改善整个系统的计算性能如吞吐率、响应时间等;同时为了满足差别化的商业服务,通过对用户设置相应的优先级保证紧急任务的完成。     

文本多分类中的特征选择研究

特征选择是数据挖掘和机器学习等领域内重要的预处理步骤,近年来得到了广泛的关注。文本数据的高维性往往会影响分类等数据挖掘任务的效率,因此特征选择常被作为文本分类过程中的重要组成部分,以达到降维的目的。随着分类技术的快速发展,类别的日益细化,文本的多类分类问题为特征选择方法提出了更多的挑战。本文面向文本多类分类的应用背景,阐述了目前特征选择方法所面临的主要挑战,给出了多分类特征选择方法的主要种类。本文沿着相关研究的发展路线,由易至难,由浅入深,通过对目前多分类特征选择算法的应用情况进行总结,并进行综述评论,最后对全文进行了概括,提出了未来可能的研究方向。     

面向海量文本数据的多任务并行调度加载技术研究与实现

随着文本数据量的急剧增长,对传统的数据库技术在数据存储、实时数据加载等方面都提出了新的挑战.海量数据管理平台MDMP就是针对海量文本数据的存储及管理需求而研制的.根据文本数据的特点,通过对大数据按照其内容和时间等属性进行划分,使得对一批海量数据的加载过程被分解为若干不相关的加栽子任务,从而利用合理的并行调度算法使各个加栽子任务高度并行执行.MDMP中基于多任务并行调度加栽技术提供了高性能的加载.主要研究了多任务并行调度加载技术.     

基于分层计数型Bloom过滤器的进化数据流计数

许多应用场景所产生的数据流中,元素的频数分布符合重尾分布的特点,即大部分元素的频数较小而少部分元素的频数较大.为了解决数据流中所有相异元素及其频数的高效存储问题,提出了一个基于分层的计数型布卢姆过滤器(hierarchical counting Bloom filter,HCBF)保存所有元素频数的方法.该方法采用长度递减、计数单位递增的多层计数型布卢姆过滤器作为存储数据结构,多层过滤器共同组成元素的频数.与两个经典的计数型布卢姆过滤器CBF和DCF相比,HCBF更加适合真实数据流元素频数分布的重尾特点,在不影响查询性能和错误率的前提下,能够显著地降低空间开销.理论分析与实验结果验证了该结论.