ArchDB:一个高可靠高性能海量归档流数据库

当前,在科学实验、网站安全、内网审计等诸多领域,监视在线事务或跟踪用户行为会产生大规模归档流数据.这些归档系统规模可达PB级(10~(15)B).在如此规模下存储和分析这些结构化数据至少带来3个挑战;1)数据可靠性问题;2)高效存储和分析高速持续的流数据问题;3)高性能和高可靠目标之间的冲突问题.在分析归档流数据特征的基础上,提出了一种新的高可靠数据库体系结构ArchDB.ArchDB由两部分组成:其一负责加载和查询较小规模的当前数据;其二负责存储和查询大规模的历史归档数据.通过优化设计ArchDB中的数据分布策略、数据块尺寸和归档时机、数据存储和归档流水化机制来高效可靠管理大规模数据.实验结果表明ArchDB既能加倍数据加栽性能,又能加速恢复过程,其加速效果取决于恢复并发度.     

一种基于分布对象技术的Agent计算框架

随着ＣＯＲＢＡ等分布计算技术的发展,分布式应用开始关注系统的可靠性,可用性,开放性,计算资源共享与可重用等问题。面向Ａｇｅｎｔ的分布计算技术是解决上述问题的有效手段。文中基于面向Ａｇｅｎｔ的计算观点,论述了分布式应用及其内部分布对象之间的关系,并针对系统可靠性以及可用性的需求,在ＣＯＲＢＡ平台上实现了一个Ａｇｅｎｔ框架,用于构造面向Ａｇｎｅｔ的分布式应用。     

基于微观经济学方法的网络资源分配研究

随着Internet应用迅猛发展,网络资源相对匮乏的问题日渐突出。如何合理分配有限的资源为不同服务质量需求的应用提供服务,提高资源使用效率,是亟等解决的问题。近年来,研究者把微观经济学方法引入网络资源分配领域,为这一领域的研究提出崭新的思路,具有重大意义。详细分析了基于微观经济学方法网络资源分配研究的最新进展,并指出当前研究存在的问题以及下一步研究的方向。     

数据库复制技术研究进展

在简要说明数据库复制技术目标的基础上,本文重点展开论述了数据库复制中的核心问题、解决方法与研究现状。通过对已有复制协议从不同侧面的分类,本文分析了各种协议不同的性能和可用性特点;通过对lazy和eager两种模式下复制协议的深入分析,揭示了技术发展的历史脉络和当前进展;对新兴应用需求进行归纳,得出了数据库复制技术可能的新发展方向。     

支持协同应用的一种组通信方案的设计和实现

协同在分布系统应用中是一个很有前途的新领域,该应用对分布技术提出了新的要求和挑战。在这种新的分布环境中,对象组模型是问题的关键所在。在本文中,我们基于ＣＯＲＢＡ平台,针对ＣＳＣＷ应用的要求,提出了一种对象组模型,介绍了组模型中各类对象之间的交互和协调关系,并给出了主要对象的接口定义语言的描述和说明。     

跳跃滤波:一种面向大数据治理的动态数据摘要设计

随着信息技术的迅速发展,数据体量维持指数增长,数据价值挖掘困难,这为数据采集、清洗、存储、共享等数据生命周期中各环节的高效管控带来极大的挑战.数据摘要技术利用哈希表/矩阵/位向量对数据的频数、基数、成员关系等核心基础特性进行追踪,使得数据摘要自身成为元数据,并在共享、传输、更新等场景得到广泛应用.大数据的快速流转特性更是催生了动态数据摘要技术.现有的动态数据摘要技术通过动态维护链状或树状结构的概率数据结构列表,具有其容量随数据流大小而扩增或缩减的优势,然而也存在空间开销过大以及时间开销随数据基数增加而增长的缺陷.基于先进的跳跃一致性哈希理论,设计了一种面向大数据治理的动态数据摘要技术.该方法可以同时实现随数据基数线性增长的空间开销以及数据处理分析常数级别的时间开销,能够有效地支撑要求苛刻的多种大数据处理分析任务.在多种合成和真实数据集上,通过与传统方法实验对比,验证了所提方法的有效性和高效性.     

TensorFlow开源软件社区中贡献修订的实证研究

人工智能(artificial intelligence, AI)的飞速发展得益于开源社区的开放协同,大量的开发者通过提交PR(pull-request)为AI开源软件做贡献.然而,外部贡献者所提交的PR质量参差不齐,开源项目管理团队需要对PR进行代码审查,并要求贡献者根据审查意见对PR进行修订. PR的修订过程对AI开源软件的质量有着重要的影响,因此对该过程进行更加全面、深入的实证研究很有必要.首先,从TensorFlow开源软件社区中收集一组PR的修订历史,通过对PR的代码提交信息以及审查评论进行定性分析,归纳总结PR修订类型的分类体系.其次,根据此分类体系人工标注一组修订数据集,并基于此数据集定量分析不同修订类型的频率分布、次序分布以及关联关系.研究结果表明:TensorFlow开源社区中的PR存在3大类共11种不同类型的修订,其中完善类修订出现的频率最高;此外,相比于其他类修订和完善类修订,修正类修订更常发生在PR的早期更新中;与结构相关的修订更有可能与其他类型的修订同现或邻现,配置修订以及变基修订有较大概率会接连出现.实证研究结果可帮助AI开源实践者和研究者更好地理解PR的修...     

面向对等社区的信誉证据服务

对等社区是一类支持网络节点对等的进行信息交换和交易的分布式系统。单个网络节点通常参与多个对等社区,但是现有信誉系统仅根据社区内部证据计算节点信誉,忽略了信誉只有综合考虑其参与的所有社区中的证据才能得到这一社会特性。提出了一种新的信誉组合服务体系结构RepCom在众多社区间实现相关信誉证据的安全收集和管理。RepCom引入一种信誉权威网络实现证据的发布、搜索和获取,并利用逻辑引擎实现基于社区的证据信任策略。RepCom有助于构造全新的通用信誉管理服务,使信誉能够反映节点在不同社区的全局行为。     

基于面向方面编程的线程自主管理

将面向方面编程的关注点分离思想应用于线程运行的自主管理研究中,提出面向方面的线程自主管理模型,在此基础上实现通用线程自控制器(GTAC)。它能在不改变源程序的情况下织入系统内部,按照用户制定的策略,通过反射机制提供线程运行的自主管理功能。GTAC已实际应用到一个大规模高可用信息传输系统中,取得了良好的效果。     

一种软件可信分级模型

软件可信评估是软件可信研究中的一个新方向,相关的理论和方法还处在研究阶段。在分析软件可信内涵的基础上,提出了一种分层的软件可信分级模型。该模型定义了软件可信属性模型与软件可信等级,建立了软件可信证据参考模型,并描述了可信属性、可信等级、可信证据以及可信评价指标之间的内在联系。软件可信分级模型为建立软件可信评估机制提供了一种有效的方法。