基于网络编码的P2P流媒体推拉结合数据调度方法customR2

相比传统的基于Pull模式的P2P流媒体数据调度方法,基于随机网络编码的随机Push方法R2具有提高视频服务质量、降低服务器负载和增强对节点动态的适应能力等优势,但是容易产生大量的冗余编码数据块,消耗一定的网络带宽的问题。因此提出了一个基于网络编码的P2P流媒体推拉结合数据调度方法customR2。当下游节点某个数据段所需的编码数据块将要接收完成时,通知它的种子节点停止向它Push该数据段编码数据块,转为向它的种子节点定制所需的编码数据块,从而有效减少了冗余编码数据块的产生。通过仿真实验,从播放延迟、流速率、网络规模等方面对customR2和R2进行了性能对比,实验结果表明customR2相比R2具有较小的编码数据块冗余度和较高的节点播放质量。     

面向服务的云数据挖掘引擎的研究

数据挖掘算法处理海量数据时,扩展性受到制约。在商业和科学研究的各个领域,知识发现的过程和需求差异较大,需要有效的机制来设计和运行各种类型的分布式数据挖掘应用。提出了一种面向服务的云数据挖掘引擎的框架CloudDM。不同于基于网格的分布式数据挖掘框架,CloudDM利用开源云计算平台Hadoop处理海量数据的能力,以面向服务的形式支持分布式数据挖掘应用的设计和运行,并描述面向服务的云数据挖掘引擎系统的关键部件和实现技术。依据面向服务的软件体系结构和基于云平台的数据挖掘引擎,可以有效解决海量数据挖掘中的海量数据存储、数据处理和数据挖掘算法互操作性等问题。     

数据挖掘取样方法研究

取样方法这种有效的近似技术在现在的数据挖掘研究中能够最大限度的减小数据集的处理规模,将大规模数据集及数据流数据上以数据挖掘算法进行处理。取样法具有通用有效的特点。本文化通过对数据挖掘领域的取样方法分类以及影响取样方法选择的因素等问题进行分析研究,着重探讨了数据挖掘领域的代表性取样方选用以及应用发展。     

Hadoop下基于粗糙集与贝叶斯的气象数据挖掘研究

随着气象信息化程度不断提高,气象部门积累了海量的气象数据,如何从海量的数据中获取有用的知识,成为人们关注的重点。气象数据具有维度高、依赖性强等特点,这就对气象数据挖掘提出了更高的要求。经典数据挖掘算法在处理海量气象数据时在性能与准确率方面无法获得较好的结果。在分析了MapReduce计算模型与粗糙集、贝叶斯分类的基础上,给出了基于MapReduce的计算等价类的数据约简算法与朴素贝叶斯分类算法。最后在Hadoop平台上进行了相关实验。实验结果表明,该并行数据挖掘方案可以有效处理海量气象数据,并具有良好的扩展性。     

用数据挖掘观点看生物大分子一级结构的编码

生物大分子是由一级结构字符串编码的。我们可以重新编码这些字符串并将它们转换为关系表格。数据挖掘系统通常就是用关系表格来编码数据的，因而在数据挖掘系统中编码方法对所发现知识的质量和表述具有直接的影响。     

基于大云数据快速挖掘过程的研究与仿真

研究大云数据快速挖掘优化控制问题.在大云数据环境下,产生的海量数据通常是地理上分布、异构、动态的,复杂性也越来越高,若用传统的集中式云计算算法对数据进行挖掘处理,会使算法陷入无穷对比的境地,造成算法不收敛,复杂度高的弊端.为解决上述问题,提出了一种并行Apriori算法的大云数据挖掘方法.对大云数据进行简化处理,去除其中的冗余数据,为大云数据快速挖掘提供数据基础.计算大云数据中的关联规则,从而获取大云数据之间的相关性.对大云数据进行处理,实现大云数据挖掘.实验结果表明,利用改进算法进行大云数据挖掘处理,能够有效提高数据挖掘的速度,存在较强的优越性.     

基于云计算的数据挖掘技术研究

目前,网络中利用数据挖掘技术抽取有效信息成为数据挖掘研究的热点。介绍数据挖掘的流程和分类,并对在云端进行数据的收集和储存提出自己的思想。重点对数据收集的网格和分形维数的聚类算法(GFDC),以及在网络频繁的数据迁移中处理好Master和服务器之间的关系进行了改进。     

改进模拟退火算法在数据挖掘中的应用

数据挖掘的目标是处理大量的数据,从中提取知识.对模拟退火算法进行改进并应用于数据挖掘中.实验证明,在对数据进行聚类分析时算法体现其有效性,可以获得较好的聚类结果.     

基于元信息的粗糙集规则增式生成方法

粗糙集方法已成为数据挖掘的重要手段.由于数据挖掘需要处理大量的数据,并且数据动态递增,因而粗糙集方法需要具备处理大数据库数据的能力,以及有效处理动态递增数据的能力.然而,当前大多数粗糙集方法缺乏这些能力.对此,作者提出基于元信息的粗糙集规则增式生成方法.元信息是数据挖掘中间结果的描述,该方法首先渐增生成当前数据场的元信息,再从元信息中推导出规则.由于元信息是可重用的,因而该方法仅处理还未处理的数据,从而减少了数据挖掘的时间.同时,元信息的可重用性为数据挖掘系统的故障恢复提供了一种手段,提高了系统的鲁棒性.     

数据挖掘的实施分析

在介绍数据挖掘技术的基础上 ,讨论了数据挖掘的实施过程 ,分析并给出了实施有效挖掘的具体步骤 ,重点分析了其过程中的技术手段和核心环节。指出了数据挖掘的成功取决于对数据的合理处理及算法选择。     

机械制造业仓库实时管理方法

通过对以往领料流程和采购入库的研究分析,提出了仓库实时管理的概念.在整个领料、发料、仓库核销及入库的过程当中,运用无线条码扫描技术,大大减少了人为因素,避免了由于主观原因造成的领发料错误;并且在采购入库过程中,运用关联规则数据挖掘Apriori算法对领料数据进行挖掘,实现对采购入库计划的指导,减少了采购计划计划的盲目性...     

基于二维码的内外网物理隔离环境下的数据交换

针对保密性较高的工作数据或者其他原因导致的内外网物理隔离环境下数据交换困难的问题,通过对二维码生成和解析过程的研究,并且利用二维码可以携带数据、成本低和可随载体移动的特性,提出了使用二维码来解决一些特殊情况下的数据交换问题。由于单个二维码可携带数据有限,提出利用Protocol Buffer格式和LZMA压缩算法来简化和压缩需要通过二维码传输的数据,对于大型数据则采取多个二维码的组合方式传输。另外还简述了基于二维码的数据交换的应用前景。     

存储网格中数据高可靠获取的新编码方案*

为了保证存储网格中数据的高可获取性,提出了一种对数据资源进行RS编码和LT编码级联的新方法,使RS码和LT码互相促进,同时实现纠删和纠错,这是单独采用两种编码都无法达到的。仿真结果表明,RS-LT级联编码可提高LT码译码成功概率,能够以较小的系统代价大幅度提高数据的可获取性。     

HRMC_2.1: Hybrid Reverse Monte Carlo method with silicon,carbon, germanium and silicon carbide potentials

The Hybrid Reverse Monte Carlo (HRMC) code models the atomic structure of materials via the use of a combination of constraints including experimental diffraction data and an empirical energy potential. In this version 2.1 update, an empirical potential for silicon-carbide has been added to the code along with an experimentally motivated constraint on the bond type fraction applicable to systems containing multiple elements.     

基于Profibus的物流监控系统设计

论述了Profibus-DP现场总线在物流监控系统控制中的应用,根据物流监控系统的实际需要,完成了监控系统硬件和软件的设计,实现了PLC控制传送带运动,物料条形码、颜色、重量、形状和尺寸数据的采集,物料的仓库存取等操作。     

An Optimizing Compiler for Automatic Shader Bounding

Programmable shading provides artistic control over materials and geometry, but the black box nature of shaders makes some rendering optimizations difficult to apply. In many cases, it is desirable to compute bounds of shaders in order to speed up rendering. A bounding shader can be automatically derived from the original shader by a compiler using interval analysis, but creating optimized interval arithmetic code is non‐trivial. A key insight in this paper is that shaders contain metadata that can be automatically extracted by the compiler using data flow analysis. We present a number of domain‐specific optimizations that make the generated code faster, while computing the same bounds as before. This enables a wider use and opens up possibilities for more efficient rendering. Our results show that on average 42–44% of the shader instructions can be eliminated for a common use case: single‐sided bounding shaders used in lightcuts and importance sampling.     

Crafting interaction: The epistemology of modern programming

There is a long tradition in design of discussing materials and the craft of making artefacts. “Smart” and interactive materials affected what constitutes a material. Interaction design is a design activity that creates the appearance and behaviour of information technology, challenged by the illusiveness of interactive materials. With the increased design space of ubiquitous devices, designers can no longer rely on a design process based on known interaction idioms, especially for innovative highly interactive designs. This impedes the design process, because non-interactive materials, by which designers create sketches, storyboards, and mock-up prototypes, do not provide the essential talkbacks needed to make reliable assessments of the design characteristics. Without a well-defined design, the engineering process of artefacts has unclear ends, which are not encompassed in the rational epistemology of engineering. To value the experiential qualities of these artefacts, the prototypes need to be interactive and crafted in code. This paper investigates the materiality of information technology, specifically programming language code from which interactive artefacts are made. A study of users of programming languages investigates how they describe programming language code as a material. If you have a material, it is reasonable, because of the tradition in the material and craft fields, to say you have a craft. Thus, considering code a design material allows the metaphor of craft to be used for the activity of programming.     

一种混合局部恢复码及Hitchhiker码的存储策略

我们正处于一个大数据的时代.如今一个分布式存储系统需要存放PB数量级数据的情况越来越常见.这些系统一般由普通商用组件构成,其出错率相对较高.由此,分布式存储系统需要保证数据的可靠性和可用性.多副本和纠删码是现在最为常用的技术.相比多副本技术,采用纠删码能在同等容错能力下大幅降低存储开销.然而,在进行数据恢复时,使用传统的纠删码(如Reed-Solomon码)会导致系统中产生大量的网络带宽消耗及磁盘读写操作,进而导致退化读延迟过高.注意到在系统中数据的访问频率呈Zipf分布,大多数数据访问只涉及到少量数据,而绝大多数数据的被访频率很低.根据这种数据访问的偏斜性,本文提出如下存储策略以解决采用纠删码的系统退化读延迟过高的问题:对被访频率高的热数据采用低恢复延迟的纠删码(如局部恢复码Local Reconstruction Code,LRC)进行编码,而对被访频率低的冷数据采用保证最小存储开销的纠删码(如Hitchhiker码)进行编码.由于热数据占据了绝大多数的数据访问,因此绝大多数的退化读也将应用在这些热数据上,这样这一策略就能在整个系统的角度获取低恢复开销的优势.同时,冷数据占据了系统绝大多数的数据量,且冷数据由保证最小存储开销的编码进行存储,因此这一策略的存储开销会很低.然而,对于混合存储策略而言,热数据可能会变冷,而冷数据也可能会变热,因此它需要配置一种编码切换过程.一个不恰当的编码切换过程会引起巨大的数据传输量,这是难以让人接受的.为了避免这一缺陷,本文提出了一种LRC和Hitchhiker码之间的高效切换算法.这一算法可以避免上述策略在部署时因冷热数据的转换出现系统瓶颈.在精心选取了两种编码并提出它们之间的高效切换算法后,本文提出的混合存储策略避免了现阶段其余混合存储策略的主要缺点.通过实验验证,此存储策略相较传统的Reed-Solomon码在退化读延迟方面降低了55.8%.在编码切换方面,切换延迟能分别降低为重新编码算法用时的13.4%及33.1%,且当数据从LRC切换为Hitchhiker码时(更为频繁出现的情况)的数据传输量能降至10%.     

Software trustworthiness 2.0—A semantic web enabled global source code analysis approach

There has been an ongoing trend toward collaborative software development using open and shared source code published in large software repositories on the Internet. While traditional source code analysis techniques perform well in single project contexts, new types of source code analysis techniques are ermerging, which focus on global source code analysis challenges. In this article, we discuss how the Semantic Web, can become an enabling technology to provide a standardized, formal, and semantic rich representations for modeling and analyzing large global source code corpora. Furthermore, inference services and other services provided by Semantic Web technologies can be used to support a variety of core source code analysis techniques, such as semantic code search, call graph construction, and clone detection. In this paper, we introduce SeCold, the first publicly available online linked data source code dataset for software engineering researchers and practitioners. Along with its dataset, SeCold also provides some Semantic Web enabled core services to support the analysis of Internet-scale source code repositories. We illustrated through several examples how this linked data combined with Semantic Web technologies can be harvested for different source code analysis tasks to support software trustworthiness. For the case studies, we combine both our linked-data set and Semantic Web enabled source code analysis services with knowledge extracted from StackOverflow, a crowdsourcing website. These case studies, we demonstrate that our approach is not only capable of crawling, processing, and scaling to traditional types of structured data (e.g., source code), but also supports emerging non-structured data sources, such as crowdsourced information (e.g., StackOverflow.com) to support a global source code analysis context.     

基于ELF文件的智能反汇编技术研究

智能反汇编技术关键在于代码和数据的分离,目前流行的递归扫描算法无法从根本上解决这个问题。本文在对AD-SP218X芯片ELF目标文件格式分析的基础上,提出了一种实现代码和数据分离的方法,能以较低时间和空间开销完成目标代码的反汇编。