面向多表数据连接投影和连接顺序的优化方法

多表连接运算是大数据处理中常见的运算。类似于数据库运算中常见的连接操作,多表连接运算的顺序会对计算资源和传输资源的消耗产生巨大影响。对多表连接顺序的优化是一个经典的优化问题,同时每次连接中表的投影结果大小也会影响节点间传输的数据体积,因此整体连接的顺序和每次连接的投影关系都会对连接效率产生显著的影响,而在传统的优化策略中,往往不会考虑到中间投影关系的取舍问题,以及基于中间投影关系而对最优连接策略产生的影响。针对这个问题,建立了一种连接关系索引,能够在构建优化连接策略中调整每次连接的投影关系,及时删除冗余列,减少对传输资源的消耗,同时基于投影关系的优化调整连接顺序的优化策略,从全局考量上尽可能地同时减少对传输资源和计算资源的消耗。该优化策略在Flink系统实现后进行了实验,结果表明有显著的优化效果。     

大数据相似性连接查询技术研究进展

为了深入理解和全面把握大数据相似性连接查询技术的研究进展，更好地促进其在图片聚类、实体解析、相似文档检测、相似轨迹检索等领域的广泛应用，对大数据相似性连接查询技术相关研究工作进行了深入调研和分析。首先对相似性连接查询的基本概念进行了介绍，然后分别对集合、向量、空间数据、概率数据、字符串等不同类型大数据的相似性连接查询相关研究工作进行了深入研究，对其优缺点进行了分析和总结。最后，指出了大数据相似性连接查询面临的若干挑战性问题及未来的研究重点。     

I/O-efficient join dependency testing,Loomis–Whitney join,and triangle enumeration

We revisit two fundamental problems in database theory. The join-dependency (JD) testing problem is to determine whether a given JD holds on a relation r. We prove that the problem is NP-hard even if the JD involves only relations each of which has only two attributes. The JD-existence testing problem is to determine if there exists any non-trivial JD satisfied by r. We present an I/O-efficient algorithm in the external memory model, which in fact settles the closely related Loomis–Whitney enumeration problem. As a side product, we solve the triangle enumeration problem with the optimal I/O-complexity, improving a recent result of Pagh and Silvestri in PODS'14.     

带式输送机参数化绘图中运输段衔接问题研究

要实现带式输送机的参数化绘图,人们多运用模块化思想,将带式输送机的各组成部件分别成块,选择需要部件进行衔接。作为带式输送机重要部分的运输段、直线段和凸凹弧段的合理衔接成为构成各种工况的关键。通过简单几何原理,将冗繁的衔接简单化,实现带式输送机的参数化绘图。     

RBSiC陶瓷素坯连接研究

将碳化硅(Si C)微粉、酚醛树脂和炭黑等均匀混合,配置成连接浆料,真空除泡后连接Si C陶瓷素坯,高温反应烧结后得到反应烧结Si C(RBSi C)连接镜坯。讨论了浆料配方对焊缝显微结构的影响,测试了RBSi C连接坯体的力学性能和线膨胀系数。研究表明:连接浆料中加入聚乙二醇200(PEG200)和聚乙烯醇吡咯烷酮(PVP),能够有效分散炭黑,保证反应烧结过程中炭黑与硅完全反应,无残余碳存在,实现焊缝与基材之间显微结构的一致性;Si C连接坯体素坯和反应烧结后的抗弯强度值分别24.9 MPa和322.9 MPa,而且断裂位置在基材上;在-100~400℃范围内,RBSi C连接坯体与基体线膨胀系数差异仅为0.011 4 ppm。     

Delphi与VC＋＋混合编程技术在工控软件中的应用

综合实际开发过程，介绍了柴油稠合软件中使用的Dephi与VCC＋＋混合编程技术及其实现方法，给出了相关的实际例程。     

“三规合一”数据的注记图层坐标转换处理方法研究

注记图层因为存储了文字的位置信息,且具有相对比例尺,字体大小可以相对变化,越来越多地被应用于GIS数据建库中。 ArcGIS MDB坐标转换中,注记图层的处理不同于普通的点线面图层。本文详细讲述了＂三规合一＂数据坐标转换中注记图层的处理方法和过程,通过本方法进行处理,既省略了重建注记子类型分类的步骤,减少手工录入量,又保留了原有图层各属性字段内容,同时也保留了注记字体、大小、角度等相关显示信息,能最大程度保持原有注记显示效果。     

实时数据仓库中一种改进的数据流更新算法

为实现数据仓库中数据的高效集成,针对数据偏斜分布现象,提出一种改进的数据流更新算法EH-JOIN。该算法对传统散列连接方法进行改进,利用索引将部分频繁使用的主数据存储在内存中,解决了高速数据流下的磁盘频繁访问问题。实验结果表明,与MESHJOIN算法和R-MESHJOIN算法相比,EH-JOIN算法的服务速率在磁盘存储关系集保持适当大小时分别提高了96%和81%,在内存大小不同时提高了57%和48%。     

GMDJ技术在数据仓库中的应用研究

针对一系列大气监测指标的分析要求,建立了大气分析系统的立方体模型.探讨了GMDJ(General Multi-Dimensional Join,通用的多维联接)技术在哈尔滨市环保局大气分析系统中的具体应用问题.并在此基础上,将GMDJ技术引入MIS(Management Information System,管理信息系统)领域,解决了实际应用中遇到的OLAP(Online Analytical Processing,联机分析处理)查询问题.举例说明了用GMDJ表示OLAP查询任务的方法,以高度简洁的代数形式表达了十分复杂的OLAP查询任务,从而提高了系统的查询响应速度,优化了系统性能.     

基于空间连接的公路震害数据属性关联

为了研究基础因子对公路震害的影响机理,关联公路震害空间数据属性,应用考虑空间对象集和空间谓词的空间连接理论,面向公路震害分布规律研究需求,利用地理信息系统,研究了震害点数据与基础因子面数据的属性关联、震害点数据与基础因子线数据的属性关联。基于此,分析了映秀-汶川附近震区公路地质灾害与坡度的空间分布关系。分析结果表明,研究区域公路地质灾害的分布具有明显的坡度差异性,呈现出"中间高,两头低"的规律,与实际情况相符,此研究有效提高了震区公路病害空间分布规律研究的效率和精度。