面向多表数据连接投影和连接顺序的优化方法

多表连接运算是大数据处理中常见的运算。类似于数据库运算中常见的连接操作,多表连接运算的顺序会对计算资源和传输资源的消耗产生巨大影响。对多表连接顺序的优化是一个经典的优化问题,同时每次连接中表的投影结果大小也会影响节点间传输的数据体积,因此整体连接的顺序和每次连接的投影关系都会对连接效率产生显著的影响,而在传统的优化策略中,往往不会考虑到中间投影关系的取舍问题,以及基于中间投影关系而对最优连接策略产生的影响。针对这个问题,建立了一种连接关系索引,能够在构建优化连接策略中调整每次连接的投影关系,及时删除冗余列,减少对传输资源的消耗,同时基于投影关系的优化调整连接顺序的优化策略,从全局考量上尽可能地同时减少对传输资源和计算资源的消耗。该优化策略在Flink系统实现后进行了实验,结果表明有显著的优化效果。     

挖掘微阵列数据集中的最大局部保守基因聚类

提出了一种新的基因聚类模型LC-cluster(局部保守基因聚类).其思想来源于当前的bicluster模型和emerging模式,但有着本质的不同.一个基因的表达水平被称为局部保守,如果它只在所有给定条件中的一部分(而非全部)上保持相似的"丰度".一个LC-cluster中的样本可能对应着某种显型,其中的基因是与这种显型密切相关的候选基因.设计了两种有效的基于树的聚类算法FALCONER和E-FALCONER,来挖掘提出的LC-cluster.从多方面分析了该算法的性能,并将其用于真实表达数据集及人造数据集聚类.理论分析和实验结果表明:①算法能有效且高效地发现大量具有生物意义的局部保守基因聚类;②算法性能优于同类的基于穷举树的聚类算法.     

一种基于Dwarf的快速有效增量更新算法

数据立方计算是代价非常大的操作，并且被广泛研究。受空问的限制，存储一个完全实例化的数据立方是不可行的。最近提出的一种语义压缩数据立方一Dwarf，通过消除前缀冗余和后缀冗余把一个完全实例化的数据立方压缩存储到一个很小的空问。然而，当数据源发生变化时，它的更新过程是很复杂的。本文通过研究Dwarf在更新过程中汇总结点的变化特性，提出了一种基于Dwarf的新的增量更新算法，既能完全实例化数据立方又不需要重新计算，大大提高了数据立方的更新效率。实验进一步证明了该算法的效率和有效性，尤其适合数据仓库中的高维数据集。     

一种用于基因表达数据的无参数聚类算法

提出了一种用于基因表达数据的无参数聚类算法。该算法把多维数据的模糊聚类方法与CTWC相结合,并引入基于范数的方法进一步对该方法加以改进和论证。将该算法应用于真实的结肠癌基因表达数据集,确定了含8个基因的特征基因组合,该特征基因组合不仅达到了90%左右的结肠癌样本识别率,还能鉴别结肠癌样本的亚型。实验结果充分验证了这种算法的可行性。     

一种考虑基因间相互关系的投影聚类算法

针对现有基因表达数据投影聚类算法假定基因相互独立,根据每个基因的独立区分度选择相关投影空间的不足,提出了根据基因间相互关系进行投影聚类的算法MOLION.通过将基因表达数据转换为序列数据,基于设定的用户偏好函数,采用分界判定法对样本穷举树进行快速地深度优先遍历,同时应用了高效的削减和优化策略.几个真实微阵列数据集上的实验证实了提出的算法具有较高的效率和预测准确性,为考察疾病表型的形成原因提供了一个新视角.     

有源滤波与动态无功综合补偿控制装置设计

针对传统有源电力滤波器的容量与成本的矛盾,设计了一种基于数字信号处理器和可编程逻辑门阵列的有源滤波与动态无功功率综合补偿控制装置.该装置将有源电力滤波器（APF）及晶闸管投切电容器（TSC）进行混合滤波,使该装置兼具有源滤波与无功功率补偿的优点,具有有效补偿各次谐波,抑制闪变,补偿无功,提高功率因数,改善配电网电能质量的功能.利用Matlab/Simulink对该装置进行了仿真验证,并将其应用于电动汽车充电站,装置运行效果良好.