基于反馈信息的特征权重调整方法

训练集的分布对文本分类质量有重要影响。该文对两类文本分类中的数据集偏斜问题进行研究,提出一种基于反馈信息的特征权重调整方法,该方法综合考虑正确分类和错误分类的文本数来调整词的权重,以降低训练过程中对小类别的不公平待遇。实验结果表明,该方法有效地解决了数据集偏斜对文本分类的影响,分类质量得到提高。     

基于条件生成模型的高效近似查询处理框架

提出新型的近似查询处理方法,以克服近似查询处理任务中数据偏斜所导致的查询准确率低的问题. 该方法以条件生成对抗神经网络为基础,融入条件变分自编码器,保证算法执行的稳定性,提高模型准确率;使用Wasserstein距离衡量模型误差,防止模型坍塌. 基于该条件生成模型实现近似查询处理,回答用户查询而无须访问底层数据,避免磁盘交互,并与聚集预计算相结合,构成高效的近似查询处理框架,能更加准确、快速地回答交互式查询. 设计高效的表决算法,对模型生成的样本以及样本内部数据进行过滤,提高生成的样本质量,最小化查询误差. 实验结果表明,与其他近似查询处理算法相比,该方法可以有效克服数据偏斜的影响,同时能够在更短的交互时间内更加准确地回答用户查询.     

层次式文本分类的Nave Bayes改进方法

Nave Bayes方法在文本分类中的决策强烈依赖于主观选择的样本关于类别的分布。本文利用层次式分类的特点并引入概率条件改进Nave Bayes方法,使其在每个内部类别所属的子类局部数据中进行决策,缓解了全局数据分布对分类器的影响,部分克服了数据偏斜问题。实验表明,改进方法在层次式分类中的效果较Nave Bayes方法有显著提高。     

抗数据偏斜的高效并行join运算算法研究

通过分析ABJ 算法和Hybrid hash join算法,并对两个算法进行了结合和改进,提出了一种能克服各种数据偏斜的并行二元连接运算算法,可在不同的数据偏斜情况下启动不同的模块,克服数据偏斜造成的负载不平衡现象。     

数据偏斜和工作量平衡的度量

在进行并行关联规则挖掘时,数据偏斜和工作量平衡这两个数据分布特征影响着剪枝的有效性.本文提出了用定量的方式对数据偏斜和工作量平衡进行度量,并对不同值的组合进行了分析,以便在以后研究算法时可以有效地调整这两个特征值以提高剪枝的性能.     

解决并行JOIN中数据偏斜的一种方法

1.引言 最近的研究表明,数据库系统也可以利用并行处理来提高更大、更复杂查询的效,因为关系操作是面向集合的操作,本身就具有一定的可并行特性,这为查询优化在选择并行取路径时提供了很大的灵活性。     

层次式文本分类的Naive Bayes改进方法

Naive Bayes方法在文本分类中的决策强烈依赖于主观选择的样本关于类别的分布。本文利用层次式分类的特点并引入概率条件改进Naive Bayes方法,使其在每个内部类别所属的子类局部数据中进行决策,缓解了全局数据分布对分类器的影响,部分克服了数据偏斜问题。实验表明,改进方法在层次式分类中的效果较Naive Bayes方法有显著提高     

抗数据偏斜的高效并行join运算算法研究

通过分析ABJ＋算法和Hybrid hash join算法,并对两个算法进行了结合和改进,提出了一种能克服各种数据偏斜的并行二元连接运算算法,可在不同的数据偏斜情况下启动不同的模块,克服数据偏斜造成的负载不平衡现象。     

相关规则的并行算法

给出了一个相关规则新的并行算法，利用DHP算法中的HASH技术削减候选集，同时对DHP算法进行改进以利于并行算法的实现，在并行化设计中充分利用DMA及OA算法的鹊巢原理及分割思想，针对DMA及OA算法的优越性依赖于数据的特性，提出了动态调整策略，根据数据偏斜情况决定是否采用削剪策略，从而解决数据偏斜问题。