云计算下低占用率大数据智能分类仿真研究

针对大数据智能分类效率低、占用率较高的问题,提出了一种云计算下低占用率大数据智能分类方法,采用贝叶斯算法构建智能分类模型,使其后续分类时通过朴素贝叶斯智能分类器可以将容错率降到最小,并构建压缩函数及选择特征使其能够和源数据之间的区分程度相同的,对智能分类模型进行训练,通过训练后的分类模型对源数据进行特征分类,最终完成云计算下大数据智能分类的目的 .仿真结果表明,使用改进方法对大数据分类,其计算过程简单、空间占用率较低,能够有效的缩短数据分类时间,鲁棒性较强.     

基于聚类的数据敏感属性匿名保护算法*

为了防止数据敏感属性的泄露,需要对数据敏感属性进行匿名保护。针对l-多样性模型当前已提出的算法大多是建立在概念层次结构的基础上,该方法会导致不必要的信息损失。为此,将基于属性泛化层次距离KACA算法中的距离度量方法与聚类结合,提出了一种基于聚类的数据敏感属性匿名保护算法。该算法按照l-多样性模型的要求对数据集进行聚类。实验结果表明,该算法既能对数据中的敏感属性值进行匿名保护,又能降低信息的损失程度。     

基于区域对比信息混合编码的图像显著性检测方法

图像显著性检测是为了检测到能够引起视觉注意力的对象区域,利用混合的特征编码能够避免单一的特征编码在检测图像中对象显著性和显著区域精确边界时候的不足.提出一种基于图像区域对比信息和图像语义信息混合编码的图像显著性检测方法.结合图像对比信息编码以及原始图像的语义信息编码,通过卷积神经网络来进行图像显著性检测,保证对显著对象...     

一种新的关联规则增量式更新算法

首先提出了一个新的概念－后备频繁项目集，其次给出了一种新的增量式更新算法NEWFUP，最后介绍了在某中小型商业企业的事务数据库中该算法的实现。     

基于磁盘表存储FP-TREE的关联规则挖掘算法

随着现实待挖掘数据库规模不断增长,系统可使用的内存成为用FP-GROWTH算法进行关联规则挖掘的瓶颈.为了摆脱内存的束缚,对大规模数据库中的数据进行关联规则挖掘,基于磁盘的关联规则挖掘成为重要的研究方向.对此,改进原始的FP-TREE数据结构,提出了一种新颖的基于磁盘表的DTRFP-GROWTH (disk table resident FP-TREE growth)算法.该算法利用磁盘表存储FP-TREE,降低内存使用,在传统FP-GROWTH算法占用过多内存、挖掘工作无法进行时,以独特的磁盘表存储FP-TREE技术,减少内存使用,能够继续完成挖掘工作,适合空间性能优先的场合.不仅如此,该算法还将关联规则挖掘和关系型数据库整合,克服了基于文件系统相关算法效率较低、开发难度较大等问题.在真实数据集上进行了验证实验以及性能分析.实验结果表明,在内存空间有限的情况下,DTRFP-GROWTH算法是一种有效的基于磁盘的关联规则挖掘算法.     

关联规则挖掘中增量式更新算法的研究

关联规则的更新是数据挖掘技术中的一个重要内容,能否有效地挖掘出动态事务数据库中的频繁项目集或关联规则是衡量一个算法好坏的关键因素。该文系统地介绍了关联规则的增量式更新问题,给出或提出了相应的算法,并举例说明了算法的执行过程。     

基于网格化的医学图像不规则特征提取方法

提出了一种针对不容易描述的不规则特征的提取方法:采用贝叶斯启发式学习方法提取图像的聚类变量和等价变量作为特征;用网格划分技术过滤和释放位于稠密超方格的数据项,从而有效减少内存需求、大幅度降低计算复杂度。将此方法应用于医学图像分类器中的特征提取部分,实验结果表明大大地提高了分类的准确率。     

基于重复热点数据的CF广播结构改进算法*

针对现有广播结构构建中对数据访问概率倾斜度考虑不足的问题,在CF索引树的基础上提出了一种基于数据倾斜度的广播构建算法。该算法充分考虑热点数据的请求,根据数据在CF索引树中所处位置的不同,在一个广播周期内重复广播热点数据及其对应的索引节点,尽量减少移动用户的访问时间。最后通过实验验证了改进后广播结构的有效性。     

基于有损连接的个性化隐私保护

数据表的k-匿名化(k-anonymization)是数据发布环境下保护数据隐私的一种重要方法,在此基础上提出的(,)-匿名模型则是有效的个性化隐私保护方法,泛化/隐匿是实现匿名化的传统技术,然而该技术存在效率低,信息损失量大等缺陷。针对上述问题,引入有损连接的思想,提出了基于贪心策略的(,)-匿名聚类算法,该方法通过准标识符属性和敏感属性间的有损连接来保护隐私数据。实验结果表明,与泛化/隐匿方法相比,该方法在信息损失量和时间效率上具有明显的优势,可以获得更好的隐私信息保护。     

基于磁盘存储1项集计数的增量FP_GROWTH算法

随着数据集规模的不断增大,提高频繁项集的挖掘效率成为数据挖掘领域的研究重点.频繁项集的增量更新挖掘算法因其可以利用已挖掘发现的信息提高对新数据集的挖掘效率,成为重要的研究方向.但现有频繁项集增量更新算法大多基于APRIORI算法框架,性能提高有限.最近出现的建立在FP-TREE等树形结构上的增量更新算法又往往存在树形结构调整困难、已发现频繁项集及树形结构保存效率较低等问题,算法性能有待进一步地提高.对此,通过分析增量挖掘过程中的关键信息,提出了一种基于磁盘存储1项集计数的增量FP_GROWTH算法(IU_FPGROWTH_1COUNTING).该算法无需保存临时树形结构及临时挖掘结果,可以在原数据集及支持度均发生变化时,减少FP_GROWTH算法对数据集的扫描,提高频繁项集的挖掘效率.在生成以及真实数据集上进行了验证实验以及性能分析,结果表明IU_FPGROWTH_1COUNTING是一种有效的频繁项集增量更新挖掘算法.