基于MAP-REDUCE的大数据不一致性解决算法

大数据时代悄然而至,数据质量也引起人们的关注。在提高数据质量方面,很重要的一部分是解决数据不一致性问题。针对大数据情况下的数据不一致问题,本文提出了在MAP-REDUCE框架下的聚类算法。本文在MAP-REDUCE框架下对K-MEDOIDS聚类算法进行了改进,增强了算法的适用性和精确性,并通过仿真实验验证了在大数据环境下该算法的并行性和有效性。     

基于Bloom filter的RFID中间件数据过滤算法研究

有效地减少RFID系统中冗余阅读器或天线采集到的大量重复数据,可以降低系统能耗和提高处理效率。经研究,提出采用改进的布隆过滤器(Bloom filter)对RFID采集数据进行去重过滤,并运用到中间件系统中。改进的Bloom filter主要将两个标准的Bloom filter组成二维并行Bloom filter,对RFID采集数据所包含的两个属性值tag ID和reader ID进行并行过滤。经实验可见,标准Bloom filter与哈希过滤(hash filter)相比具有明显的优势,对其改进后,采用二维并行Bloom filter在误判率、吞吐率和存储空间上具有更高的系统性能。     

面向二进制数据帧的聚类系统

为了分离复杂无线网络环境下获取到的二进制数据帧,为后续协议逆向解析提供前提条件,实现了对复杂协议簇协议的聚类系统.首先使用AC算法挖掘出二进制数据帧中的频繁序列特征;然后创新地使用了Apriori算法搜索分析这些特征的关联关系,并且结合二进制流数据帧的特点对结果进行了四步剪枝处理;最后利用筛选出的特征通过改进的K-means算法进行聚类.实验表明,该系统可以对二进制协议数据帧的聚类起到很好的效果,同时对存在TYPE字段的多层协议簇,还能进一步区分出多种协议间的层次关系.     

基于LBP的眼睛开闭检测方法

在基于机器视觉的疲劳驾驶预警系统中通过驾驶人员眼睛的状态来判断其是否疲劳是最直接和有效的途径,对眼睛的开与闭这两个基本状态的检测是判断疲劳的一个关键技术.针对红外视频人脸图像序列,提出一种基于LBP纹理检测算子的快速准确人眼开闭检测方法.该方法首先精确提取眼睛区域,然后利用对光照具有鲁棒性的LBP纹理检测算子检测眼睛区域纹理并计算其二阶矩、熵和边际分布二阶矩作为特征向量,最后使用SVM对特征向量进行分类以达到开闭检测的目的.大量实验结果表明,该方法不仅具有较高的检测准度,而且能完全满足实时要求.     

改进混合蛙跳算法在蔬菜总黄酮软测量中的应用

针对蔬菜总黄酮化学物提取过程复杂、非线性和生物参数难以在线测量等特点,提出了基于改进混合蛙跳算法优化最小二乘支持向量机的蔬菜总黄酮软测量模型。该模型对标准混合蛙跳算法进行改进,采用反向学习的种群初始化策略,确保个体分布的均匀性;并根据群体适应度方差大小,动态调整变异概率,使算法避免陷入局部最优;最后采用改进的混合蛙跳算法对最小二乘支持向量机的参数进行寻优,实现蔬菜总黄酮软测量。仿真结果表明,基于改进混合蛙跳算法的最小二乘支持向量机软测量模型具有测量精度高,稳定性好的优点,有利于蔬菜总黄酮化学物测量工程的实际应用。     

基于Aspen Plus的聚甲氧基二甲醚精馏过程模拟分析

在装有θ环填料的精馏塔内进行了聚甲氧基二甲醚精馏实验。利用化工流程模拟软件.AspenPlus对聚甲氧基二甲醚精馏过程进行模拟,首先,采用DsTWU简捷蒸馏模型,运用软件中NRTL、WILSON、UNIQUAC,3种物性方法对精馏塔进行了计算,得到了回流比、塔板数和温度等操作参数。接着,采用RadFrac严格精馏模型对精馏塔进行了验证,其计算结果与实验结果吻合良好,满足工艺要求。最后,对精馏塔的操作变量进行了灵敏度分析,讨论了进料位置、进料流率和回流比等参数对精馏分离要求与能耗的影响,并确定了最优化方案,即:进料板为第50块,进料流率为35 mol/h,回流比为6。     

彩色图像分割的FCM初始化方法

针对传统模糊C-均值聚类方法所存在的过度依赖初始聚类中心、计算复杂度高等问题,提出一种新的FCM初始化方法.首先,使用维纳滤波分别对图像的R、G、B分量进行预处理,待转换为LAB色彩空间后,通过二次分水岭方法获取图像的封闭区域,并计算各区域的质心;其次,利用自适应无监督的方法对质心进行筛选和合并,将合并结果作为FCM的初始聚类中心;最后,使用FCM方法进行分割.实验结果表明,该方法不仅能够获得较准确的聚类中心,减少了迭代次数和运算时间,而且能够更好地实现图像的准确分割.     

广义相似距核视频关键帧分层提取算法*

针对视频镜头关键帧特征提取矩阵可能尺寸大小不一致导致相似度无法计算的问题,提出一种广义相似距核视频关键帧分层聚类算法。首先,针对行数相同列不同的两个特征矩阵,基于矩阵运算方法提出一种广义相似距核相似度计算方法并给出其改进形式。其次,基于改进相似距核计算方法和层次聚类算法,设计了广义相似距核视频关键帧分层聚类算法。最后,通过在测试视频数据库及人造视频片段库上的仿真实验表明,该算法能够有效的完成视频关键帧的聚类和提取操作。     

PR状态方程二元相互作用参数的拟合及对柴油中氢气溶解度的预测

通过Aspen Hysys模拟计算了温度(323~623)K和压力(4~10)MPa条件下,氢气在0~#柴油、直馏柴油、催化柴油和焦化柴油中的溶解度。计算结果对比实验数据,得到氢气在4种柴油中溶解度的平均误差分别为17.49%、11.48%、20.09%和14.00%。因二元相互作用参数与柴油性质以及温度之间存在着一定的关联,为了得到更加准确的溶解度数据,提出了计算PR状态方程中二元相互作用参数的关联式,并用Matlab进行关联式参数的拟合和氢气溶解度的计算,得到溶解度数据的平均误差分别为8.12%、7.51%、5.73%和6.10%,有效地提高了数据的准确性。因此,提出的二元相互作用参数的计算关联式可以为更加准确地预测氢气在柴油中的溶解度提供有效的方法。     

基于键盘行为数据的用户身份识别

用户击键行为作为一种生物特征,具有采集成本低、安全性高的特点。然而,现有的研究方法和实验环境都是基于实验室数据,并不适用于极度不平衡的真实数据。比如,在实验室数据上效果出色的分类算法在真实数据上却无法应用。针对此问题,提出了基于真实击键行为数据的用户识别算法。该方法将聚类算法和距离算法结合起来,通过比较新来的击键行为和历史击键行为相似度以实现用户识别。实验结果表明,该算法在100名用户的3015条真实击键记录组成的数据集上准确率达到88.22%,在投入实际应用后,随着样本集的增大算法的准确率还可以进一步提升。