基于有限状态机的RFID流数据过滤与清理技术

为了实现从大量不可靠、冗余的RFID（radio frequency identification）流数据中提取有效信息,提高RFID系统中数据的质量,提出了一种基于有限状态机的RFID 流数据过滤与清理方法.实验结果表明：该方法能够有效过滤系统外标签数据,清理系统内部冗余标签数据,筛选有效标签数据,并能够降低漏读、误读带来的风险.最后,利用地理信息系统的可视化技术,将过滤与清理结果展示在地图上.     

一种基于不确定规则的数据时效性判定方法

数据过时是影响数据质量的重要因素,因此判定数据时效性对于提高数据质量至关重要.当前判定数据时效性的方法可分为两类:基于时间戳的方法和基于规则的方法.基于时间戳的方法要求精确完整的时间戳,但这样的时间戳在很多应用中不存在.基于规则的方法不要求时间戳,但现有方法均依赖于冗余元组,且不能对数据时效性做出定量判定.同时,这些方法均基于确定规则,无法表达不确定的领域知识.针对上述问题,提出不确定时效规则及相应的数据时效性模型.基于该模型,进一步给出了两个可定量地判定数据时效性的算法.同时,还给出了时效规则的学习算法.真实数据上的实验结果验证了算法的有效性.     

到达数据中时空异常聚簇发现

在时空数据中有一类表示用户在某一时间到达某一地点的数据——到达数据,到达数据可以是社交网站的签到数据、轨迹数据中的停留点及公共交通中乘客抵达的位置数据,这些数据的聚簇可以反映用户的聚集行为.基于到达数据,提出一类新的时空数据查询——时空异常聚簇发现.将到达数据进行周期性划分,通过时空聚类算法对一个时间段的数据进行聚类,比较不同时间段内聚簇的差异度,发现具有最大簇异常度的前k个簇.通过该查询发现的时空异常聚簇可以应用于城市安全管理、基于位置的服务和交通调度等方面.定义了异常簇查询模型,提出了针对任意形状聚簇的簇差异度度量,将异常簇查询转化为二分图最大匹配问题,对二分图构建与匹配进行了优化并提出了高效的查询算法.利用真实数据集进行了充分实验,验证了查询结果的实际意义,评估了所提出的各查询算法在不同参数设置下的查询效率.     

基于密度调整的改进自适应谱聚类算法

针对谱聚类存在构造相似度矩阵时对尺度参数敏感以及处理多重尺度数据集效果不理想的缺陷, 提出一种基于密度调整的改进自适应谱聚类算法. 该算法将样本点所处领域的密度引入谱聚类, 利用密度差来调整样本点之间的相似度, 使其更符合实际簇类中样本点间的内在关系, 在一定程度上解决了多尺度聚类问题; 同时, 通过样本点的近邻距离自适应得到尺度参数, 使算法对尺度参数相对不敏感. 仿真实验验证了所提出算法的有效性和优越性.

     

实时数据仓库中一种改进的数据流更新算法

为实现数据仓库中数据的高效集成,针对数据偏斜分布现象,提出一种改进的数据流更新算法EH-JOIN。该算法对传统散列连接方法进行改进,利用索引将部分频繁使用的主数据存储在内存中,解决了高速数据流下的磁盘频繁访问问题。实验结果表明,与MESHJOIN算法和R-MESHJOIN算法相比,EH-JOIN算法的服务速率在磁盘存储关系集保持适当大小时分别提高了96%和81%,在内存大小不同时提高了57%和48%。     

数据采集系统在中间试验工厂的开发与应用

基于中间试验工厂设备多而杂的特点,为了提升中间试验工厂的管理能力和设备利用率,对中间试验工厂的设备功能进行了研究,提出了基于Framework的分布式系统方案。在方案实施中,对与Framework系统不兼容的设备进行了改造升级,成功实现了各种不同接口设备生产数据的采集。并在此基础上开发出了专用的数据采集系统,为中间试验工厂的设备运行、科研调度提供了有力的技术支撑,同时也为其他钢厂设备的引进和数据采集系统的建立提供了可以借鉴的经验。     

图引擎底层存储的设计与实现

随着社交网络和语义Web等数据应用的兴起,催生了许多图数据处理产品,包括Neo4j,Hyper Graph DB等,然而这些产品在设计时并未充分考虑图应用对数据可用性和可扩展性的更高要求。为此,提出一种基于分布式内存云的图引擎底层建模和存储解决方案。在内存云上搭建分布式键值引擎,进而在键值存储的基础上对图的数据进行建模和读写。在大规模数据集上的实验结果表明,该方案具有较好的图随机访问性能,并能够高效地支持海量规模的图数据应用。     

无线传感器网络中的改进数据聚集调度算法

针对现有聚集数据调度近似算法具有较高延时上界的问题,提出一种改进的聚集数据调度近似算法。建立一棵根在中心结点的广度优先搜索树,分层构造一个最大独立集(MIS),使MIS中相邻的2个结点相距两跳。将MIS中的结点连接起来,形成一棵根在中心结点的数据聚集调度树,使结点按数据聚集调度树进行分层数据调度。在数据聚集调度树的构造过程中,对于任意支配点,以最小的结点连接其相距两跳的支配点。对于2个相邻支配点的公共邻居支配点,通过在距中心点最近的支配点加入数据聚集树,使其在数据调度过程中将数据发送给距中心点最近的支配点,从而降低数据的聚集延时。实验结果表明,与SAS算法、Guo’s算法和IAS算法相比,该算法的数据聚集延时更低,其延时上界为14R+△?10。     

正态分布属性数据集上的Skyline查询

Skyline查询适用于多目标决策、数据挖掘等领域。以往的研究工作主要关注确定型数据集,少数针对不确定型数据集的研究处理的也多是离散型不确定数据。为此,定义属性呈连续型分布的不确定数据集,并给出一种针对该种数据集的Skyline查询算法,利用索引和分治思想解决其Skyline查询问题。实验结果表明,该算法可以在牺牲少量精度的情况下提高查询效率。     

利用特征场进化的图像分割方法

针对图像分割中最优阈值的选择问题,在数据场机制的基础上提出了一种高维图像分割方法。将局部灰度特征与Tamura纹理度量相结合,如粗糙度、对比度、方向度等,尽可能提取足够的图像信息;将每个包含多特征的像素视作具有一定质量的质点,在图像特征空间上建立特征场;假设最优阈值为潜在的进化方向,通过因动态数据场中相互作用所导致的质点之间自适应吸引和排斥实现特征场的协同进化,并利用少数服从多数的投票法则确定最终分割结果。实验结果表明,所提出的方法在不明显增加时间耗费的情况下,取得了较好的分割效果,具有合理性和有效性。