血细胞特性曲线拟合方法的研究

针对血液分析仪对血细胞各个参数检测线性偏差较大的问题,提出一种血细胞特性曲线分段拟合算法。根据血液分析仪检测值与理论值的对应关系,针对不同段的数据,进行分段线性拟合,再根据2条线性曲线段衔接处的3个数据点,采用最小二乘法多项式拟合算法进行过度曲线拟合,实现不同线性段间的平滑过渡,从而避免不同曲线交叉点的跳跃现象。实验结果表明,该方法简单、实用,拟合后的血细胞线性偏差优于血液分析仪行业标准的要求,满足临床应用的需要。     

面向轨迹流数据的索引构建与存储方法研究

移动社交网络等基于定位服务应用的快速发展导致时空数据流规模呈爆炸式增长,要求底层数据存储系统支持高吞吐量轨迹数据的插入以及空间和时间约束下的低延迟查询,而现有HBase等数据存储方案因索引更新开销过高无法满足该需求。针对时空数据流的应用特性,提出一种数据流内存索引及存储方法。根据键值和时间范围对历史与增量数据元组进行物理分区,将其以模板B+树的形式写入内存并构建索引以增强快速写入和查询能力,同时对数据进行压缩存储提升索引效率。在此基础上,采用多级索引根据数据分区将复杂查询分解为可独立处理的子查询。实验结果表明,与传统HBase、WaterWheel等方法相比,该方法在不同数据插入和查询条件下的数据存储性能与查询效率更优。     

一种新的光学运动捕捉数据处理方法*

提出一种适用于被动式光学人体运动捕捉散乱数据处理方法。该方法基于光学人体运动捕捉散乱数据的全局信息,提出基于模块分段线性模型的数据处理算法。利用模块分段线性模型归纳出不同模块的变化特征,从而确定各模块数据的匹配优先级及段内拟合函数,有效地对三维运动数据各模块进行全局性分层次预测和跟踪,并对噪声数据进行基于模块的去噪处理;对缺失运动数据提出基于分段Newton插值拟合算法,进行合理的补缺。该方法经优化后在处理过程中无须人工干预,并能满足实时性要求。     

高维数据流子空间聚类发现及维护算法

近年来由于数据流应用的大量涌现,基于数据流模型的数据挖掘算法研究已成为重要的应用前沿课题.提出一种基于Hoeffding界的高维数据流的子空间聚类发现及维护算法--SHStream.算法将数据流分段（分段长度由Hoeffding界确定）,在数据分段上进行子空间聚类,通过迭代逐步得到满足聚类精度要求的聚类结果,同时针对数据流的动态性,算法对聚类结果进行调整和维护.算法可以有效地处理高雏数据流和对任意形状分布数据的聚类问题.基于真实数据集与仿真数据集的实验表明,算法具有良好的适用性和有效性.     

高维数据流聚类及其演化分析研究

基于数据流数据的聚类分析算法已成为研究的热点．提出一种基于子空间的高维数据流聚类及演化分析算法CAStream,该算法对数据空间进行网格化,采用近似的方法记录网格单元的统计信息,并将潜在密集网格单元快照以改进的金字塔时间结构进行存储,最后采用深度优先搜索方法进行聚类及其演化分析．CAStream能够有效处理高雏数据流,并能发现任意形状分布的聚类．基于真实数据集与仿真数据集的实验表明,算法具有良好的适用性和有效性．     

基于最小均方误差的圆弧分段曲线拟合方法

提出了一种基于最小均方误差准则的圆弧分段拟合方法。该方法采用自适应高斯滤波器对原始曲线进行平滑处理以消除噪声影响,并提出了一种适合于圆弧曲线拟合的分段算法。在该算法的基础上根据最小均方意味着准则,以圆弧作为基元对曲线进行拟合。实验结果表明,该方法能够较好地消除噪声影响并保留曲线的局部特征。     

数据流与磁盘存贮表的连接计算算法

数据流与存贮表的连接查询经常出现在主动式数据仓库的维护中,与传统的关系数据库的连接计算不同,数据流快速处理的要求不允许将数据流先存入磁盘再计算,而计算机内存无法存储无界增长的数据流,因此数据流查询采用先处理再存储结果的计算方式。数据流与存贮表的连接计算算法重点要解决内存开销和处理速率二个问题。MESHJOIN算法最早提出将存贮表划分为若干个数据块,将数据块交替放入内存与数据流窗口完成连接计算。在MESHJOIN算法思想的基础上将存贮表的内存数据块也划分为若干逻辑分区,每次连接计算仅替换其中的一个逻辑分区,有效地降低了数据流滑动窗口所需的I/O代价,从而提高滑动窗口的计算速率。最后通过实验对二种算法在内存开销和计算速率进行了比较。     

基于云模型的动态交通数据流软划分算法

提出了一种交通数据流软划分算法,该算法利用STREAM算法对交通数据流进行了聚类分析,得到了能够反映交通状况不同特征的聚类结果,然后对聚类结果进行了数据挖掘和交通数据流趋势预测。最后在数据流值预测结果的基础上,采用基于云模型划分的算法对交通的预测流值进行分析,得到了更加灵活的控制策略。     

面向云数据安全存储的分段融合模糊聚类算法

为了提高云数据的安全存储性能,需要对数据进行优化属性聚类归集。针对传统方法采用模糊C均值聚类进行云数据存储归类设计具有对初始聚类中心敏感、容易陷入局部收敛的问题,提出一种基于分段融合模糊聚类的云数据安全存储模型构建方法。建立云数据安全存储的网格分布结构模型并进行数据结构分析,进行云数据属性集的向量量化特征分解,对海量的云存储数据流采用分段匹配检测方法进行特征压缩,实现冗余数据自适应归集合并,挖掘云数据信息流的高阶谱特征。在模糊C均值聚类算法的基础上采用分段数据融合进行数据分簇模糊聚类,提高数据存储的安全性,同时降低云数据存储的负荷。仿真结果表明,采用该方法进行云数据聚类和优化存储设计,能降低数据聚类的误分率,提高云数据存储的吞吐量,确保云数据的安全存储。     

基于RSSI的自适应分段曲线拟合室内定位算法

针对室内环境因素对定位结果影响较大的情况,提出了一种基于接收信号强度指示（ RSSI）的自适应分段曲线拟合定位算法来提高室内定位的精度。在对原始RSSI数据预先进行高斯滤波处理的基础上,针对环境参数利用自适应分段曲线拟合的方法建立信号传播模型,最后采用最小二乘法计算出未知节点的坐标。实验结果表明：提出的算法定位精度更高,定位结果更稳定可靠,能够适应不同的室内环境。     

高速连续数据流记录系统中并行处理接口的研究

为了解决高速数据流的连续记录/读取与存储介质速度慢之间的矛盾,文中用FPGA设计了基于RAID结构的并行处理接口,实现了高速数据的分割降速、合并/恢复、纠错重构,解决了高速数据流连续存储中的I/O瓶颈问题。并行处理接口采用了流水线的设计方式及动态的逻辑配置,使得系统性能得到很大的优化,解决了高速数据处理中的延迟、数据错误、工作时序不同步等问题。并行处理接口最终在实验系统中实现了对高达160MB/S连续实时数据流的处理。     

三角函数曲线数据拟合最佳次数的确定

在实际问题中测得的实验数据有时需寻求简单函数逼近来分析,曲线拟合的最小二乘法在解决这类问题的数据处理和误差分析中应用非常广泛。为了便于说明这种方法的应用,根据最小二乘法原理,采用曲线拟合方法,运用Matlab仿真工具对三角函数实际特性曲线进行拟合,在分别采用3、5、7、9次多项式进行拟合实验的基础上,分析拟合实验效果,通过比较得出正弦函数特性曲线采用5次多项式拟合效果最佳,避免了人工处理数据的随意性,减小了误差。     

针对高速数据流的大规模数据实时处理方法

以实时传感数据和历史感知数据为基础的各类计算需求逐渐成为当前物联网应用建设中的关键,如何实现基于高速数据流和大规模历史数据的实时计算成为数据处理领域的新挑战.现有批处理方式的MapReduce大规模数据处理技术难以满足此类计算的实时要求.文中结合城市车辆数据的实时采集与处理应用,在理论和实践分析的基础上,提出了一种针对高速数据流的大规模数据实时处理方法,并对方法中的本地阶段化流水线、中间结果缓存等关键技术瓶颈进行了改进.其中,根据系统参数控制阶段化流水线,使CPU得到了充分、有效利用;通过改造内外存数据结构、读写策略和替换算法,优化了本地中间结果的高并发读写性能.实验表明,上述方法可以显著提升大规模历史数据上数据流处理的实时性和可伸缩性.     

基于LabVIEW的转动惯量测量系统设计

根据转动惯量测量试验要求,基于图形化编程语言LabVIEW8。2为平台,设计出一套转动惯量测量系统。该系统通过LabVIEW串口通信程序将采集数据传送到PC机,由LabVIEW测量系统对数据进行转换、曲线拟合处理和计算,实现了数据的实时获取、显示、存储。为简化曲线拟合处理程序,采用了LabVIEW与MATLAB相结合的方法对数据进行曲线拟合,得到了良好的效果。该系统满足了测量转动惯量试验的要求。     

Parametric model fitting: from inlier characterization to outlierdetection

Presents a framework for the fitting of multiple parametric models. It comprises of a module for parameter estimation based on a solution for generalized least squares problems and of a procedure for error propagation, which takes both the geometric arrangement of the input data points and their precision into account. The results from error propagation are used to complement each model parameter with a precision estimate, to assign an inlier set of data points supporting the fit to each extracted model, and to determine the a priori unknown total number of meaningful models in the data. Although the models are extracted sequentially, the final result is almost independent of the extraction order. This is achieved by further statistical processing which controls the mutual exchange of inlier data between the models. Consequently, sound data classification as well as robust fitting are guaranteed even in areas where different models intersect or touch each other. Apart from the input data and its precision, the framework relies on only one additional control parameter: the confidence level on which the various statistical tests for data and model classification are carried out. We demonstrate the algorithmic performance by fitting straight lines in 2D and planes in 3D with applications to problems of computer vision and pattern recognition. Synthetic data is used to show the robustness and accuracy of the scheme. Image data and range data are used to illustrate its applicability and relevance in respect of real-world problems, e.g., in the domain of image feature extraction     

基于信息总线服务的智能数据流自适应集成方法

为了提高信息服务中心的智能数据处理能力,提出一种基于信息总线服务的智能数据流自适应集成方法,构建智能数据流自适应信息处理模型,采用统计时间序列分析方法进行信息总线服务的大数据处理和信号集成,采用同步与匹配滤波方法进行信息总线服务数据信息流的滤波检测,采用快速傅里叶变换进行智能数据流自适应集成信号滤波处理,提高智能数据流的纯度。采用重叠保留法实现信息总线服务数据流的混频处理,构建相关匹配检测器实现信息总线服务数据流的分路、插零、取反等运算,根据运算结果实现智能数据流自适应集成。仿真结果表明,采用该方法进行信息总线服务数据流集成的混频性能较好,提高了信息总线服务数据流的检测和信息融合能力,提高了输出信噪比。     

基于XML—RPC的分布式地理信息系统计算模型

分布式异构 GIS系统集成与互操作是 GIS应用发展的趋势和方向 .在 WMS(Web Map Service)和 GML研究的基础上 ,采用 XML 技术和客户机 /服务器通用分布式计算模型 ,提出了一种基于 XML RPC的分布式 GIS计算模型 ;基于 XML- RPC模型 ,设计了分布式 GIS系统中基本 GIS操作和 GIS数据资源的 XML 抽象与表达 ;抽象出了 L og In、L og Out、Get Capability、Get Map、Get Ftr Info、Get Sel Ftrs、Get Them e Map、Get Stat Map 等 8个Geo Processing元操作 ;定义了各个元操作的 XML- RPC请求与响应的 XML 数据格式协议 ,并实现了一个简化的原型系统从而验证了该模型的技术可行性、实用性 ,为第 2代 Web GIS的产品化奠定了理论模型和技术基础     

多流多科目实时数据处理算法的设计与实现

随着飞行试验测试技术的快速发展,单架次需要处理的试飞科目越来越多,而多科目处理参数分布在不同的网络流中,这对机载实时数据处理的效率带来严峻的挑战。利用“合并-处理-分流”的方法,设计一种多流多科目网络数据实时处理算法。该算法将多科目处理参数按照参数名、采样率等信息进行整合形成合并参数列表；在实时处理时根据合并参数信息实时处理多网络流中的数据,并将处理结果存储在数据缓存中；最后将多科目数据进行分流即可得到处理结果。测试结果表明,该算法可实际应用于多流多科目数据处理中,大幅提高实时处理的效率,同时可以得到准确的数据处理结果。     

A segment-based framework for modeling and mining data streams

Data Streams have become ubiquitous in recent years because of advances in hardware technology which have enabled automated recording of large amounts of data. The primary constraint in the effective mining of streams is the large volume of data which must be processed in real time. In many cases, it is desirable to store a summary of the data stream segments in order to perform data mining tasks. Since density estimation provides a comprehensive overview of the probabilistic data distribution of a stream segment, it is a natural choice for this purpose. A direct use of density distributions can however turn out to be an inefficient storage and processing mechanism in practice. In this paper, we introduce the concept of cluster histograms, which provides an efficient way to estimate and summarize the most important data distribution profiles over different stream segments. These profiles can be constructed in a supervised or unsupervised way depending upon the nature of the underlying application. The profiles can also be used for change detection, anomaly detection, segmental nearest neighbor search, or supervised stream segment classification. Furthermore, these techniques can also be used for modeling other kinds of data such as text and categorical data. The flexibility of the tasks which can be performed from the cluster histogram framework follows from its generality in storing the historical density profile of the data stream. As a result, this method provides a holistic framework for density-based mining of data streams. We discuss and test the application of the cluster histogram framework to a variety of interesting data mining applications.     

MCU存储器双倍速率控制技术研究

由于传统技术缺少控制指令设置步骤,导致控制精准度较低,为了解决该问题,提出了基于拟合的存储双倍速率速率精确控制技术。根据速率计算公式,实行并行总线来获取双倍存储速率,采用分时加载方法对双倍存储速率数据进行拟合,方便控制指令的设置。分析MCU存储器控制性能,并对双倍存储速率控制设置指令,根据该控制指令分别对分时存储和空存储操作进行精确校正,实现MCU存储器双倍速率的有效控制。由实验结果表明,该技术控制精准度最高可达到98%,可以达到实际存储过程中对于双倍速率精准控制标准。