RFID数据流过滤算法研究

RFID在实时识别、定位、跟踪以及物理对象监控等方面有着广泛的应用前景.为了实现上述应用的目标,RFID数据必须经过采集、过滤等处理过程.采集的原始RFID数据包括噪音数据和冗余数据,只有将这些噪音数据和冗余数据过滤后,才能应用;另外,保证正确的RFID标签数据采集顺序,对于一些应用也非常关键.针对这些问题,提出了基本噪音过滤算法和基于hashtable的有序噪音过滤算法,以及基本冗余过滤算法和基于hashtable的冗余过滤算法,并通过仿真实验验证了该方法的有效性.     

基于Mahout的新用户推荐算法的设计与实现

为了解决大数据背景下新用户因没有历史数据而导致推荐难和推荐效率低等问题,提出将基于Mahout的协同过滤算法与基于MapReduce的Top N算法相结合的技术方法,来实现新用户推荐算法,从而构建新用户推荐系统的架构,并对Hadoop Top N算法以及Mahout中协同过滤算法进行设计与实现。理论分析和实验验证表明,该新用户推荐算法在推荐效率、对大规模数据处理的伸缩性以及推荐质量上都明显优于单独使用协同过滤算法的新用户推荐。     

一种基于海量数据挖掘的设备状态预测算法

提出了一种基于海量数据挖掘的设备状态预警算法。工业设备有大量的历史运行数据,并且实时采样的数据维度多,数据量大,算法首先对设备良好运行状态下的大量历史数据进行自适应聚类分析,建立设备的数学模型,并根据此类模型和设备运行的实时状态值对设备的运行状态进行预测。该算法充分考虑工业应用的实际需求,自动确定聚类的数目,解决了传统聚类算法处理海量历史数据时的开销大和效率低的问题,并且保证了回归预测过程的高效性。仿真实验表明,该算法能够有效地处理海量数据,并且能够实时得到预测值,实现对设备的实时监控预测。     

基于用户实时反馈的协同过滤算法

传统的基于内存的协同过滤算法存在可扩展性不足的问题,而基于模型的协同过滤算法由于模型数据的滞后,造成推荐质量不高。针对以上情况,提出一种基于用户实时反馈的协同过滤算法,该算法在用户提交项目评分之后能实现对推荐模型数据的实时更新,从而更精确地反映用户的兴趣变化。实验结果表明,该算法能够有效地提高推荐精确度并且大幅地缩短了推荐时间。     

GPS数据的纯数字化协同压缩算法

对需实时传输的GPS(Global Position System)定位数据进行数据压缩,降低其数据传输量并最大限度地保留原GPS数据的完整性。依据GPS定位数据特性对其进行纯数字化无损预处理,引入Golomb-Rice算法并提出算法协同压缩思想。实验表明半字节编码与实时二进制算术编码协同压缩GPS数据最佳,该协同算法不仅满足GPS数据传输实时性,而且其压缩率在85%以上。本算法减少了GPS数据传输量,降低了流量成本;能适应多种类型的GPS定位数据压缩;无区域使用局限性,能够在全球任意国家中使用。     

基于Scala的电影推荐系统的设计与实现

为解决在大数据环境下,网络信息快速膨胀导致的“信息过载”问题,即用户无法从海量信息中快速准确获取有用信息。提出在基于Scala语言的Spark平台下,运用基于模型的协同过滤推荐算法,通过分析样本用户对电影的评分数据,建立电影的向量模型,最后根据与实时的用户数据的对比对用户进行电影推荐。实验结果表明基于模型的协同过滤算法的电影推荐系统能够准确地为用户推荐电影信息。     

一种磁盘历史数据库模型研究

为解决流程工业中过程历史数据的存储以及大量数据的快速查询问题,提出一种基于关系数据库的磁盘历史数据库模型。在数据存储方案设计中,将关于位号和数据采集接口的静态信息存储在关系数据库中,历史数据以文件形式存放,采用三重二级缓存机制避免频繁访问磁盘,并使用经典的SDT算法对实时数据进行压缩存储,降低存储成本。数据查询方案采用三级索引文件结构,即总索引文件、二级索引文件和位号索引文件,提高查询效率。该磁盘历史数据库的第一版已经成功实现,应用结果表明,数据存储方案和查询方案的设计是合理的,100个位号的查询时间约为500 ms。     

基于内容的网络异常信息过滤*

通过对信息过滤一般过程的分析,提出了一种基于内容的网络异常信息过滤方法。在源信息采集方面,建立了网络信息捕获构架,基于协议分析实现网络数据的提取;在信息内容处理方面,采用设立切分标志进行文本信息的预处理,在此基础上,基于向量空间模型实现文档的结构化表示;在信息匹配算法方面,通过计算文档向量之间的相似度,实现网络信息的有效过滤。     

基于模态匹配的校园网信息实时过滤方法

互联网的信息良莠不齐,为避免校园网发送和接收不良的信息,通常都需要实时监测并对敏感关键词实行过滤。提出利用模态匹配的方法进行信息过滤,研究一种新的实时监测与过滤网络信息的方法。通过提取实时监测到数据信息的特征值并转化为向量表示,在MAC算法的基础上,改进其算法,把监测到的数据信息的特征向量与需要过滤的源信息库的特征向量进行模态匹配,以得到的匹配度作为判断实现信息过滤的依据。通过在网络实训室模拟广域网进行过滤实验,实验结果表明模态匹配的实时网络信息监测并过滤的方法可行,准确率能达到应用需求,模态匹配造成的延迟时间在可接受的范围内。     

多模态过程中新模态过程建模方法

多模态过程中新出现的模态过程短期内无法获得充足的建模数据,且传统统计控制方法无法有效地估计过程特性.鉴于此,提出一种基于历史模型数据相关特性建立初步模型的方法,充分利用已有多模态历史数据的相关特性,从历史数据中寻找与当前数据特征相似的数据进行补充,建立初始模型,并利用新积累的数据迭代初步模型,逐步实现准确描述过程特性的算法.通过在田纳西-伊斯曼过程中的大量仿真,表明了所提出方法的可行性和有效性.     

基于手机RFSIM与北斗GIS城市实时交通动态导航平台

目前,从智能交通系统的发展（ITS）来看,国内大多数导航系统为静态导航,缺乏根据实时交通信息进行动态导航的功能.从而提出一种基于手机RFSIM与GIS技术结合的城市实时交通动态导航平台,为出行者提供实时动态的交通信息和导航服务.该系统主要包括实时交通信息采集系统,短时交通预测系统,北斗或GPS定位以及GIS实时导航系统.在已获得的相关技术的支撑下,着力解决在此导航系统中涉及到的交通信息的获取、北斗定位和实时交通动态导航中的关键技术问题,并进行可行性分析.     

相空间重构的卡尔曼滤波交通流预测研究

为了提高城市交通流的预测精度,克服单一预测模型不能很好反映交通流本质特征的缺点,在交通流混沌特性的基础上,提出将卡尔曼滤波理论与相空间重构原理相耦合的方法,建立基于相空间重构的卡尔曼滤波交通流预测模型。此模型以相空间重构的相点作为状态向量构成相点的状态空间描述,运用卡尔曼滤波理论实时预测并校正相点的未来演化规律,并根据焦作市某路段的交通流数据进行实例仿真。通过相关性能指标对比分析,结果表明,基于相空间重构的卡尔曼滤波预测模型各项指标明显优于未改进的单一模型,使预测精度提高了16.75%。     

Urban Traffic Information Service Application Grid

Traffic information processing is very complicated because of dynamic, cooperative and distributed features.This paper describes the prototype system version 2.0 of Urban Traffic Information Service Application Grid (UTISAG),which is based on the previous version. In this version, a new architecture and more enhanced services are introduced.The remarkable characteristic of the new system is providing dynamic information services for travelers by grid technology.Therefore, the key research includes integrating large multi-source traffic data, forecasting route status, simulating regional traffic flow parallelly, and implementing optimum dynamic travel scheme based on massive GPS data.     

基于数据挖掘技术的交通流预测模型

本文针对交通数据挖掘领域的交通流预测问题进行研究和实现.主要对数据挖掘技术应用于交通流数据的特征选择和交通流预测模型的建立提出算法.在对采样数据进行清洗后,以分类与回归决策树作为基学习器,采用梯度提升决策树进行回归拟合,计算出交通数据的特征重要度.并以此重要度作为自适应特征选择的依据.其次,采用聚类算法对选取后的特征数据进行聚类分析,缩小样本大小的同时,同类数据更加相似.最后,以实时数据匹配相应聚类作为训练数据集,使用经过人工鱼群算法优化参数后的支持向量机进行交通流预测.本文结尾通过实验数据论证本文所提出的算法和模型.     

基于模糊神经网络的短时交通流预测方法研究

为满足交通控制和诱导系统的实时性需求,减少交通拥挤状况,降低交通事故突发频率,需要对短时交通流进行预测;当前的短时交通流预测方法是采用K-近邻的非参数回归对其进行预测,预测过程中没有将预测模型中关键因素对交通流的影响进行详细的说明,导致预测结果不准确,存在短时交通流预测误差较大的问题;为此,提出一种基于模糊神经网络的短时交通流预测方法;该方法首先以历史短时交通流数据样本序列为基础,将提取的关联维数作为短时交通流的混沌特征量,然后以该特征量为依据,对短时交通流数据进行聚类,使相同的短时交通流聚合类样本比不同的交通流聚合类样本更为贴近,采用高斯过程回归对短时交通流预测模型进行建设,建设过程中利用差分方法对短时交通流预测序列进行平稳化操作之后,对短时交通流预测模型进行训练,将GPR模型引入至短时交通流预测过程中,得到交通流预测方差估计值,并确定交通流预测值置信区间,由此实现短时交通流的预测;由此实现短时交通流的预测;实验结果证明,所提方法可以准确地预测交通运输系统的实时状况,为车辆行驶的最佳路线进行了有效引导,减少了自然影响方面和人为因素对短时交通流预测结果的干扰,为交通部门对交通路况的控制管理提供了依据。     

基于ST-DCGAN的时序交通流量数据补全

时序交通流量数据作为一种新型城市数据,对智能交通和智慧城市的发展有着重要的意义,但是由于各种原因使得收集的交通数据存在大量的缺失,因此如何有效地补充缺失流量数据成为目前急需解决的问题。提出的ST-DCGAN模型利用了基于DCGAN网络的思想,引入补全损失函数和判别损失函数作为模型新的目标函数,通过生成器和鉴别器相互博弈的原理学习区域流量数据之间的时空特征性,在常规的缺失数据补全的基础上利用数据生成思想进行了区域时序交通流量数据的补全,从而为交通流量缺失值提出一种新的补全方法。实验以北京TaxiBJ GPS开源数据集为基础,并用RMSE评估函数分析上述算法对缺失交通流量补全的效果,实验结果表明提出的方法与所比较补全方法相比,效果更好。     

Long-term traffic flow prediction using multivariate SSA forecasting in SDN based networks

Accurate and real-time traffic flow forecasting plays an important role in optimizing traffic routing enabling adaptive and sophisticated applications on the network. Managing and routing enormous traffic flow with dynamic behavior is a highly challenging task. However, arriving at a precise model for traffic forecasting in a short interval of time is not trivial because of the dynamic nature of traffic flow. A novel multivariate time series framework is designed to analyze and forecast the dynamic traffic flow in SDN based networks. The proposed framework adapts the Multivariate Singular Spectrum Analysis (MSSA) forecasting model and incorporates the Randomized Singular Value Decomposition (RSVD) to improve the accuracy of flow prediction. Simulations are conducted to evaluate the effectiveness of the proposed MSSA method. The proposed method predicts the long-term traffic fluctuation from the observed traffic traces. The SDN controller is trained using the traffic traces and future traffic flows are forecasted. The performance evaluation of the proposed method predicts real-time traffic trends accurately with 2.2% MAPE, 9.44 MAE and 13.803 RMSE. The results show that the learning ability of MSSA helps to forecast future network traffic with low prediction errors.     

基于自适应阈值的大象流检测方法

针对数据中心网络异常流量检测难的问题,提出一种自适应阈值的大象流检测系统.系统结合数据中心网络高度灵活性和全局可见性的特点,采用基于高斯分布的加权优化动态流量学习方法实时预测大象流检测阈值,降低检测错误率,通过基于差分估计的平滑机制,降低检测阈值配置更新频率.仿真实验结果表明,该系统可以有效识别数据中心网络中的大小流,...     

基于神经网络的交通控制诱导协同模型

针对传统交通控制与诱导模型及算法的不足,提出了具有中心协调系统（CCOS）的交通控制与诱导协同模 型。利用数据融合技术将历史数据的短时交通预测、交通事件检测结果以及实时交通流数据设计面向交通动态的信息融合, 并采用神经网络技术构建基于神经网络的交通控制诱导协同模型,同时对模型的参数进行了确定。通过典型的路网进行仿真 实验和对比分析,实验验证了该模型是可行和有效的。     

基于历史频繁模式的交通流预测算法

针对目前交通流预测模型复杂、不支持中长期预测的问题,提出了基于历史频繁模式的交通流预测算法,通过挖掘交通流的历史频繁模式,结合实时交通信息进行交通流预测.使用真实路网获取的浮动车数据进行实验,结果表明该算法支持交通流短时、中长期预测,且中长期预测与短时预测具有同样高的预测精度,受参数影响小.与基于K近邻的非参数回归方法进行比较,结果表明基于历史频繁模式的预测算法的预测性能更稳定,预测误差波动更小.