综合用户特征和项目属性的协作过滤推荐算法

通过分析传统协作过滤推荐算法面临的数据集稀疏性问题及当前解决方法的优缺点, 在基于项目的协作过滤推荐算法的基础上, 提出了一种综合用户特征和项目属性的协作过滤推荐算法。通过分析不同特征的用户对项目的各种属性的兴趣度, 综合已评分的项目属性预测未评分项目, 降低数据集的稀疏性, 提高项目相似度计算的准确性。在MovieLens数据集上的实验结果表明, 在数据极端稀疏的情况下, 能够有效地降低数据集稀疏性, 并在一定程度上缓解了协作过滤推荐算法中的冷启动问题, 提高了推荐算法的预测准确度。     

基于滑动窗口预测的水文时间序列异常检测

针对水文时间序列分析与决策中存在的数据质量问题,提出了基于滑动窗口预测的水文时间序列异常检测算法。首先基于滑动窗口对时间序列进行子序列分割,再以子序列为基础建立预测模型对未来值进行预测,并将预测值和实测值间差异范围大于预设阈值的序列点判定为异常。探讨了算法中的滑动窗口和参数设置,并以实例数据对算法进行了验证。实验结果表明,所提算法不仅能够有效挖掘出水文时间序列中的异常点,而且将异常检测的灵敏度和特异度分别提高到80%和98%以上。     

基于信任模型填充的协同过滤推荐模型

针对传统协同过滤模型中存在的数据稀疏性问题,提出一种基于信任模型填充的协同过滤推荐模型。对信任属性进行研究,通过建立信任模型对评分矩阵进行预填充以提高数据存储密度,利用相似性模型分别从项目和用户属性的角度度量项目相似性,通过自适应协调因子协调处理两方面的相似性度量结果,获得最终的项目预测评分,基于不同的数据集进行实验验证,结果表明,在不同的数据集中,与传统的协同过滤模型相比,该模型能够有效地处理评分矩阵的数据稀疏性问题,提高系统评分预测的准确度,平均改进程度为8%。     

基于异常值识别卡尔曼滤波器的短期交通流预测

针对智慧交通的需求提出了一种新颖有效的短时交通流预测方法,通过异常值识别扩展了卡尔曼滤波,使其能对噪声进行识别和过滤——异常值识别卡尔曼滤波器。利用卡尔曼滤波能有效地过滤导致系统不确定性的交通流波动,但这可能会使指示交通流突变的细微线索丢失,为了提升预测精度,应用离散小波变换对原始信号进行识别处理,在去掉异常值的同时保留原有对预测有效的信号源信息,此外还使用了历史参考值对预测值进行修正。在四个基准数据集上的大量实验表明,与常用及最新的预测模型相比,其结果MAPE平均降低了2.919%,RMSE平均降低了79.582。     

基于变窗口神经网络集成的时间序列预测

提出一个变窗口神经网络集成预测模型。该模型利用自相关分析构造出差异度较大的个体神经网络,提高了预测系统的泛化能力,同时能够有效剔除异常序列,提高预测精度。采用真实世界的数据集对该模型进行仿真。实验结果表明,该预测模型具有较高的预测精度,能有效预测移动通信的话务量。     

基于IPSO算法的短期电力负荷预测模型研究

为有效减小短期电力负荷预测的预测误差，提高预测精度、缩短预测时间，应用改进粒子群优化(IPSO)算法建立了1种短期电力负荷预测模型。通过水平方向和垂直方向的平滑修正，对历史数据的异常负荷点进行识别并修正。利用相同日期类型正常负荷，计算缺失数据填充值。采用模糊化处理，计算日期类型、温度、天气隶属度函数，对短期负荷变化因素进行量化处理。将历史数据的负荷值和量化值作为训练数据。为避免粒子群优化(PSO)算法陷入局部最优，采用IPSO算法找到全局最优解，建立了短期负荷预测模型，实现了短期电力负荷预测。试验结果表明，所设计模型预测结果在休息日和工作日的最大相对误差值、平均相对误差值分别为0.97%、0.53%和0.99%、0.65%,能够有效减小预测误差、提高预测精度、缩短预测时间。该研究为电力系统相关人员进行负荷预测提供了参考。     

基于指数平滑的云服务器请求量集成预测模型

针对现有弹性云服务器(elastic cloud server,ECS)未来请求量预测模型准确度低、稳定性差等问题,提出一种基于指数平滑的Stacking集成预测模型。以多个二次指数平滑模型作为基础模型,将线性回归模型作为集成模型对多组指数平滑预测值进行最终拟合;预测过程中使用多组二次指数平滑模型对ECS的历史请求时序进行构造集成模型训练数据集并加入平滑系数的动态优化。与传统单一模型的对比实验结果表明,该模型在实际云服务器请求量预测过程中具有更好的准确性和稳定性。     

集成FM的短视频喜好率预测模型

短视频喜好率预测往往面临着用户及广告的数量巨大且训练数据集高维、稀疏等问题，从而导致预测准确度下降。针对这些问题提出了基于LDA-GBDT-FM的短视频喜好率预测模型，该模型利用隐狄利克雷分配模型（LDA）对原始数据集基于主题分割，利用梯度提升决策树（GBDT）对不同主题的子训练集提取连续型特征的高影响力特征，将其与离散特征合并来训练因子分解机（FM）模型，最后有效组合子模型，进而预测短视频的喜好率。实验基于Bytedance公司的数据集，实验结果表明，提出的LDA-GBDT-FM模型相较于LDA-FM、FM和LR在预测指标上分别提高了3.0%、5.7%和8.5%。     

一种基于平衡指数平滑的交通流数据预测方法

为了解决传统指数平滑法在滤波后的数据与原始数据之间存在一个因累积误差而导致右偏移的问题,提出一种基于平衡指数平滑的交通流数据预测方法。该方法对传感器采集的异常数据和缺失数据进行处理,对于超过阈值的数据,则用前一时刻数据取代该数据;对于缺失数据,则插人前后时刻的均值。对处理过的数据采用平衡指数平滑法进行滤波。通过三次指数平滑预测模型对数据进行预测。实验仿真表明,该方法能有效消除传统指数平滑的右偏移误差,提高数据预测的准确性。     

稀疏数据中基于高斯混合模型的位置推荐框架

协同过滤和概率模型是位置推荐中的常用方法,但前者没有考虑用户的移动模式,后者也难以用于稀疏数据集。针对上述问题,面向稀疏数据构建基于高斯混合模型的位置推荐框架GMMSD。按时间段划分用户签到的历史数据,通过数据预处理获取用户-区域矩阵,并利用矩阵分解算法提高稀疏数据的推荐准确度,学习高斯混合模型以预测用户出现在不同区域的概率分布,从而进行位置推荐。在真实数据集上的实验结果表明,GMMSD可以有效提高稀疏数据中位置推荐的准确度。     

基于分布式压缩感知的无线传感器网络异常数据处理

无线传感器网络的海量数据采集、传输和处理,对传感器节点的处理能力和功耗提出了严峻挑战,而且现实环境中传感器故障或者环境因素的突变会导致部分采集数据异常,而传统的数据处理方法无法对包含异常的数据进行有效的处理。针对上述问题,文中提出了两类无线传感器网络的异常数据模型,以及相应的基于分布式压缩感知的异常数据处理方法。通过协同的多个传感器进行数据压缩采样,当多个传感器采集的数据包含异常成分时,分布式压缩感知技术对数据中相同的正常分量进行一次统一重构,仅对不同的异常分量进行单独重构,从而避免了对相同数据分量的重复处理,提高了对包含异常成分数据处理的效率。另外,分布式压缩感知技术充分利用数据间的相关性,可有效减少传感器网络的数据采集量,加强其对抗异常数据的鲁棒性。对两类异常数据模型的数值仿真结果表明:相比于传统的基于单组测量值的压缩感知技术,基于分布式压缩感知技术的数据处理方法在提高异常数据重构准确率的同时,将采样数据量减少了约33%,证明了该方法的有效性。     

基于加权一个变量的一阶灰色模型的动态轨迹预测算法

针对基于Kalman滤波的跟踪方法需要对噪声特性和轨迹的运动规律进行假设的不足,将新陈代谢一个变量的一阶灰色模型(GM(1,1))引入动态轨迹预测方法,提出一种基于加权灰色GM(1,1)模型的动态轨迹预测算法(TR_GM_PR算法)。首先,顺序截取预测点前不同长度的子轨迹,计算采用灰色GM(1,1)模型拟合各子轨迹的相对误差及相应的预测值;其次,对各子轨迹的相对拟合误差进行归一化处理,根据处理后的结果设置各子轨迹预测值权重;最后,将各子轨迹获得的预测值与其对应权重的线性组合作为轨迹未来运行趋势的最终预测结果。采用2000-2008年美国大西洋飓风数据进行实验,TR_GM_PR算法6 h的预测正确率为67.6056%,比基于模式匹配的飓风预测方法提高2.6056个百分点。实验结果表明, TR_GM_PR算法适用于轨迹短期预测。此外,该预测算法计算简单、实时性高,能够有效提高动态轨迹的预测正确率。     

基于哈希锁定的网络传输异常序列监测仿真

为有效提升传统网络传输异常序列监测方法的处理效率,提出基于哈希锁定的网络传输异常序列监测方法。利用随机投影的哈希函数将高维空间数据转换为低维空间数据,并利用网络传输序列的多元数量值函数,组建网络传输结构模型。对网络传输结构模型进行流量时频采样以及时间序列分析,结合FIR滤波器对其进行流量抗干扰处理,通过高阶累计的振荡衰减,对输出的滤波数据进行特征搜索及提取,实现基于哈希锁定的网络传输异常序列监测。仿真结果表明,所提方法具有较强的抗干扰性,并且能够确保网络的稳定运行。     

基于H∞滤波能量预测中继选择协作传输技术*

研究了一种适用于分布式移动无线传感器网络数据传输基于能量预测的协作通信技术。针对无线传感器网络,协作数据传输技术难以有效解决无线网络动态拓扑结构、带宽和能量受限等问题,建立了一种基于H∞滤波器相邻节点剩余能量预测的分布式中继选择机制,并在此基础上建立数据协作传输技术。该技术充分利用无线信道的广播特性,首先根据H∞滤波器预测节点剩余能量,然后根据剩余能量值选择最大者作为协作节点,最后根据无线信道质量在放大重传和解码重传机制之间进行自适应调整。数学分析表明,H∞滤波器可以准确地预测节点的剩余能量,同时该协作传输技术能够显著提高无线传感器网络的资源利用率和系统吞吐率,有效延长网络寿命。     

Track Xplorer: A System for Visual Analysis of Sensor‐based Motor Activity Predictions

With the rapid commoditization of wearable sensors, detecting human movements from sensor datasets has become increasingly common over a wide range of applications. To detect activities, data scientists iteratively experiment with different classifiers before deciding which model to deploy. Effective reasoning about and comparison of alternative classifiers are crucial in successful model development. This is, however, inherently difficult in developing classifiers for sensor data, where the intricacy of long temporal sequences, high prediction frequency, and imprecise labeling make standard evaluation methods relatively ineffective and even misleading. We introduce Track Xplorer, an interactive visualization system to query, analyze, and compare the predictions of sensor‐data classifiers. Track Xplorer enables users to interactively explore and compare the results of different classifiers, and assess their accuracy with respect to the ground‐truth labels and video. Through integration with a version control system, Track Xplorer supports tracking of models and their parameters without additional workload on model developers. Track Xplorer also contributes an extensible algebra over track representations to filter, compose, and compare classification outputs, enabling users to reason effectively about classifier performance. We apply Track Xplorer in a collaborative project to develop classifiers to detect movements from multisensor data gathered from Parkinson's disease patients. We demonstrate how Track Xplorer helps identify early on possible systemic data errors, effectively track and compare the results of different classifiers, and reason about and pinpoint the causes of misclassifications.     

基于深度学习算法的无线传感器异常数据检测

提出了基于深度学习的异常数据检测的方法,精准检测到无线传感器异常数据并直观展现检测结果。基于无线传感器网络模型分簇原理,通过异常数据驱动的簇内数据融合机制,去除无线传感器网络中的无效数据,获取无线传感器网络有效数据融合结果。构建了具有4层隐含层的深度卷积神经网络,将预处理后的无线传感器网络数据作为模型输入,通过隐含层完成数据特征提取和映射后,由输出层输出异常数据检测结果。实验证明：该方法可有效融合不同类型数据,且网络节点平均能耗较低;包含4层隐含层的深度卷积神经网络平均分类精度高达98.44%,1000次迭代后隐含层的训练损失均趋于0,可实现无线传感器异常数据实时、直观、准确检测。     

A blast furnace coke ratio prediction model based on fuzzy cluster and grid search optimized support vector regression

In the study of blast furnace coke ratio, existing methods can only predict coke ratio of daily. At the same time, the data under abnormal furnace conditions are excluded, and the model’s robustness needs to be improved. In order to improve the prediction accuracy and time precision of the blast furnace mathematical simulation model, a blast furnace coke ratio prediction model based on fuzzy C-means (FCM) clustering and grid search optimization support vector regression (SVR) is proposed to achieve accurate prediction of coke ratio. First, preprocess the blast furnace sensor data and steel plant production data. Then, the FCM algorithm is used to cluster the data under different furnace conditions. Finally, the SVR model optimized by grid search is used to predict the coke ratio under different blast furnace conditions. The average absolute error of the improved model is 1.7721 kg/t, the hit rate within 0.5% error is 81.19%, the coefficient of determination R² is 0.9474, and the prediction performance is better than ridge regression and decision tree regression. Experiments show that the model can predict the coke ratio of molten iron in each batch when the blast furnace conditions are going forward and fluctuating, and it has high time accuracy and stability. It objectively describes the changing trend of blast furnace conditions, and provides new research ideas for the practical application of blast furnace mathematical models.

     

Designing an Internet Traffic Predictive Model by Applying a Signal Processing Method

Detection of abnormal internet traffic has become a significant area of research in network security. Due to its importance, many predictive models are designed by utilizing machine learning algorithms. The models are well designed to show high performances in detecting abnormal internet traffic behaviors. However, they may not guarantee reliable detection performances for new incoming abnormal internet traffic because they are designed using raw features from imbalanced internet traffic data. Since internet traffic is non-stationary time-series data, it is difficult to identify abnormal internet traffic with the raw features. In this study, we propose a new approach to detecting abnormal internet traffic. Our approach begins with extracting hidden, but important, features by utilizing discrete wavelet transformation. Then, statistical analysis is performed to filter out irrelevant and less important features. Only statistically significant features are used to design a reliable predictive model with logistic regression. A comparative analysis is conducted to determine the importance of our approach by measuring accuracy, sensitivity, and the Area Under the receiver operating characteristic Curve. From the analysis, we found that our model detects abnormal internet traffic successfully with high accuracy.     

煤矿瓦斯异常数据报警方法应用研究

对基于极差值、最小值、相关系数3种关联模型的煤矿瓦斯异常数据报警方法在应用中存在的2个传感器之间数据的延滞时间如何确定、传感器误差的影响、报警的准确率等问题进行了详细分析,提出应采用数据曲线比较法而不是距离风速计算法来确定延滞时间,同时发现巷道中瓦斯气团的运动速度低于风速的现象并对这一现象进行了初步解释;提出采用数理统计法消除传感器误差影响的方法;结合现场数据,对3种关联模型的准确率进行了验证,结果表明该报警方法完全可以在实际中有效应用。     

自适应Kalman滤波修复六维力传感器下E膜模型误差

为减小动载环境下,噪声信号对六维力传感器测量精度的影响,同时解决因传感器的简化模型误差较大,导致标准Kalman滤波无法获取最优估计的问题,提出一种双因子自适应Kalman滤波算法。算法根据正弦激励力响应和应变之间的关系,建立了下E型膜有色噪声增广状态模型。在标准Kalman滤波的基础上,分析了两种模型误差对滤波效果的影响,采用实时调整状态预测在滤波估计中权重的策略,给出了自适应Kalman滤波准则及递推公式。基于正交性原理和最小二乘法准则,利用三段函数模型构造了双重自适应因子。仿真实例表明,与标准Kalman滤波与强跟踪滤波相比,所提算法具有更好的估计精度和稳定性,能够有效地控制模型误差的影响,从而提高六维力传感器的测量精度。