结合半监督与主动学习的时间序列PU问题分类

目前基于PU问题的时间序列分类常采用半监督学习对未标注数据集[U]中数据进行自动标注并构建分类器,但在这种方法中,边界数据样本类别的自动标注难以保证正确性,从而导致构建分类器的效果不佳。针对以上问题,提出一种采用主动学习对未标注数据集[U]中数据进行人工标注从而构建分类器的方法OAL（Only Active Learning）,基于投票委员会（QBC）对标注数据集构建多个分类器进行投票,以计算未标注数据样本的类别不一致性,并综合考虑数据样本的分布密度,计算数据样本的信息量,作为主动学习的数据选择策略。鉴于人工标注数据量有限,在上述OAL方法的基础上,将主动学习与半监督学习相结合,即在主动学习迭代过程中,将类别一致性高的部分数据样本自动标注,以增加训练数据中标注数据量,保证构建分类器的训练数据量。实验表明了该方法通过部分人工标注,相比半监督学习,能够为PU数据集构建更高准确率的分类器。     

基于PU学习算法的虚假评论识别研究

识别虚假评论有着重要的理论意义与现实价值.先前工作集中于启发式策略和传统的全监督学习算法.最近研究表明：人类无法通过先验知识有效识别虚假评论,手工标注的数据集必定存在一定数量的误例,因此简单使用传统的全监督学习算法识别虚假评论并不合理.容易被错误标注的样例称为间谍样例,如何确定这些样例的类别标签将直接影响分类器的性能.基于少量的真实评论和大量的未标注评论,提出一种创新的PU(positive and unlabeled)学习框架来识别虚假评论.首先,从无标注数据集中识别出少量可信度较高的负例.其次,通过整合LDA(latent Dirichlet allocation)和K-means,分别计算出多个代表性的正例和负例.接着,基于狄利克雷过程混合模型(Dirichlet process mixture model, DPMM),对所有间谍样例进行聚类,混合种群性和个体性策略来确定间谍样例的类别标签.最后,多核学习算法被用来训练最终的分类器.数值实验证实了所提算法的有效性,超过当前的基准.     

融合序列分解与Prophet模型的时序预测

传统时序预测方法其预测过程无法在相同数据集上推出共享模式, 而机器学习方法无法较好地处理非线性和大规模数据集, 并且需要手动设计特征工程. 深度学习方法弥补了传统预测方法需要高计算高人力的弊端, 用自动学习特征工程代替了手动设计特征工程. 但仅使用深度学习的预测方法所作结构假设较少, 通常需要较高的计算资源以及大量的数据来学习得到准确的模型. 针对上述问题, 本文提出通过采用融合t检验的EMD经验模态将序列分为高频分量和低频分量, 对高频分量使用传统STL序列分解方法进一步对数据做处理, 对高频、低频分量分别进行Prophet预测. 实验结果表明, 相较于传统的LSTM以及Prophet预测模型, 经过STL序列分解后的周期数据能够提升模型的整体预测精确度而融合EMD经验模态的Prophet模型则大大提升了训练效率.     

基于支持向量回归的多时间序列自回归方法

能耗时间序列涉及多种能源,且各种能源间关系复杂,主要通过多个独立的单时间序列进行预报,这种方式忽略了多时间序列之间的依赖性。为了充分利用多时间序列之间的关联信息以提高预报的准确性,根据机器学习中的向量值函数学习和多任务学习理论,采用支持向量回归(SVR)算法建立了多时间序列的向量值自回归方法和多任务自回归方法。实验结果证明,与多个独立的单时间序列模型相比,通过这种方法建立的多时间序列自回归模型在焦化工序能耗预报中表现出了更好的性能。     

Self-learning inductive inference machines

Self-knowledge is a concept that is present in several philosophies. In this article, we consider the issue of whether or not a learning algorithm can in some sense possess self-knowledge. The question is answered affirmatively. Self-learning inductive inference algorithms are taken to be those that learn programs for their own algorithms, in addition to other functions.
La connaissance de soi est un concept qui se retrouve dans plusieurs philosophies. Dans cet article, les auteurs s'interrogent à savoir si un algorithme d' apprentissage peut dans une certaine mesure posséder la connaissance de soi. lis apportent une reponse positive a cette question. Les algorithmes d'inference inductive autodidactes sont ceux qui font l'apprentissage de programmes pour leurs propres algorithmes, en plus d' autres fonctions.     

一种基于自演化预训练的多变量时间序列预测算法

时间序列预测是典型的时间序列分析任务,对于辅助决策、资源配置、提前采取止损措施等方面有重要意义,在包括电力、气象、交通、商业等领域有广泛应用.近年来,时间序列预测算法一直是机器学习的热门研究领域,其中多变量时间序列预测是一个具有挑战性的任务.本文研究多变量时间序列预测的局部变量预测精度问题,即多变量预测需要在提升整体预...     

基于长短时记忆网络的人体姿态检测方法

针对在循环神经网络（RNN）网络结构下较为遥远的历史信号无法传递至当前时刻的问题,长短时记忆（LSTM）网络作为RNN的一种变体被提出,在继承RNN对时间序列优秀的记忆能力的前提下,LSTM克服了这种时间序列的长期依赖问题,并在自然语言处理与语音识别领域有较好的表现。对于人体行为动作中也存在作为时间序列的长期依赖问题与使用传统滑窗算法采集数据时造成的无法实时检测的问题,将LSTM扩展应用到人体姿态检测,提出了基于LSTM的人体姿态检测方法。通过目前智能手机中一般都带有的加速度传感器、陀螺仪、气压计和方向传感器实时采集的时序数据,制作了包含3336条带有人工标注数据的人体姿态数据集,对行走、奔跑、上楼梯、下楼梯和平静五种日常持续性行为姿态与跌倒、起立、坐下和跳跃这四个突发行为姿态进行预测分类。对比LSTM网络与该研究领域内常用的浅层学习算法、深度学习全连接神经网络与卷积神经网络,实验结果表明,所提方法使用端对端的深度学习的方法相比基于所制作数据集的人体姿态检测算法模型的正确率提高了4.49个百分点,验证了该网络结构的泛化能力且更适合姿态检测。     

基于可靠度的循环冗余校验算法

针对循环冗余校验(CRC)准则在信道条件恶化时可能使译码出现较大迭代次数及错误的问题,提出了基于可靠度的迭代停止算法及重传算法。首先,每次迭代后,计算本次译码中间结果的可靠度,通过判断其是否达到阈值来实现迭代的提前结束;然后,将具有最大可靠度的中间结果保存并作为最终译码结果;最后,每次译码后,通过判断最大可靠度是否低于重传阈值来决定是否重传,通过至多3次传输的译码结果来计算最佳译码结果。仿真结果表明,在信噪比低于1.2 dB时,与CRC准则相比,迭代停止算法能在不增加迭代次数的基础上减少1或2个比特错误,重传算法能进一步减少至少2个比特错误,基于可靠度的算法可以实现更少的误比特数和迭代次数。     

基于覆盖的构造性学习算法SLA及在股票预测中的应用

覆盖算法是神经网络学习算法中的一个十分有效的方法,它克服了基于搜索机制的学习方法和规划学习方法计算复杂性高,难以用于处理海量数据的不足,为神经网络提供一个构造性的学习方法,但该方法是建立在所有训练样本都是精确的假设上的,未考虑到所讨论的数据具有不精确的情况,若直接将该方法应用于数据不精确情况,所得到效果不理想．主要讨论数据具有不精确情况下的时间序列的预测问题,为此将原有的覆盖算法进行改进,引入“覆盖强度”和“拒识样本”的概念,并结合这些新概念给出相应的覆盖学习算法(简称SLA),最后将SLA算法,应用于金融股市的预测,具体应用到以上(海)证(券)综合指数构成的时间序列的预测,取得了较好的结果,这表明了SLA方法的可行性和应用前景。     

一种基于L1范数正则化的回声状态网络

针对回声状态网络存在的病态解以及模型规模控制问题,本文提出一种基于L1范数正则化的改进回声状态网络.该方法通过在目标函数中添加L1范数惩罚项,提高模型求解的数值稳定性,同时借助于L1范数正则化的特征选择能力,控制网络的复杂程度,防止出现过拟合.对于L1范数正则化的求解,采用最小角回归算法计算正则化路径,通过贝叶斯信息准则进行模型选择,避免估计正则化参数.将模型应用于人造数据和实际数据的时间序列预测中,仿真结果证明了本文方法的有效性和实用性.     

基于预测对抗网络的图像二分类模型

正未标记学习仅使用无标签样本和正样本训练一个二分类器, 而生成式对抗网络(generative adversarial networks, GAN)中通过对抗性训练得到一个图像生成器. 为将GAN的对抗训练方法迁移到正未标记学习中以提升正未标记学习的效果, 可将GAN中的生成器替换为分类器C, 在无标签数据集中挑选样本以欺骗判别器D, 对C与D进行迭代优化. 本文提出基于以Jensen-Shannon散度(JS散度)为目标函数的JS-PAN模型. 最后, 结合数据分布特点及现状需求, 说明了PAN模型在医疗诊断图像二分类应用的合理性及高性能. 在MNIST, CIFAR-10数据集上的实验结果显示: KL-PAN模型与同类正未标记学习模型对比有更高的精确度(ACC)及F1-score; 对称化改进后, JS-PAN模型在两个指标上均有所提升, 因此JS-PAN模型的提出更具有合理性. 在Med-MNIST的3个子图像数据集上的实验显示: KL-PAN模型与4个benchmark有监督模型有几乎相同的ACC, JS-PAN也有更高表现. 因此, 综合PAN模型的出色分类效果及医疗诊断数据的分布特征, PAN作为半监督学习方法可获得更快、更好的效果, 在医学图像的二分类的任务上具有更高的性能.     

基于多尺度残差FCN的时间序列分类算法

时间序列数据广泛存在于我们的生活中,吸引了越来越多的学者对其进行深入的研究.时间序列分类是时间序列的一个重要研究领域,目前已有上百种分类算法被提出.这些方法大致分为基于距离的方法、基于特征的方法以及基于深度学习的方法.前两类方法需要手动处理特征和人为选择分类器,而大多数的深度学习方法属于端到端的方法,并且在时间序列分类...     

基于PSO和外部知识的时序数据异常检测

在时间序列数据的异常检测中,单一模型往往只提取与自身模型结构相关的时序特征,从而容易忽略其他特征.同时,面对大规模的时序数据,模型难以对时序数据的局部趋势进行建模.为了解决这两个问题,本文提出一种基于粒子群优化算法(particle swarm optimization,PSO)和外部知识的异常检测模型PEAD.PEAD模型以深度学习模型作为基模型,引入快速傅里叶变换生成的外部知识来提高基模型对局部趋势的建模能力,随后PEAD模型以Stacking集成学习的方式训练基模型,再使用PSO算法对基模型的输出加权求和,对加权求和后的重构数据进行异常检测,PSO算法能够让模型的最终输出共同关注时序数据的全局特征和时间特征,丰富模型提取的时序特征,从而提高模型的异常检测能力.通过对 6 个公开数据集进行测试,研究结果表明PEAD模型在大部分数据集上表现良好.     

用P-BP预测网络模型预测通信网络指标

结合某通信企业业务数据的特点,为其通信网络数据预测业务建立了一套通用的P BP预测网络模型。它以时间序列分析为建模依据和指导,并改变BP神经网络的学习方法,提出BP L网络用作模型中挖掘数据依赖性的工具,它的预测精度、运算速度、泛化能力明显高于BP网络。此外,P BP模型能依据历史数据自动计算最合适的预测阶数;根据业务数据特点设计的消除非平稳因素的方法,使其在平稳化的同时能很好地提高并行运算性能;用区间估计过滤异常数据,具有较强的抗干扰能力,能适应实际的工作环境。用业务数据测试该模型,得到了快速的、非常精确的预测效果和完备的预测值置信区间。     

基于PU学习的建议语句分类方法

建议挖掘作为一项新兴研究任务,具有重要的应用价值。针对传统建议语句分类方法所存在的规则复杂、标注工作量大、特征维度高、数据稀疏等问题,提出一种基于PU学习的建议语句分类方法。首先,使用简单规则从无标注评论集合中选择建议语句的正例集合;然后,为了降低特征维度,缓解数据稀疏性,在自编码神经网络（Autoencoder）特征空间中使用Spy技术划分可靠反例集合;最后,利用正例集合和可靠反例集合来训练多层感知机（MLP）对剩余的无标注样例进行分类。该方法在中文数据集上的F1值和准确率值分别达到81.98%和82.67%,实验结果表明,该方法能够有效地对建议语句进行分类,且不需要对数据进行人工标注。     

适用于单轮单样例标注场景的主动学习停止准则

针对现有的选择精度主动学习停止准则仅适用于批量样例标注场景这一问题,提出了一种适用于单轮单样例标注场景的改进的选择精度停止准则。该准则通过监督自本轮起前溯的固定学习轮次内的预测标记与真实标记间的匹配关系,对选择精度进行近似的评估计算,匹配度越高则选择精度越高,继而利用滑动时间窗实时监测该选择精度的变化,若当其高于事先设定的阈值,则停止主动学习算法的运行。以基于支持向量机的主动学习方法为例,通过6个基准数据集对该准则的有效性与可行性进行了验证,结果表明当选取合适的阈值时,该准则能找到主动学习停止的合理时机。该方法扩大了选择精度停止准则的适用范围,提升了其实用性。