基于自适应学习的文本信息过滤系统

面对实时网络信息过滤的新挑战,自适应信息过滤能够解决问题。针对现有自适应系统的不足,提出了提高模板准确性的学习和过滤阈值优化的新方法。采用增量迭代学习算法来逼近真实的过滤模板,结合非法网页的分布函数自适应调整阈值,不断提高过滤精度,并运行于一个校园网关之上,取得了较好的效果。     

自适应信息过滤中使用少量正例进行阈值优化

自适应信息过滤中一个大的挑战在于其数据稀疏问题.因此,在对输入的文本流进行过滤的同时学习最优阈值非常重要.提出了一种新颖的阈值优化算法.该算法可以通过少量的正例进行快速的学习,所需数据的获得具有增量性,故而其计算量及所需的存储空间很小.此外,该算法还具有高效、健壮、实用性强等优点.在第10届国际文本检索会议(TREC10)上,复旦大学的自适应信息过滤系统使用了该阈值优化算法,并取得了第3名的成绩.其T10U和T10F分别达到了0.215和0.414.     

基于层次聚类的自适应信息过滤学习算法

本文采用一种基于层次聚类的自适应学习策略,从系统反馈的信息流中,动态提取一类最优信息的质心更新用户模型,有效屏蔽了阈值失真和初始信息稀疏造成的大量反馈噪声,并且能够近似模仿人工反馈,完善自适应学习机制的智能性。     

基于VSM的自适应信息过滤系统的研究与设计

为了从网络动态信息流中获得感兴趣的内容或过滤掉无关的垃圾信息,设计了一个基于向量空间模型的自适应信息过滤系统;描述了该系统的结构和工作流程;对该系统实现的关键技术,包括文本表示、用户模板与过滤阈值初始化、特征项选取、自适应过滤算法、模板更新和阈值调整等进行了深入的分析和研究。     

基于特征选择的自适应信息过滤研究

提出了一种新的、基于用户反馈的、构建用户模板的方法,它不同于传统的方法将用户兴趣当作单模板来处理。引入了特征选择技术,能够对用户横板进行动态调整,并构建了自适应的单模板和多模板系统,能够更准确地表示用户兴趣和定位相关信息。     

信息自适应过滤的效用指标优化方法

自适应过滤是文本检索会议(TREC)过滤任务的重要子任务,也最接近真实的环境。对评测指标的优化是自适应过滤任务中非常重要的研究方向。论文以TREC的评测指标为目标函数,对在阈值调整中的极大似然估计法和局部优化法进行了比较分析,提出了结合极大似然估计法的局部优化方法,克服了采用单一方法的缺点,实验结果表明这个方法对提高过滤性能是有效的。     

一种改进的自适应文本信息过滤模型

自适应信息过滤技术能够帮助用户从Web等信息海洋中获得感兴趣的内容或过滤无关垃圾信息．针对现有自适应过滤系统的不足,提出了一种改进的自适应文本信息过滤模型．模型中提供了两种相关性检索机制,在此基础上改进了反馈算法,并采用了增量训练的思想,对过滤中的自适应学习机制也提出了新的算法．基于本模型的系统在相关领域的国际评测中取得良好成绩．试验数据说明各项改进是有效的,新模型具有更高的性能．     

网络敏感信息自适应多重过滤模型研究

敏感信息过滤是既重要又复杂的任务.针对当前一些敏感信息过滤模型所存在的时间滞后、准确性低、自适应性差等问题,提出了一个敏感信息自适应多重过滤模型.该模型以互联网中文文本媒体为研究对象,采用意见挖据、机器学习、高性能计算和自然语言处理等技术,从整体和语义角度自适应识别敏感信息.对敏感信息自适应多重过滤模型的研究将为舆情监控、商业智能、辅助决策等应用系统开发提供技术支持.     

基于增量局部加权学习的查询模板自适应基数估计

基数估计是基于代价查询优化的关键步骤,已经被研究了近40年.传统方法如基于直方图的方法在一些假设如属性相互独立、相交的表满足包含原则等成立时能基本满足准确性要求.然而,在真实运行环境中这些假设往往不再成立,可能导致基数估计严重错误进而造成查询延迟.近年来,随着数据的增多和新硬件的发展,使用机器学习方法来提高基数估计的质量成为了可能.由于基于代价的查询优化主要根据查询中子执行计划的估计代价来选择最优的查询执行计划,因此,有一些最近的工作针对一些关键的子执行计划模板建立相应的局部学习模型,取得了不错的进展.但是,这些局部模型主要用于查询(查询空间)分布和数据(数据库数据)分布不变的场景,而在真实运行环境中,它们往往不断地发生变化,限制了这些估计技术的有效性.在本文中,我们针对子执行计划模板在查询分布和数据分布不断变化的环境下提出了一种使用增量的局部加权学习进行自适应基数估计的方法.具体地说,首先抽取子执行计划的语义和统计特征使之能代表当前查询和数据的特性,然后使用增量的局部加权学习模型根据查询分布和数据分布的变化进行自适应的学习,实现基数估计.最后,通过对比实验验证了本文方法的有效性.     

基于个性化自适应学习的网络混合式信息推荐

网络信息种类繁多、特征混乱,信息结构可视化难度较大,导致其推荐误差较大,且相似信息资源直接点击率不高.提出新的基于个性化自适应学习的网络混合式信息推荐方法.将自适应学习分为知识学习、测验考试、学习策略决策及数据维护四大功能模块,自适应挖掘混合式信息特征,降低用户个性属性维数;构建领域知识模型,对混合信息知识结构做可视化...     

基于增量学习的混合推荐算法

推荐系统是自适应信息系统中的个性化服务模块,可以根据目标用户的信息需求提供个性化的信息服务。针对传统协作过滤算法存在的用户兴趣描述粒度过大问题,以及稀疏评分矩阵造成相似度计算不准确的问题,提出了一种基于增量学习的混合推荐算法WHHR,该算法通过Widrow-Hoff增量学习构建基于内容的用户模型,并结合协作过滤推荐机制实现评分预测。实验验证了WHHR算法在收敛速度和推荐准确性方面较类似推荐算法有较大提高。     

Experimental study on population-based incremental learning algorithms for dynamic optimization problems

Evolutionary algorithms have been widely used for stationary optimization problems. However, the environments of real world problems are often dynamic. This seriously challenges traditional evolutionary algorithms. In this paper, the application of population-based incremental learning (PBIL) algorithms, a class of evolutionary algorithms, for dynamic problems is investigated. Inspired by the complementarity mechanism in nature a Dual PBIL is proposed, which operates on two probability vectors that are dual to each other with respect to the central point in the genotype space. A diversity maintaining technique of combining the central probability vector into PBIL is also proposed to improve PBILs adaptability in dynamic environments. In this paper, a new dynamic problem generator that can create required dynamics from any binary-encoded stationary problem is also formalized. Using this generator, a series of dynamic problems were systematically constructed from several benchmark stationary problems and an experimental study was carried out to compare the performance of several PBIL algorithms and two variants of standard genetic algorithm. Based on the experimental results, we carried out algorithm performance analysis regarding the weakness and strength of studied PBIL algorithms and identified several potential improvements to PBIL for dynamic optimization problems.

基于近邻分类的增量学习分类算法研究

为解决分类器学习新样本知识的问题,提出一种基于近邻算法的增量学习算法。该算法以最近邻算法为基础,首先计算新样本与标准样本之间的匹配度,找到最佳匹配样本和次佳匹配样本,然后通过与匹配度阈值进行比较来决定是类内学习还是类别学习。算法采用UCI中的标准数据集进行实验并应用于车辆识别仿真,其结果验证了该算法的有效性。实验进一步研究了匹配度阈值的选择和初始化样本数量选取对分类正确率影响。     

在线增量极限学习机及其性能研究

针对在线学习中极限学习机需要事先确定模型结构的问题,提出了兼顾数据增量和结构变化的在线极限学习机算法。算法于在线序列化极限学习机的基础上,通过误差变化判断是否新增节点,并利用分块矩阵的广义逆矩阵对新增节点后的模型进行更新,使模型保持较高正确率。通过在不同类型和大小的数据集上的实验表明,所提算法相较于经典极限学习机及其在线和增量学习版本都具有较好的分类和回归准确率,能够适应不同类型的数据分析任务。     

SVM增量算法及在旅游信息分类中的应用

在如何从海量的数据中提取有用的信息上提出了一种新的SVM的增量学习算法.该算法基于KKT条件,通过研究支持向量分布特点,分析了新样本加入训练集后,支持向量集的变化情况,提出等势训练集的观点.能对训练数据进行有效的遗忘淘汰,使得学习对象的知识得到了积累.在理论分析和对旅游信息分类的应用结果表明,该算法能在保持分类精度的同时,有效得提高训练速度.     

基于Dual-Tree CWT和自适应双边滤波器的图像去噪算法

针对目前图像去噪方法主要局限于单一噪声,无法有效解决多种混合噪声的不足,提出了一种基于Dual-Tree CWT和自适应双边滤波器的图像去噪算法。该算法使用双树复小波变换对含噪图像进行多尺度和多方向的分解,由改进阈值对各个方向子带的高频系数进行阈值量化,同时由自适应双边滤波对每尺度下低频子带系数进行滤波,并将重构得到的图像进一步去除噪声。实验仿真结果表明,该方法对混合噪声的滤除效果明显优于现有算法,且能较好地保护图像的边缘细节信息,通过客观评价指标峰值信噪比（PSNR）和均方根误差（RMSE）定量比较,PSNR提升了5.333 2~6.527 8 dB,RMSE可降低29.41%~46.03%,运行时间仅为1.492 0 s,整体降噪性能更优。     

双策略学习和自适应混沌变异的郊狼优化算法

针对郊狼优化算法（coyote optimization algorithm,COA）存在收敛速度慢、求解精度低、易陷入局部最优的不足,提出一种基于双策略学习机制和自适应混沌变异策略的改进郊狼算法（coyote optimization algorithm based on dual strategy learning and adaptive chaotic mutation,DCSCOA）。首先,引入振荡递减因子,以产生具有多样性的个体来增强全局搜索能力;其次,利用双策略学习机制,适度地增强组群头狼的影响,以平衡算法的局部挖掘能力和全局搜索能力,同时提高算法的求解精度和收敛速度;最后,使用自适应混沌变异机制,在算法停滞时产生新个体,以使算法跳出局部最优。通过对20个基本测试函数和11个CEC2017测试函数进行仿真实验,结果验证了改进算法具有更高的求解精度、更快的收敛速度和更强的稳定性。     

基于联邦滤波的自适应算法研究

针对标准卡尔曼滤波器对系统的模型和噪声的统计特性依赖性强,而系统的准确数学模型难以建立的问题,结合联邦滤波和自适应估计理论,提出了一种基于联邦滤波的自适应算法。该算法通过残差的实际值与理论值的比值来确定误差方差阵的估计值,然后调节自适应卡尔曼滤波器的渐消因子,从而有效提高了联邦滤波器的适应能力。由仿真结果可知,改进的联邦滤波器能较好地利用测量信息对系统的相关参数进行自适应的调整,滤波结果具有很好稳定性和准确性。