基于局部概率抽样的标签噪声过滤方法

分类学习任务中,在获取数据的过程中会不可避免地产生噪声,特别是标签噪声的存在不仅使得学习模型更复杂,而且容易造成过拟合并导致分类器泛化能力的下降。标签噪声过滤算法虽然在一定程度上可以解决上述问题,但是仍然存在噪声识别能力较差、分类效果不够理想以及过滤效率低等问题。针对这些问题,提出一种基于标签置信度分布的局部概率抽样方法来进行标签噪声过滤。首先利用随机森林分类器对样本的标签进行投票,从而获取每个样本的标签置信度;然后根据标签置信度的大小,将样本划分为易识别样本和难识别样本;最后分别采用不同的过滤策略对样本进行过滤。实验结果表明,在标签噪声存在的情况下,所提方法在大多数案例上能够保持较高的噪声识别能力,并且在分类泛化性能上也具有明显优势。     

基于相对离群因子的标签噪声过滤方法

分类任务中含有类别型标签噪声是传统数据挖掘中的常见问题, 目前还缺少针对性方法来专门检测类别型标签噪声. 离群点检测技术能用于噪声的识别与过滤, 但由于离群点与类别型标签噪声并不具有一致性, 使得离群点检测算法无法精确检测分类数据集中的标签噪声. 针对这些问题, 提出一种基于离群点检测技术、适用于过滤类别型标签噪声的方法 —— 基于相对离群因子(Relative outlier factor, ROF)的集成过滤方法(Label noise ensemble filtering method based on relative outlier factor, EROF). 首先, 通过相对离群因子对样本进行噪声概率估计; 然后, 再迭代联合多种离群点检测算法, 实现集成过滤. 实验结果表明, 该方法在大多数含有标签噪声的数据集上, 都能保持优秀的噪声识别能力, 并显著提升各种分类模型的泛化能力.     

近邻感知的标签噪声过滤算法

基于k近邻的标签噪声过滤对近邻参数k的选取较敏感.针对此问题,文中提出近邻感知的标签噪声过滤算法,可有效解决二分类数据集的类内标签噪声的问题.算法分开考虑正类样本和负类样本,使分类问题中的标签噪声检测问题转化为两个单类别数据的离群点检测问题.首先通过近邻感知策略自动确定每个样本的个性化近邻参数,避免近邻参数敏感的问题.然后根据噪声因子将样本分为核心样本与非核心样本,并把非核心样本作为标签噪声候选集.最后结合候选样本的近邻标签信息,进行噪声的识别与过滤.实验表明,文中方法的噪声过滤效果和分类预测性能均较优.     

面向回归任务的数值型标签噪声过滤算法

回归任务中的数值型标签噪声可能误导模型训练,进而弱化模型泛化能力.作为一种常用的标签噪声处理技术,噪声过滤通过去除误标记样本来降低噪声水平,但无法保证过滤后模型能够获得更好的泛化表现.一些过滤算法过于关注噪声水平,以至于大量无噪样本也被去除.尽管已有样本过滤框架能够平衡样本去除量和噪声水平,但其形式过于复杂不利于直观理解和实际应用.根据无噪回归任务中的学习理论提出了面向数值型标签噪声数据的泛化误差界,从而明确了影响模型泛化能力的关键数据因素(数据量和噪声水平).在此基础上提出一种可解释的噪声过滤框架,其目标是以较小的样本去除代价最大程度地降低噪声水平.针对噪声估计问题,从理论上分析了噪声与覆盖区间关键指标(中心和半径)之间的变化趋势,进而构建了相对噪声估计方法.此方法与所提框架结合形成了相对噪声过滤(relative noise filtering, RNF)算法.在标准数据集和年龄估计数据上均验证了算法的有效性.实验结果表明：该算法能够适应各类噪声数据,显著提升模型泛化能力.在年龄估计数据上RNF算法检测出一些标签噪声数据,有效提升了数据质量和模型预测性能.     

极限距离噪声估计与过滤方法

近年来,机器学习不断取得显著性进展并被成功应用于诸多领域,然而很多学习模型或算法高度依赖数据的标签质量。实际应用中大量数据集普遍存在复杂的标签噪声,因此机器学习在低质数据建模和标签噪声处理方面面临严峻挑战。文中针对回归中的数值型标签噪声,从理论分析和仿真实验的角度研究了标签估计区间与噪声的关联性,提出了一种极限距离噪声估计方法。在最优样本选择框架下,基于此噪声估计方法提出了一种极限距离噪声过滤(Limit Distance Noise Filtering, LDNF)算法。实验结果表明,所提噪声估计方法与真实标签噪声具有更高的相关性和更低的估计偏差。在标准数据集和真实年龄估计数据集上证实了所提过滤算法可以在不同噪声环境下有效识别标签噪声并减小模型的测试误差,其表现优于最新的其他过滤算法。     

基于噪声标签自适应的行人再识别方法

行人再识别技术目前逐步被应用于视频监控、智能安防等领域。监控设备与日俱增,给研究工作提供了海量数据支持,但人工标注或检测器识别难以避免地引入带有噪声的数据标签。在进行大规模深度神经网络训练时,伴随数据量增加,标签的噪声给模型训练带来不可忽视的损害。为解决行人再识别的噪声标签问题,本文结合噪声、非噪声数据训练差异化特征,提出一种噪声标签自适应的行人再识别方法,不需要使用额外的验证集以及噪声比例、类型等先验信息,完成对噪声数据的筛选过滤。此外,本文方法自适应地学习噪声样本权重,进一步降低噪声影响。在含噪声的Market1501、DukeMTMC-reID两个数据集上,主流模型受噪声影响严重,本文提出的方法可以在此基础上提高约10%的平均精度。     

基于抽样的垃圾短信过滤方法*

现有垃圾短信过滤系统主要采用对短信进行逐条分析判断的技术,因此处理的效率比较低。针对这一过滤技术的不足,提出了一个基于抽样的垃圾短信过滤方法,该方法引入用户信任度的概念,根据用户的信任度对用户发送的短信进行抽样过滤,极大地提高了处理效率。同时该方法整合了多项垃圾短信过滤技术（黑白名单、关键词及内容过滤技术）,较之单一的过滤方法在准确率和效率上有很大的提高。     

融合用户动态标签和信任关系的协同过滤算法

针对协同过滤推荐算法中的冷启动以及数据稀疏问题,提出一种融合用户动态标签和用户信任关系的矩阵概率分解模型。该模型首先通过构建用户集、标签集和物品集三者间的动态联系,建立用户动态偏好矩阵;接着构建基于用户社会网络信息的用户信任关系矩阵,该信任关系矩阵使用用户信任反馈机制以实时更新用户间的信任值;最后提出融合用户动态标签和用户信任关系的矩阵概率分解模型,并在MovieLens与Jester_Joke_data数据集上进行仿真实验。实验结果表明,该算法在绝对误差均值、准确率与召回率方面获得了较好的效果,在一定程度上能有效提高了协同过滤推荐算法的性能。     

基于噪声检测的激光光斑图像去噪方法

基于受污染图像的噪声检测,提出了一种有效的椒盐噪声图像混合滤波算法。首先利用可自适应变化的矢量窗口检测噪声,并对检测到的噪声进行分类,然后采用所提出的伪加权中值滤波和伪加权均值滤波两种算法对图像进行混合滤波,最后加入背景阈值和孤立噪点修正量对滤波后的图像进行灰度修正。提出的方法对不同椒盐噪声强度下的激光光斑图像均体现出优异的滤波性能,去噪和边缘保持性能得到了较大提高,优于传统的中值滤波、均值滤波及其一些改进算法。     

粒子滤波的噪声相关下单步延迟无序量测更新算法

在目标跟踪系统中,因通信延迟等原因会出现传感器量测无序地到达融合中心的现象,将这些量测称为无序量测(OOSM).针对过程噪声、量测噪声相关的非线性系统中出现的无序量测问题,在现有算法基础上,提出了一种可处理单步延迟无序量测的新算法.在前向预测滤波框架下,对系统方程去相关化,并利用粒子滤波(PF)进行状态估计.仿真结果验证了算法的有效性.     

基于改进脉冲噪声检测的新型滤波算法*

通过分析脉冲噪声图像的数值特征,为了快速和准确地滤除图像脉冲噪声并能很好地保持图像的细节,提出了基于改进脉冲噪声检测的灰度图像和彩色图像非线性自适应滤波算法。该算法首先通过改进的噪声检测方法把图像中的噪声点标志在噪声标志矩阵中,然后采用改进中值滤波方法并有限制地自适应调整滤波窗口对灰度图像中的脉冲噪声给予有效滤除。在此基础之上,分别采用该方法对彩色图像的三个RGB子图像进行单独滤波,然后利用通道融合技术得到最终的彩色滤波图像。经过实验仿真并与国内外相关文献提出的算法相比,本方法不仅思想简单、快速、易于实现     

基于PCNN的改进脉冲噪声去噪方法

提出了一种基于噪声邻域结构分析的脉冲噪声去除方法。对脉冲耦合神经网络点火形式进行修改,通过对含噪图像进行点火,获得点火级别图像并定位噪声。对噪声点邻域结构进行分析,对不同邻域结构的噪声点进行分类。对邻域结构简单的噪声点采用中值滤波进行去噪;对邻域结构复杂的噪声点提出了一种基于区域隶属度的去噪方法。实验结果表明所提出的算法可以有效抑制图像中的脉冲噪声,并可以保留图像的边缘细节。     

基于PCNN的高斯噪声滤波

论文针对高方差的高斯噪声的特点,提出了一种先定位和去除大噪声像素,后平滑小噪声像素的滤波方法。文中采用类均值滤波方法去除大噪声像素,利用改进的PCNN平滑小噪声像素。与已有的滤波方法相比,该算法在较好地滤除噪声的同时,具有自适应和图像边缘保护能力。实验结果证实了该方法的可行性和有效性。     

基于动态环境衰减的粒子滤波室内定位算法

针对精确的室内定位中节点受复杂环境的干扰带来因距离相同而位置不同的环境差异,造成定位精度不足和定位稳定性较差的问题,提出了一种新的动态环境衰减因子(DEAF)模型的算法。算法构造DEAF模型,且重新定义了其取值方式。在算法中,首先利用粒子滤波算法对接收到的信号强度(RSSI)进行平滑处理;然后利用DEAF模型计算目标节点的估计距离;最后用三边测量法求出目标节点的坐标。通过与几种常用的滤波模型进行对比实验,得出这种动态环境衰减模型结合粒子滤波的算法能很好地调和不同位置带来的环境噪声差异,算法使定位平均误差降到0.68 m左右,且在室内定位中有较高的定位精度和较好的稳定性。     

基于2级噪声检测的改进中值滤波算法

针对传统中值滤波算法去除高密度椒盐噪声能力的不足,提出了一种新的改进算法.该算法首先采用2级噪声检测方法对图像中的信号点和噪声点进行标识,然后对检测出的噪声点利用改进的中值滤波算法进行处理,而对信号点则保留其灰度值不变.实验结果表明,该算法能在有效去除噪声的同时很好地保留图像细节,相比于传统中值滤波及其它改进中值滤波算法,该算法获得的去噪后的图像具有更好的客观评价指标和主观视觉效果.     

基于排序差值脉冲噪声检测的彩色图像滤波方法

提出一种针对彩色图像脉冲噪声进行检测,并根据检测结果利用改进的自适应矢量中值滤波法滤除彩色图像脉冲噪声的方法。试验结果表明,该方法能够明显地减少脉冲噪声检测过程中的噪声漏判数量,有效地去除彩色图像中的脉冲噪声,滤波后不会产生新的颜色,并能较好地保持图像的边缘与细节信息。