基于增量型聚类的自动话题检测研究

随着网络信息飞速的发展,收集并组织相关信息变得越来越困难.话题检测与跟踪(topic detection and tracking,简称TDT)就是为解决该问题而提出来的研究方向.话题检测是TDT中重要的研究任务之一,其主要研究内容是把讨论相同话题的故事聚类到一起.虽然话题检测已经有了多年的研究,但面对日益变化的网络信息,它具有了更大的挑战性.提出了一种基于增量型聚类的和自动话题检测方法,该方法旨在提高话题检测的效率,并且能够自动检测出文本库中话题的数量.采用改进的权重算法计算特征的权重,通过自适应地提炼具有较强的主题辨别能力的文本特征来提高文档聚类的准确率,并且在聚类过程中利用BIC来判断话题类别的数目,同时利用话题的延续性特征来预聚类文档,并以此提高话题检测的速度.基于TDT-4语料库的实验结果表明,该方法能够大幅度提高话题检测的效率和准确率.     

Data Squashing by Empirical Likelihood

Data squashing was introduced by W. DuMouchel, C. Volinsky, T. Johnson, C. Cortes, and D. Pregibon, in Proceedings of the 5th International Conference on KDD (1999). The idea is to scale data sets down to smaller representative samples instead of scaling up algorithms to very large data sets. They report success in learning model coefficients on squashed data. This paper presents a form of data squashing based on empirical likelihood. This method reweights a random sample of data to match certain expected values to the population. The computation required is a relatively easy convex optimization. There is also a theoretical basis to predict when it will and won't produce large gains. In a credit scoring example, empirical likelihood weighting also accelerates the rate at which coefficients are learned. We also investigate the extent to which these benefits translate into improved accuracy, and consider reweighting in conjunction with boosted decision trees.     

A new query expansion method for document retrieval based on the inference of fuzzy rules

Abstract

Automatic query expansion based on user relevance feedback techniques can improve the performance of document retrieval systems. In this paper, we present a new query expansion method based on the inference of fuzzy rules and user relevance feedback techniques to deal with document retrieval. The proposed method uses membership functions and fuzzy rules to infer relevant degrees of expansion terms and puts the expansion terms with larger relevant degrees into the original user's query. Then, the system calculates the degree of similarity of each document with respect to the expanded user's query. The proposed method gets a higher average precision rate and a higher average recall rate than the existing methods for document retrieval.     

基于特征重加权的小样本遥感图像目标检测算法

针对遥感图像具有目标尺度多变、目标模糊、背景复杂的特点,提出了一种基于特征重加权的遥感小样本目标检测算法RE-FSOD。该模型包括3部分:元特征提取器、特征重加权提取器、预测模块,其中元特征提取器由CSPDarknet-53、FPN以及PAN构成,负责提取数据的元特征;特征重加权提取器用于生成特征重加权向量,用于调整元特征来强化对于检测新类有帮助的特征;预测模块由YOLOv3的预测模块构成,在此基础上将定位损失函数替换为CIOU损失函数,提升模型的定位精度。最后在NWPU VHR-10遥感数据集上进行了训练和测试,实验结果表明,该方法相较于基线方法FSODM的在3-shot、5-shot、10-shot情况下分别提升了约19%、11%、8%。     

基于卷积神经网络的自适应样本加权脑机接口建模

针对脑机接口系统手动提取特征而产生的信息丢失与过拟合问题,建立了一个纯数据驱动的端到端的卷积神经网络模型.同时,为了解决卷积神经网络（convolutional neural network,CNN）需要大量数据而单人脑电数据量小的问题,建立了一套使用多人数据来建立目标用户模型的方法.通过分析其他人数据对目标个体模型的适应程度,清除那些对于目标模型贡献为负的样本.然后,在CNN网络的训练过程中,使用了一种元学习技术,赋予每一个训练数据一个权值.在训练CNN网络时,每一步网络参数更新之后,元学习器会根据训练集中数据样本对于最终模型的影响,自适应的调整每个样本数据的权值.实验结果表明,所提方法得到了比传统方法更好的分类精度,验证了所提方法的有效性.     

基酒FT-NIR光谱预处理与特征波筛选方法的比较

为解决白酒基酒分类的问题,降低基酒的分类误差,减少基酒对摘酒师傅身体的危害,本实验选取18种预处理以及3种特征波筛选方法来较少光谱中的无关干扰信息,降低建模数据复杂度。基酒的傅里叶近红外光谱（Fourier Transform Near Infrared Spectroscopy,FT-NIR）经过光谱理化值共生距离法（SPXY）划分数据集、预处理、马氏距离（MD）异常剔除、特征波筛选、支持向量机回归（SVR）预测来完成最终的分类。研究发现：多元散射校正（Multiplicative Scatter Correction,MSC）后的训练集预测集分类准确率可以达到100%,主成分分析（Principal Component Analysis,PCA）与特定算法结合才能实现准确分类,因此要注意与其他算法的组合,无信息变量消除法（Uninformative Variables Elimination,UVE）和竞争性自适应重加权算法（Competitive Adaptive Reweighted Sampling,CARS）都能实现高效的特征波选择,预测集的平均准确率接近90%。实验证明,经过处理后的光谱数据最多占原数据的47.57%,基酒近红外谱图经过预处理与特征波筛选后可以降低后期回归模型处理数据的复杂程度,提高模型的精确度。     

近红外光谱的三种蓝莓果渣花色苷含量测定

采用近红外光谱技术,对不同贮藏时间的蓝莓营养成分进行定量分析,以寻求其化学成分与近红外光谱数据的相关性,实现利用光谱技术对蓝莓营养成分的无损检测。对获取的近红外光谱数据,运用偏最小二乘回归（Partial Least Square Regression,PLSR）和支持向量回归（Support Vector Regression,SVR）两种机器学习算法预测蓝莓可溶性固形物（Soluble Solids Content,SSC）和维生素C（Vitamin C,V_C）含量。为增加预测精度,采用一阶导数（First Derivative,1-DER）、二阶导数（Second Derivative,2-DER）、标准正态变换（Standard Normal Variate Transform,SNV）、多元散射校正（Multiplicative Scatter Correction,MSC）、Savitzky-Golay平滑（S-G）等一种或几种方法组合对光谱数据进行预处理,比较分析最佳的预处理方式;采用竞争适应性重加权采样法（Competitive Adaptive Reweighted Sampling,CARS）和随机蛙跳算法（Random Frog,RF）及两种算法组合对光谱波长进行降维处理。结果表明,降维后的SSC波长变量分别降到了全光谱变量的1.7%、4.3%和5.6%,V_C波长变量分别降到了全光谱变量的2.5%、2.9%、4.8%。在筛选后的光谱波长变量的基础上,采用PLSR建立蓝莓近红外光谱与SSC和V_C含量的预测模型。对比发现CARS结合RF算法筛选出的波长变量预测效果更好,模型校正相关系数分别为0.9001、0.8707,校正均方根误差分别为0.8234、2.9429,预测相关系数分别为0.8424、0.8350,预测均方根误差分别为0.9613、2.9482。为排除模型性能对预测结果的影响,建立SVR模型将预测结果进行对比,同样发现CARS结合RF算法的预测效果更佳,模型校正相关系数分别为0.8702、0.8503,校正均方根误差分别为0.9549、3.2431,预测相关系数分别为0.8269、0.8183,预测均方根误差分别为0.8769、2.8818。本研究为蓝莓营养品质监测提供了模型基础,且选择特征波长的方法可以为更多果蔬营养物质预测模型提供参考。     

Group-Based Pfair Scheduling

We consider the problem of supertasking in Pfair-scheduled multiprocessor systems. In this approach, a set of tasks, called component tasks, is assigned to a server task, called a supertask, which is then scheduled as an ordinary Pfair task. Whenever a supertask is scheduled, its processor time is allocated to its component tasks according to an internal scheduling algorithm. Hence, supertasking is an example of hierarchal (or group-based) scheduling. In this paper, we present a generalized framework for “reweighting” supertasks. The goal of reweighting is to assign a fraction of a processor to a given supertask so that all timing requirements of its component tasks are met. We consider the use of both fully preemptive and quantum-based scheduling within a supertask. Work supported by NSF grants CCR 9732916, CCR 9972211, CCR 9988327, ITR 0082866, CCR 0204312, and CCR 0309825. Preliminary versions of some content appeared previously in (Holman and Anderson, 2001, 2003).     

参数自适应调整的稀疏贝叶斯重构算法

稀疏表示模型中的正则化参数由未知的噪声和稀疏度共同决定,该参数的设置直接影响稀疏重构性能的好坏。然而目前稀疏表示问题优化求解算法或依靠主观、或依靠相关先验信息、或经过实验设置该参数,均无法自适应地设置调整该参数。针对这一问题,该文提出一种无需先验信息的参数自动调整的稀疏贝叶斯学习算法。首先对模型中各参数进行概率建模,然后在贝叶斯学习的框架下将参数设置及稀疏求解问题转化为一系列混合L1范数与加权L2范数之和的凸优化问题,最终通过迭代优化得到参数设置和问题求解。由理论推导和仿真实验可知,已知理想参数时,该算法与其它非自动设置参数的迭代重加权算法性能相当,甚至更优;在理想参数未知时,该算法的重构性能要明显优于其它算法。