基于字段过滤和伸缩窗口的SNM算法优化

数据仓库中的问题数据对数据质量有较大的影响,为了查找和去除这些问题数据,首要的工作是处理相似重复数据,目前针对重复数据清除应用最多的算法是基本邻近排序算法(SNM)。通过分析SNM算法的缺陷,提出了一种改进的SNM算法——ISNM。采用属性区分法计算属性权值,解决了人为主观赋予权值导致的问题;使用字段过滤算法计算2条记录的相似度,减少了窗口内记录属性的比对次数,加快了算法的检测速度;使用可变窗口代替固定大小的窗口,防止记录漏配并减少无用的记录比对。实验结果表明,改进后的ISNM算法在查全率、查准率和运行时间开销上有明显的优势。     

基于长度过滤和动态容错的SNM改进算法

数据仓库中相似重复记录的清洗对于数据质量影响很大,传统的基本邻近排序算法（Sorted-Neighborhood Method, SNM）时间效率和准确率均不高。针对SNM算法的缺陷,提出了一种基于长度过滤和动态容错的SNM改进算法。根据两条记录的长度比例和属性缺失情况,首先排除一部分不可能构成相似重复记录的数据,减少比较次数,提高检测效率;进一步提出了动态容错法,校准字段相似度评判结果,解决了因属性缺失而误判的问题,提高了准确率。针对实际数据集的实验分析表明,在相同的运算环境下,优化算法在准确率和时间效率上有明显优势。     

基于QPSO-LSSVM的数据库相似重复记录检测算法

针对大规模数据库的相似重复记录的检测问题,提出了一种量子群优化算法(QPSO)与最小二乘支持向量 机(LSSVM)相结合的相似重复记录检测方法(QPSC}LSSVM)。首先计算记录字段的相似度值;然后利用QPSO对 LSSVM参数进行优化,构建相似重复记录检测模型;最后通过具体数据集进行仿真测试实验。仿真结果表明,QPSCL LSSVM不仅提高了重复记录检测准确率,而且提高了检测效率,是一种有效的相似重复记录检测算法。     

对基于MPN数据清洗算法的改进

相似重复记录的清除是数据清洗领域中的一个很重要的方面,它的目的是清除冗余的数据.介绍了该问题的流行算法-多趟近邻排序算法MPN(Multi-Pass Sorted Neighborhood),该算法能较好地对相似重复记录进行清除,但也有其不足:一是在识别中窗口大小固定,窗口的大小选取对结果影响很大.二是采用传递闭包,容易引起误识别.提出了基于MPN算法的一种改进算法,试验结果证明改进算法在记忆率和准确率上优于MPN算法.     

基于机器学习算法的高校学生就业去向预测

针对高校学生就业去向预测这一问题无法快速获取精准预测结果的缺陷,提出了机器学习算法的高校学生就业去向预测方法.采集身份信息、专业成绩等高校学生就业去向预测相关数据,将所采集数据通过数据清洗、数据规约以及处理缺失值、异常值3部分完成数据预处理,利用特征选择算法依据完成预处理的数据获取最优特征子集,利用最优特征子集建立高校...     

基于知识库的自然语言中歧义字段自动识别系统设计

为全面实现歧义消解,对知识库自然语言中歧义字段自动识别系统设计。利用互信息进行歧义字段特征识别,采用正向与逆向相结合的提取方式,将字段特征集合描述为二维向量,通过循环方式提取歧义字段显性特征;建立模型进行最优线性分类识别,选择最佳样本识别条件,建立最优分类超平面并确立分类函数。通过性能衡量指标构建软硬件系统结构,结合识别算法设置工作流程,经功能设计进一步提高识别精度。仿真实验表明该系统不受数据规模影响,可有效提高识别精度,减少系统处理时间,实现对歧义字段的高精度、高效率识别。     

一种基于关联规则与支持向量机的基因表达数据分类模型

通过研究基因表达数据发现与特定疾病相关的关联规则,对疾病辅助诊断有重要的意义。针对现有分类结果可解释性的不足,提出一种基于关联规则的基因表达数据分类模型ASSO-SVM(ASSOciation rule based Support Vector Machine)。在该模型中,关联规则作为一种特征选择方法,用于提取基因之间的非线性关联。通过这些非线性关联所获取的先验知识有利于提高分类结果的可解释性。另外,针对基因表达数据高维、小样本的特性,该方法采用支持向量机作为对基因表达数据的分类器,获得较高的分类精度。ASSO-SVM结合了基因表达关联规则以及支持向量机分类的优点。在实际基因表达数据集上与现有分类模型的对比实验验证了该方法的有效性。     

基于灰色关联支持向量机的粮食产量预测

研究粮食准确预测问题,由于粮食产量受到多种高维非线性、随机性和有限样本等因素的影响,单一模型不能全面描述其变化趋势,预测精度较低。为了提高粮食产量预测精度,提出一种将灰色关联支持向量机的粮食产量预测模型。首先采用灰色关联分析确定粮食产量变化主要影响因子,然后通过支持向量机学习建立粮食产量与因子之间的非线性映射关系,最后为避免人为选择参数的盲目性,采用遗传算法确定支持向量机参数并对将来粮食产量进行预测。利用1978-2011年我国粮食产量进行仿真,并将预测结果与单一机模型进行对比。结果表明,灰色关联支持向量机提高了粮食产量的预测精度,可以较好地应用于粮食产量预测中。     

自适应模糊支持向量机算法研究

一个有效的核方法通常取决于选择一个合适的核函数。目前研究核方法的热点是从数据中自动地进行核学习。提出基于最优分类标准的核学习方法,这个标准类似于线性鉴别分析和核Fisher判别式。并把此算法应用于模糊支持向量机多类分类器设计上,在ORL人脸数据集和Iris数据集上的实验验证了该算法的可行性。     

基于自适应参数的非局部立体匹配算法

针对现有非局部立体匹配算法在不同纹理图像下因选取固定参数而导致整体误匹配率偏高的问题,提出一种自适应参数的非局部立体匹配算法。对颜色差和水平及垂直方向梯度代价进行归一化处理并加权融合,通过对融合后代价作对数变换,提高了单像素匹配代价在低纹理区域表现;在色度,饱和度,纯度(HSV)颜色空间上,计算参考图的平均色度差,自适应调节代价聚合参数;经过视差选择获得视差图。实验结果表明:所提算法在Middlebury测试平台对31组立体图像对处理后的平均误差为7. 86%。在低纹理区域误匹配率进一步降低,具有更好的泛化性。     

Sparsity estimation based adaptive matching pursuit algorithm

Compared with convex optimization algorithms and combination algorithms, greedy pursuit algorithms can balance operational efficiency and reconstruction precision, so they are widely used in the signal reconstruction step of compressed sensing. However, most existing greedy pursuit algorithms only work well if the signal sparsity is known, and their reconstruction performance is influenced by signal sparsity. To more accurately match the sparsity and obtain better reconstruction performance, we propose a greedy pursuit algorithm, the sparsity estimation based adaptive matching pursuit algorithm, which achieves image reconstruction using a signal sparsity estimation based on the Restricted Isometry Property (RIP) criterion and a flexible step size. Experimental results demonstrate that this algorithm provides better reconstruction performance and lower computation time, using different measurement matrices, when the sparsity is estimated in advance.     

基于自适应背景匹配的运动目标检测算法

为了减小所提取的背景对后续目标检测的影响,提出了基于自适应背景匹配的运动目标检测算法.通过改进的Mode算法结合自适应背景匹配更新机制获得可靠的背景,在此基础上结合绝对差分和具有双动态阈值的Cauchy分布模型建立了目标检测总体模型,从而实现对视频序列中的运动目标进行检测.通过对行人和车辆等不同监控对象的实验,验证了算法具有良好的噪声抑制能力和对慢目标良好的鲁棒性,同时能有效的分割前景目标.     

基于特征点匹配的自适应目标跟踪算法

由于实际场景复杂多变,目标在运动过程中往往会出现形变、遮挡等问题,增加了跟踪的难度。为了解决上述问题,提出一种基于特征点匹配的自适应目标跟踪算法。算法初始化时在选定的目标区域内提取特征点,跟踪过程中通过对前后两帧的特征点进行匹配,计算出目标的位置、尺度和旋转变化,进而实现对目标的跟踪。同时通过对特征点的不断更新,可以使算法具有一定的抗遮挡能力。实验表明,该方法在实际应用中效果很好。     

基于压缩感知的后退型自适应匹配追踪算法

基于压缩感知理论的重建关键在于从压缩感知得到的低维数据中精确恢复出原始的高维稀疏数据。针对目前大多数算法都建立在稀疏度已知的基础上,提出一种后退型固定步长自适应匹配追踪重建算法,能够在稀疏度未知的条件下获得图像的精确重建。该算法通过较大固定步长的设置,保证待估信号支撑集大小的稳步快速增加;以相邻阶段重建信号的能量差为迭代停止条件,在迭代停止后通过简单的正则化方法向后剔除多余原子保证精确重建。实验结果表明,该算法在保证测量次数的条件下可以获得快速的精确重建。     

基于压缩感知的稀疏度自适应匹配追踪改进算法

针对稀疏度自适应匹配追踪(Sparsity adaptive matching pursuit,SAMP)算法存在预选原子过多、重构时间长、步长的选择固定等缺点,提出一种稀疏度自适应匹配追踪改进算法.该算法将稀疏度预先设定值与稀疏度估计过量判据相结合进行真实稀疏度快速估计,通过模糊阈值的方法提高候选原子的精确度,采用原子相关阈值改善迭代停止条件,最终实现信号的精确重构.仿真实验表明,改进算法重构质量较好于SAMP算法,重构速率显著提高.     

Improved sparsity adaptive matching pursuit algorithm based on compressed sensing

Traditional greedy algorithms need to know the sparsity of the signal in advance, while the sparsity adaptive matching pursuit algorithm avoids this problem at the expense of computational time. To overcome these problems, this paper proposes a variable step size sparsity adaptive matching pursuit (SAMPVSS). In terms of how to select atoms, this algorithm constructs a set of candidate atoms by calculating the correlation between the measurement matrix and the residual and selects the atom most related to the residual. In determining the number of atoms to be selected each time, the algorithm introduces an exponential function. At the beginning of the iteration, a larger step is used to estimate the sparsity of the signal. In the latter part of the iteration, the step size is set to one to improve the accuracy of reconstruction. The simulation results show that the proposed algorithm has good reconstruction effects on both one-dimensional and two-dimensional signals.     

一种新的基于局部反射变换原理图像匹配算法研究*

主要研究了采用一种新的基于局部反射变换原理来对图像进行配准处理。针对传统的图像配准算法效率和精度较低,提出了一种新的快速简便的图形局部放射变换不变性特性的关键点筛选和配准算法。算法首先利用尺度不变特征转换算法(SIFT)提取图像中的关键点,然后在关键点附近区域构造三角形区域,并根据仿射不变性原理,计算各三角形区域相对面积;以此相对面积的比例来确定最终的关键点并对其进行配准操作,方法简单高效。实验结果表明,提出的方法能快速地筛选图像中的关键点,并在保证准确性的前提下,获得尽可能多的关键点,充分保证了最终图像配准操作的准确性。     

自适应块匹配搜索算法研究

为从视频序列提取运动矢量,进行有效的视频检索,对现存的运动特征的提取算法存在的问题进行了分析,提出了基于自适应块匹配搜索的全局运动特征提取方法。实验表明该算法在大大提高搜索速度的同时,能够获得几乎与全搜索算法相同的峰值信噪比（PSNR）。     

基于自适应阈值SAMP算法的OFDM稀疏信道估计

为了降低重构算法的复杂度,提高重构的精确度,提出一种自适应阈值的稀疏度自适应匹配追踪算法（SAMP）,并将其运用在OFDM稀疏信道估计中。蒙特卡洛仿真证明,改进后的算法相比于原算法在CPU运行时间上减少了44.7%,并且在较低的信噪比下也能达到较好的估计效果。此外,针对OFDM稀疏信道估计问题,结合压缩感知理论中观测矩阵的构造方法,提出一种新的导频图案分布设计方法,仿真证明该导频图案设计方法比现有方法在估计精确度方面提高2~4dB。