基于精确欧氏局部敏感哈希的改进协同过滤推荐算法

针对经典协同过滤推荐算法中用户评分数据的规模大、高稀疏度以及直接进行相似度计算实时性差等问题,提出基于p-stable分布的分层精确欧氏局部敏感哈希(E2LSH)算法。利用E2LSH算法查找相似用户,在得到相似用户后使用加权平均方法对用户未评分项目进行评分预测,从而提高推荐结果的准确性。实验结果表明,与基于局部敏感哈希的协同过滤推荐算法相比,该算法具有较高的运行效率及推荐准确率。     

基于精确欧氏局部敏感哈希的协同过滤推荐算法

针对推荐系统中用户评分数据的海量高维与稀疏性,以及直接利用传统相似性度量方法来获取近邻的计算量大、结果不准等对推荐质量的影响,提出基于精确欧氏局部敏感哈希(E2LSH)的协同过滤推荐算法。首先利用精确欧氏局部敏感哈希算法对用户评分数据进行降维处理并构建索引,以快速获取目标用户的近邻用户;然后利用加权策略来预测用户评分,进而完成协同过滤推荐。实验结果表明,该算法能有效解决用户数据的海量高维与稀疏性问题,且运行效率高,具有较好的推荐质量。     

低空间复杂度的LSH算法及其在图像检索中的应用

局部敏感哈希LSH算法是有效的高维数据索引方法,如何生成哈希函数是算法的关键部分。LSH算法的哈希函数是基于p-稳态分布随机生成的,为了提高算法性能就需要增加哈希表的数量,但这会增加算法的空间复杂度。改进后的LSH算法(I-LSH)在生成哈希函数时不需要有标记的训练样本,而是仅仅利用数据点的分布信息构造投影方向。实验结果表明,在不显著降低检索性能的情况下,ILSH有效地降低了内存的使用量,适合处理大规模数据。     

基于局部敏感哈希的隐私保护实时服务推荐

协同过滤算法是服务推荐系统中最有效和应用最广泛的推荐方法,其侧重于提高推荐结果的准确性。然而,在大数据背景下,用户行为数据不仅经常频繁更新而且数据规模增长迅速,传统的协同过滤算法需要穷举搜索所有数据,相似度计算耗时较高,推荐效率低,无法满足用户实时体验的需求服务。快速从大数据中获得高质量的推荐服务成为一种新的需求,为此,提出基于局部敏感哈希技术的协同过滤算法,算法过滤了绝大多数不相似的项目,避免了冗余的相似度计算,另一方面算法将用户行为数据哈希为二进制哈希编码,进而保护用户隐私。最后,在不同规模尺寸的数据集上与主流算法对比,实验表明提出的算法在效率和准确度间能够取得较好的折衷。     

结合局部敏感哈希的k近邻数据填补算法

k近邻(kNN)算法是缺失数据填补的常用算法,但由于需要逐个计算所有记录对之间的相似度,因此其填补耗时较高。为提高算法效率,提出结合局部敏感哈希(LSH)的kNN数据填补算法LSH-kNN。首先,对不存在缺失的完整记录进行局部敏感哈希,为之后查找近似最近邻提供索引;其次,针对枚举型、数值型以及混合型缺失数据分别提出对应的局部敏感哈希方法,对每一条待填补的不完整记录进行局部敏感哈希,按得到的哈希值找到与其疑似相似的候选记录;最后在候选记录中通过逐个计算相似度来找到其中相似程度最高的k条记录,并按照kNN算法对不完整记录进行填补。通过在4个真实数据集上的实验表明,结合局部敏感哈希的kNN填补算法LSH-kNN相对经典的kNN算法能够显著提高填补效率,并且保持准确性基本不变。     

图上基于局部敏感哈希的多关键字索引

针对目前基于倒排表的图关键字索引不能有效处理多个关键字查询,也不能对关键字拼写容错的问题,提出一种位图和局部敏感哈希(BLH）相结合的双层索引来支持图的多关键字查询:上层构建位图,依据关键字组合的n-gram映射到子图类簇,每个类簇存储相似的子图;下层在每个类簇上构建局部敏感哈希索引,根据关键字组合的n-gram定位到包含关键字组合的子图。该方法可显著减少图上关键字查询的I/O,查询时间缩减80%;并且,基于n-gram构建索引,可以避免索引对拼写错误敏感,在关键字容错的前提下返回用户期望的结果。实际数据集上的实验结果表明BLH索引的有效性,可以支持万维网、社会网络的高效查询。     

基于局部敏感哈希的近邻传播聚类

本文针对近邻传播聚类中存在的复杂度高问题,提出了局部敏感哈希的近邻传播聚类算法,根据局部敏感哈希先将相似数据哈希到同一桶中,在对每个桶中的数据进行聚类。实验结果表明,该算法降低了复杂度,提高了准确率。     

区块链环境中基于局部敏感哈希的协同过滤推荐研究

针对区块链环境中海量高维的数据使得推荐性能低下的问题,通过对局部敏感哈希算法的优化,降低其在近邻搜索过程中带来的额外计算和存储开销.利用数据分布的主成分减少传统LSH中不良捕获的投影方向,同时对投影向量权重进行量化,以减少哈希表和哈希函数的使用;通过对哈希桶的间隔进行调整,并且根据冲突次数的大小进一步细化查询结果集,以...     

基于梯度和颜色特征的图像垃圾邮件过滤

提出以图像的梯度直方图和颜色直方图作为分类特征,分析最小二乘支持向量机(LS-SVM)算法以及该算法与传统SVM算法的区别,比较传统分类算法与LS-SVM算法的分类准确度,将LS-SVM算法用于图像垃圾邮件过滤。实验结果表明,该方法能提高图像垃圾邮件的检测率。     

基于SVM的垃圾短信过滤系统

传统的垃圾短信过滤方案,以垃圾短信中出现的敏感词作为判断的依据,却忽略了正常短信中出现的词对分类的贡献,并且由于短信用语的灵活性,特征提取难度较大。提出了一种基于svm算法对垃圾短信进行监控和过滤的方案,该方案根据短信内容、短信长度等特征,对短信文本进行向量空间的表示。通过机器学习的方式,对垃圾短信进行判断,过滤。相比传统方法而言,本系统在过滤准确度和效率两方面均获得大幅度提升。     

基于颜色与角点特征的图像垃圾邮件识别算法

垃圾邮件制造者将垃圾信息嵌入图像中,使基于文本内容的反垃圾邮件系统失效。对垃圾邮件图像的特点深入分析后,提出一种垃圾邮件图像识别算法。垃圾邮件图像多为计算机合成图像,其颜色不如自然图像丰富,且因含有大量文字导致图像中角点角度值分布呈现出一定的规律性。针对此问题选用颜色和角点特征并结合支持向量机分类算法来识别垃圾邮件图像。实验结果表明,该算法对真实垃圾邮件图像的识别精确率超过98％。     

含倾斜文字的图像垃圾邮件过滤技术研究

垃圾邮件制造者采用图像来隐藏垃圾信息,把文字隐藏在图像中并带一定的倾斜。在对含有倾斜文字的图像邮件深入分析后,针对图片中含有倾斜文字的垃圾邮件,文章给出了一种在进行OCR识别之前对图像进行hough变换,并结合支持向量机识别垃圾邮件的算法,实验结果表明,该方法具有比较满意的过滤效果。     

一种改进的 LSH／MinHash 协同过滤算法

近年来很多基于协同过滤的推荐系统得到了成功应用,但随着系统中用户和项目数量的不断增加,相似度计算量剧增,使得协同过滤推荐系统的扩展性问题变得日益突出。本文提出改进的基于近似最近邻的LSH/MinHash算法,并运用到图书馆资源聚类中,以解决在合理时间复杂度下的高维大数据量聚类问题,降低相似度计算量,提高算法的可扩展性。实验表明此算法有较高的效率与精度。     

基于偏最小二乘特征抽取的垃圾邮件过滤

随着垃圾邮件逐渐成为网络用户的一大困扰,垃圾邮件过滤技术的研究显得越来越重要。针对电子邮件存在数据极度稀疏性、高特征维数和多重相关性等特点,本文提出了一种基于偏最小二乘原理的特征抽取方法,可以通过对原始特征进行线性组合抽取出既可反映邮件内容又可反映邮件类型的潜在语义特征,并可解决多重相关性问题。在Enron-Spam邮件数据集上的实验结果表明,同χ²特征选择方法相比,该方法在较低维数上可以获取良好的邮件过滤性能。     

基于协同过滤的垃圾邮件过滤系统

针对当前垃圾邮件过滤技术中邮件性质评价难及邮件附件判断难的问题,提出协同过滤模型,设计一个多层次垃圾邮件过滤系统。该系统针对垃圾邮件一般群发给多人的特点,提取用户的操作和阅读速度进行反馈,利用他人的反馈结果进行协同过滤。实验和分析结果表明,协同过滤技术有效地提高了垃圾邮件过滤的召回率。     

垃圾邮件分类技术对比研究

文章主要进行了接收端的垃圾邮件处理技术的对比研究,包括预处理、特征选择和分类3大步骤。其中特征选择技术包括文档频率（DF）、信息增益（IG）、优势率（ODD）等方法。文章详细介绍了其中基于粗糙集理论的特征选择方法--信息增益（knowledge gain）,并用实验验证了该方法在正确率等指标中的突出表现。主流分类器算法包括k近邻、贝叶斯、SVM等,其中详细展示了线性分类器在垃圾邮件分类算法实验中的突出表现。     

基于Base64编码的垃圾图片过滤方法

针对目前直接提取图片文本特征费时且分类准确率不高,以及使用图像属性特征过滤垃圾图片召回率低下等问题,提出一种快速有效的垃圾图片过滤方法。在使用4-gram切分Base64编码后的图片文本后,通过Binary特征将图片特征项表示为Binary向量,并训练支出向量机分类器来识别垃圾图片。实验结果表明,该方法不仅能够识别不同格式的垃圾图片,而且垃圾图片识别精确率、召回率和F1值分别可达99.85%、99.49%和99.67%。