基于分组特性的冗余流量消除算法

针对大量数据片段冗余传输造成网络传输效率降低的问题,在协议无关冗余消除技术的基础上,提出了一种基于分组特性的冗余流量消除(PFRTE)算法。该算法以对数据包大小分组为基础,动态统计和分析网络流量的双峰特性和分组特性,以对冗余消除贡献大的数据包为阈值,利用滑动窗口计算数据块的边界点,对两个边界点间的数据块计算其指纹并进行指纹匹配。对重复传输的数据块进行简单编码,用编码数据替换重复传输的数据片段,再对消除冗余流量的数据包进行传输。与基于最大值选择和基于静态查找表选择等冗余流量消除算法相比,PFRTE算法动态统计网络流量分组特性,能够大大减少服务器端和客户端的CPU运行时间,同时冗余消除字节节省了8%~40%,证明了该算法的有效性。     

多线程电子通信网络数据流冗余量消除方法

为了解决多线程电子通信网络中大量冗余数据干扰的问题,提出一种基于数据特征相似性及动态频率的多线程电子通信网络高效冗余量消除方法.应用假设法及主动采样法计算数据间的特征相似度,根据初始数据和样本数据的迭代频率,得出基本数据特征收缩量,将其导入至激励函数中,推导得出最终相似特征数据的提取公式;利用相似特征数据间的离散状态分类数据,加快冗余数据消除效率.同时,利用基于数据动态的DYNATABLE消除算法,将网络流量中所有字节值不同的数据片段标记,根据标记对应查找网络中相同字节的正常数据片段,将二者替换,再传输替换后的数据包,完成冗余数据的有效消除.仿真结果证明,上述方法时效性较强可以实时完成转化与消除,算法直观、简便,易于操作,CPU耗用较小、综合性能较强、整体效率优异,有效保证数据信息的完成性.     

基于HDFS的海量日志数据冗余点过滤算法仿真

利用当前算法滤除数据冗余点时,缺少对数据冗余点特征的提取、分类处理过程,导致滤除效率差、准确率低、存储开销过大.于是设计了基于HDFS的海量日志数据冗余点过滤算法.引入HDFS体系架构,利用数据采样时间序列获取数据冗余点的特征,并进行分类处理,提升冗余点的滤除效率;计算滤除前含有冗余特征的数据字节数与普通字节数之比的缩减率、误判率,减少存储开销量;为提高准确率、消除性能,采用相似度概念,根据冗余点的突出特征计算整体相似度,再通过均值漂移传递函数实现对数据冗余点的滤除.实验结果表明:上述算法滤出效率更好、准确率更高、存储开销量更小.     

信息集成中数据获取关键技术的研究

信息集成是消除信息孤岛,实现信息共享,为企业决策提供支持的核心技术,而数据获取过程是信息集成系统的基础.在数据同步更新研究中,通过根据失配元组的间隔自适应调整窗口大小,在不牺牲效率的前提下有效提高快照差分算法的查全率.进一步,在相似重复记录检测方法的研究中,结合一种新的字符串距离度量算法,并利用二次聚类,提出一种高效的基于条件概率分布的相似重复记录检测方法.最后通过实验对比测试,对快照差分算法以及相似重复记录检测算法的性能和效率进行分析,理论分析和实验结果均证明了提出的改进算法是非常有效的.     

云制造背景下的服务匹配算法

云制造背景下的服务匹配具有复杂性、海量性,因而需要高效的匹配算法来提高响应度。以往的基于本体的语义检索算法,往往只重视结果的查全率和查准率,不能有效满足云制造背景下的海量数据处理的效率要求。文中将基于语义距离的语义相似度算法应用到云制造背景下的服务匹配中,在满足查准率和查全率的同时,通过设置相应的过滤器,极大减少了不必要的匹配过程。实验结果表明本算法很好地满足了云制造背景下服务搜索的查全率和效率要求。     

一种改进的遥感图像地标边缘匹配方法

基于距离变换的边缘匹配算法是一种有效的地标匹配算法,针对传统算法中重复冗余的计算和搜索效率低的问题,采用边缘距离扩展和设置相似门限的方法,对该算法进行了计算和搜索的优化。仿真实验表明,改进算法在保证匹配精度的基础上,大大降低了算法的计算量,提高了算法的搜索效率。     

基于约简数据集的FCM聚类算法

为了解决模糊C-均值(FCM)聚类算法在使用欧氏距离计算样本与类中心点的距离时计算量大的问题,提出了一种基于属性约简的FCM聚类算法.该算法根据粗糙集理论对初始数据进行属性约简,消除数据对象中的冗余值,然后再对约简后的属性集进行模糊聚类.实验结果表明,该算法能有效减少FCM算法的距离函数计算量,在不降低聚类精度的前提下,提高了FCM算法的执行效率.     

基于重复数据消除的差异备份方法

为消除重复数据对数据传输和存储产生的影响,提出一种基于重复数据消除的差异备份方法。通过将文件的块按照一定区间划分固定大小并采用Hash表对文件块进行唯一性标识,使Rsync算法能检测不同文件之间的重复数据,通过分割Hash表,使块实现局部匹配,并利用校验和文件实现文件不同版本的差异传输。实验结果表明,与Rsync算法相比,该方法能有效减少传输的数据量,降低备份中心的存储量,提高块查找的效率。     

结合颜色和梯度信息的稀疏图像修复算法

现有基于稀疏性的图像修复算法仅利用颜色信息衡量样本块的相似度,易降低修复区域内结构部分的连通性及与邻域信息的连续一致性,同时在全局范围内搜索匹配块也增加了算法的运行时间.为解决上述问题,利用颜色与梯度模值信息度量样本块之间的距离,构造新的相似度以确定块结构稀疏度函数,利用块结构稀疏度确定填充顺序,同时构造新的匹配准则函数寻找匹配块;并利用块结构稀疏度值能够较好地反映样本块所处区域特征的特性,根据块结构稀疏度值自适应确定局部搜索区域大小.并通过实验验证在不同图像中颜色信息与梯度信息所占比例不同.实验结果表明,该算法较对比算法能够更好地保持结构部分的连贯性及与邻域信息的连续一致性,在峰值信噪比上至少提高1dB,并且算法速度提高4~11倍.     

基于熵和块匹配的图像检索技术

提出了一种图像熵和特征块匹配相结合的图像检索方法.为了提高图像的检索精度和效率,首先用计算图像熵并与设定的闭值比较实现对图像库的预分类;然后利用Harris算子检测出图像的特征点,用以特征点为中心的特征块的前三阶颜色矩来描述特征块的特征;进一步统计出两个图像中匹配的特征块数目,计算图像间的相似距离并进行仿真.仿真结果表明,算法中所使用的特征块更全面、更精确地描述了图像的视觉信息,实现相似度计算的方法简单和高效,证明分级检索方法在保证图像检索效率的前提下,极大地缩短了检索时间.     

基于决策树算法的客服终端冗余数据迭代消除方法

为了提高客服终端数据可利用性,降低冗余数据干扰程度,挖掘潜在客户,制定销售策略,研究一种基于决策树算法的客服终端冗余数据迭代消除方法。采用数据仓库法抽取并集成客服终端数据,对字符类数据进行去停用词和中文分词预处理,对数值类数据进行缺失值填补和离散值删除预处理。构建ID3决策树,分类客服终端数据,计算同一类数据的类间相似度,构建冗余数据判断规则,检测客服终端冗余数据,联合消除器消除冗余数据。实验结果表明：所研究方法应用后,可以消除客服终端冗余数据,空间缩减比更接近冗余率。     

基于信息熵抑制的大数据特征隐匿性加密仿真

针对传统大数据特征加密方法中大数据精度较差、加密耗时较长的问题,提出基于信息熵抑制的大数据特征隐匿性加密方法。分析信息熵抑制相关理论,采用信息熵映射函数对大数据分类,将信息熵抑制过程转化为计算2个文件相似性的过程,并根据余弦相似度公式以及Hamming距离值计算数据相似度,完成数据消冗。在完成数据消冗的基础上,分析分组密码方法和ECC加密方法,结合两种方法得到大数据特征隐匿性加密处理计算公式,实现基于信息熵抑制的大数据特征隐匿性加密。实验研究结果表明,所提方法能够有效去除冗余数据,提升大数据精度,加快数据加密的处理速度,高效完成大数据加密过程。     

一种基于MapReduce的大数据集相似自连接算法

如何快速发现数据集中重复或相似的记录是大数据处理技术中的一个基本问题。相似连接是一种有效的相似数据查找方法,且基于MapReduce的相似连接算法因对大数据集的处理能力强而得到广泛关注。通过分析当前相似连接算法进行自连接时存在的自连接冗余、读取原字符串复杂等问题,在Massjoin算法的基础上提出了一种改进的基于MapReduce的自连接算法。改进算法在过滤阶段增加了消除自身冗余的过滤条件,在验证阶段又采用了生成正反候选对和组合id等去冗余技术,并且读取原始字符串内容时只需读取数据集一次。实验数据显示,改进算法无论在过滤阶段还是在验证阶段都减少了算法的CPU时耗,结果表明所提改进策略是有效的。     

结合图像特征的多视拼接数据的消冗处理

在不丢失非重叠区域数据的情况下, 对多视拼接重合区域的三维点云数据进行消冗处理是三维拼接中的一个难题。针对这一难题, 提出了一种结合二维图像信息查找和消除冗余数据的新方法。算法首先查找位于拼接重叠区域的三维点云数据, 结合三维点的K近邻约束和对应像素特征描述的相似度, 对重叠区域的点云数据进行冗余查找和消除。实验表明, 该方法能够准确判断并消除冗余点, 没有造成更改或丢失非重叠区域三维数据点的不良效果, 消冗速度也有所提高。     

自适应不规则纹理的胶囊内镜图像无损压缩

为缓解无线胶囊内镜图像在电子设备以及服务器中的存储压力,提出一种自适应不规则纹理的无损压缩算法。在图像块内,利用扩展角度预测模式寻找与待预测像素最邻近的5个参考像素,并给其中3个参考像素分配不同权重,同时根据邻近像素值梯度变化规律,扩大待预测像素在不规则纹理方向上的预测值选择范围,基于图像块的最小信息熵选择最优的预测值,将真实值与预测值作差获得预测残差,以适应不规则纹理图像。利用跨分量预测模式选择最优的预测系数,构建符合图像块内预测残差分布规律的线性关系,从而消除当前编码像素中3个分量的冗余数据。结合Deflate算法对经多角度预测模式与跨分量预测模式预测后的剩余残差进行熵编码。实验结果表明,该算法在Kvasir-Capsule数据集上的无损压缩比平均为5.81,相比WebP、SAP、MDIP等算法,具有较优的压缩性能,能够有效提高图像的冗余消除率,其中相较WebP算法的冗余消除率提高约1.9%。     

一种LTE系统中计算CFI值的方法*

重点研究了LTE系统中存在承载PDCCH(physical downlink control channel,物理下行控制信道)传输的信息冗余和PDCCH盲检效率较低的问题,提出了一种改进的计算CFI值的方法。该方法按照速率匹配值的降序为各个PDCCH分配1/2/4/8个CCE(control channel element,控制信道元素),再复用各个PDCCH。仿真结果表明该方法能够有效地消除冗余信息,减少PDCCH盲检的平均次数。     

大数据中心存储信息分层分类优化提取仿真

目前信息分类提取方法不能满足用户在大数据时代下的信息获取速度需求,为此,提出了基于大数据中心存储信息分层分类优化的信息提取方法。提取数据信息的特征,对得到的信息特征进行校对和调整,在获得存储机制下大量信息的关键特征后,采用信息校验方法消除冗余信息,在信息的校验过程中获取冗余信息的二维坐标,根据这个坐标进行二次检验,确保冗余信息完全消除。利用获取的信息关键特征系数,对比校验区域信息,完成对信息的精确检测,保证信息分类分层优化的有效性。将优化后的信息作为分层分类信息提取的样本,通过条件假设和似然比对事件的发生概率的计算结果确定事件的发生概率,实现对分层分类优化后信息的提取。仿真结果证明,所提方法在提取大数据中心存储信息时,具有速度快、准确率高、信息损失量低等特点。     

Dependency-preserving normalization of relational and XML data

Having a database design that avoids redundant information and update anomalies is the main goal of normalization techniques. Ideally, data as well as constraints should be preserved. However, this is not always achievable: while BCNF eliminates all redundancies, it may not preserve constraints, and 3NF, which achieves dependency preservation, may not always eliminate all redundancies. Our first goal is to investigate how much redundancy 3NF tolerates in order to achieve dependency preservation. We apply an information-theoretic measure and show that only prime attributes admit redundant information in 3NF, but their information content may be arbitrarily low. Then we study the possibility of achieving both redundancy elimination and dependency preservation by a hierarchical representation of relational data in XML. We provide a characterization of cases when an XML normal form called XNF guarantees both. Finally, we deal with dependency preservation in XML and show that like in the relational case, normalizing XML documents to achieve non-redundant data can result in losing constraints.     

基于移动医疗大数据平台下深度最优匹配算法的机会网络转发机制

通过分析在移动医疗大数据平台下,机会网络中节点传递信息方式的特点,遍历所有邻接节点,对两节点的数据进行比较,通过最优匹配方式,选择匹配结果最优的邻接节点作为下一跳的节点,从而找出一条使数据高效转发的路径。根据此过程,提出一种基于移动医疗大数据平台下深度最优匹配算法的机会网络转发机制,即DOM算法,用来匹配节点中的数据分组,从而选择一条数据高效转发的路径。通过与机会网络中的经典算法比较,表明DOM算法能够在数据传播的过程中减少冗余数据并且显著提高传输成功率。