On the design of multiple key hashing files for concurrent orthogonal range retrieval between two disks

This paper concerns the following problem: given a set of multi-attribute records, a fixed number of buckets and a two-disk system, arrange the records into the buckets and then store the buckets between the disks in such a way that, over all possible orthogonal range queries (ORQs), the disk access concurrency is maximized. We shall adopt the multiple key hashing (MKH) method for arranging records into buckets and use the disk modulo (DM) allocation method for storing buckets onto disks. Since the DM allocation method has been shown to be superior to any other allocation methods for allocating an MKH file onto a two-disk system for answering ORQs, the real issue is knowing how to determine an optimal way for organizing the records into buckets based upon the MKH concept.

A performance formula that can be used to evaluate the average response time, over all possible ORQs, of an MKH file in a two-disk system using the DM allocation method is first presented. Based upon this formula, it is shown that our design problem is related to a notoriously difficult problem, namely the Prime Number Problem. Then a performance lower bound and an efficient algorithm for designing optimal MKH files in certain cases are presented. It is pointed out that in some cases the optimal MKH file for ORQs in a two-disk system using the DM allocation method is identical to the optimal MKH file for ORQs in a single-disk system and the optimal average response time in a two-disk system is slightly greater than one half of that in a single-disk system.     

Robust image hash function using local color features

Conventional image hash functions only exploit luminance components of color images to generate robust hashes and then lead to limited discriminative capacities. In this paper, we propose a robust image hash function for color images, which takes all components of color images into account and achieves good discrimination. Firstly, the proposed hash function re-scales the input image to a fixed size. Secondly, it extracts local color features by converting the RGB color image into HSI and YCbCr color spaces and calculating the block mean and variance from each component of the HSI and YCbCr representations. Finally, it takes the Euclidian distances between the block features and a reference feature as hash values. Experiments are conducted to validate the efficiency of our hash function. Receiver operating characteristics (ROC) curve comparisons with two existing algorithms demonstrate that our hash function outperforms the assessed algorithms in classification performances between perceptual robustness and discriminative capability.     

基于压缩域的脑成像大数据体可视化方法

脑科学是当今国际科技研究的前沿邻域,而对高精度脑成像数据进行可视化是脑神经科学在结构成像方面的基础性需求。针对高精度脑成像数据可视化过程中存在的数据量大以及绘制效率低的问题,提出了基于分类分层矢量量化和完美空间哈希相结合的压缩域可视化方法。首先对体数据进行分块,记录每块的平均值并依据块内体数据的平均梯度值是否为0进行分类;其次运用分层矢量量化对平均梯度值不为0的块进行压缩;然后用分块完美空间哈希技术存储压缩得到两个索引值;最后对上面的压缩体数据进行解码得到恢复体数据,采用分块完美空间哈希对原始体数据与恢复体数据作差得到的残差数据进行压缩。绘制时,只需将压缩得到的数据作为纹理加载到GPU内,即可在GPU内完成实时解压缩绘制。实验结果表明,在保证较好图像重构质量的前提下,该算法减少了数据的存储空间,提高了体可视化的绘制效率,从而可以在单机上处理较大的数据。     

基于深度卷积神经网络和二进制哈希学习的图像检索方法

随着图像数据的迅猛增长,当前主流的图像检索方法采用的视觉特征编码步骤固定,缺少学习能力,导致其图像表达能力不强,而且视觉特征维数较高,严重制约了其图像检索性能。针对这些问题,该文提出一种基于深度卷积神径网络学习二进制哈希编码的方法,用于大规模的图像检索。该文的基本思想是在深度学习框架中增加一个哈希层,同时学习图像特征和哈希函数,且哈希函数满足独立性和量化误差最小的约束。首先,利用卷积神经网络强大的学习能力挖掘训练图像的内在隐含关系,提取图像深层特征,增强图像特征的区分性和表达能力。然后,将图像特征输入到哈希层,学习哈希函数使得哈希层输出的二进制哈希码分类误差和量化误差最小,且满足独立性约束。最后,给定输入图像通过该框架的哈希层得到相应的哈希码,从而可以在低维汉明空间中完成对大规模图像数据的有效检索。在3个常用数据集上的实验结果表明,利用所提方法得到哈希码,其图像检索性能优于当前主流方法。     

基于哈希学习的图像篡改检测算法

现有的基于哈希的图像篡改检测算法主要依赖于传统手工设计的特征, 导致生成的取证哈希缺乏细节信息, 难以达到基于对象的篡改定位效果以及应对各种复杂的篡改类型. 针对这一问题, 本文提出了一种基于哈希学习的图像篡改检测模型. 该模型主要由两个模块组成: 哈希构建模块和篡改定位模块. 在哈希构建模块, 提出一种基于深度学习的多尺度特征提取与融合模块. 该模块不仅可以融合不同尺度的图像特征, 而且可以构造出紧凑又信息密集的图像哈希; 在篡改定位模块, 通过比较原始图像与篡改图像哈希值的差异, 可以得到粗糙的篡改区域定位效果. 为进一步提升定位精度, 模块采用了逐层融合哈希差异与多尺度特征的解码策略. 该策略将全局信息与局部细节进行有效结合, 从而提升了模型的鲁棒性及各种复杂篡改的适应性. 实验在3个数据集上与9种最新方法进行了对比. 在CASIAv1数据集中, 本文方案相比于性能第2的模型, F1值提高了10.7%; 在Columbia数据集中, F1值提高了1%; 在COVERAGE数据集中, F1值提高了17%. 为了进一步验证所提系统中各模块的有效性及其对篡改检测性能的贡献, 本文方案在CASIAv1数据集上进行了多项消融实验. 结果表明, 所提出的各个模块均显著提升了整体的篡改检测效果. 为了验证模型的鲁棒性, 本文方案在CASIAv1数据集中对图像进行了JPEG压缩、高斯模糊和高斯噪声的鲁棒性测试, 实验结果表明, 该方法在各种干扰下仍然保持了优异的鲁棒性. 实验结果表明, 所提出的基于深度学习与哈希的图像篡改定位模型在性能上明显优于已有的篡改检测方法, 并且在3个公开数据集上表现出较强的泛化能力.     

基于一致哈希算法的用电信息采集系统研究

电网公司的用电信息采集系统具有数据量大、在线终端多、通道类型多和应用场景复杂等特点,传统的负载均衡的方式,在增加前置机或前置机故障时,终端协议处理都会发生大规模的迁移。文章提出了采用硬件负载均衡器实现通信负载均衡,采用一致哈希算法实现采集前置机的负载均衡;对哈希算法进行了分析比较,选择CRC32查表法,保证了哈希算法的高效、单调和均匀分布,在前置机发生变化时,仅有少数终端发生迁移,不发生终端大规模的迁移,确保负载均衡,保证了系统的稳定性和可靠性。     

基于映射字典学习的跨模态哈希检索

针对网络上出现越来越多的多模态数据,如何在海量数据中检索不同模态的数据成为一个新的挑战.哈希方法把数据映射到Hamming空间,大大降低了计算复杂度,为海量数据的跨模态检索提供了一条有效的路径.然而,大部分现存方法生成的哈希码不包含任何语义信息,从而导致算法性能的下降.为了解决这个问题,本文提出一种基于映射字典学习的跨模态哈希检索算法.首先,利用映射字典学习一个共享语义子空间,在子空间保持数据模态间的相似性.然后,提出一种高效的迭代优化算法得到哈希函数,但是可以证明问题的解并不是唯一的.因此,本文提出通过学习一个正交旋转矩阵最小化量化误差,得到性能更好的哈希函数.最后,在两个公开数据集上的实验结果说明了该算法优于其他现存方法.