基于关键列分组排序的列存储结构

磁盘作为海量数据的主要存储介质,具有容量大、成本低的优点,但是磁盘IO带宽远远落后于数据增长速度,日益成为大数据管理系统的性能瓶颈。因此,优化存储结构、提高读写效率是大数据时代管理系统面临的重要挑战。提出了一种基于关键列分组排序的混合列存储结构KCGS-Store,根据关键列分组将关系表划分为存储池,确保池内所有记录在关键列上的取值或取值范围相同,然后逐列进行池合并。合并后的关键列,以池为单位有序排列,执行条件查询时能够有效过滤无关列值,减少数据读取量,提升查询性能。同时利用池号索引,以少量时间空间代价完成记录重组。实验数据表明,与ORCFile、Parquet存储结构相比,KCGS-STORE在存储空间、数据加载、SQL查询等方面都有不同程度的优化。     

面向频谱大数据处理的机器学习方法

随着移动互联网与物联网的迅猛发展,个人无线设备的数 量呈现指数级增长,随之产生的海量频谱数据与日俱增,频谱大数据的存在已成事实。同时 ,频谱赤字也日益严峻。为提高频谱利用率,有效的频谱大数据处理显得十分重要。本文从 无线通信的角度,首先给出了频谱大数据的定义并分析了它的基本特征;然后总结了一些 对于频谱大数据分析与利用颇具前景的机器学习方法,如分布式和并行式学习、极速学习、 核学习、深度学习、强化学习、博弈学习和迁移学习;最后给出了几个开放性话题和研究 趋势。     

大数据关联关系度量研究综述

大数据关联性分析是大数据挖掘的基础,一个好的关联性度量是实施关联分析的关键。本文首先指出大数据时代关联度量面临的挑战和研究现状,从关联关系度量的构造角度出发,对现有的关联关系度量进行整理,归纳总结了这些关联关系的性质和适用条件。在回顾关联度量发展历程的基础上,结合大数据时代关联关系的特点,提出构造关联度量可能满足的条件。最后针对多模态数据关联关系度量的若干问题进行探讨和梳理,从3个角度出发,提出应对多模态数据空间转换的挑战,以引起对该领域更深入的思考与研究工作,从而促进大数据挖掘工作的进展。     

视频大数据研究综述

科学技术与生产力的发展带来了数据量的高速增长,其中视频图像等多媒体数据占了很大的比重。如何高效处理这些海量数据并从中快速挖掘有价值的信息是当前的研究热点。通常大数据具有四个特点,即数据量大、需要快速响应、数据类型多样和价值密度低。视频大数据同样具有以上特点,但其特殊性在于数据冗余更大,需要进行高效的压缩编码与分析处理。总的来说,视频大数据的研究内容包括了视频数据表示、智能视频分析、视频压缩与传输、视频显示与评价等方面。在发展趋势上,视频数据的表示将向真实感与智能化两个方向发展;智能视频分析技术将会借助深度神经网络获得更准确的识别分类结果;视频压缩技术在提升压缩效率的同时也会探索降低编码复杂度的方法,并通过结合人眼视觉感知特性的编码算法来减少视频大数据的视觉冗余;视频显示设备将伴随着视频数据表示形式的改变而进行相应的升级换代;视频质量的评价准则将由单一的图像质量评价向更加综合全面的用户体验质量评价发展。     

学习“魏书生”,提高信息技术课堂的有效性

＂民主与科学＂是魏书生老师工作事业中致胜的法宝,把魏老师的具有个人特色的＂民主＂与＂科学＂融合进信息技术课堂,学会把课堂看作一个宏大的世界,从多方位激发学生的上课兴趣,培养学生良好的学习习惯,使＂事事有人做,人人有事做＂,呈现一个充满勃勃生机的课堂。     

Hadoop下并行遗传算法研究及在应急设施选址中的应用

随着云计算的出现,大数据的概念也随之产生。自然灾害日趋增多,要求应急设施的部署规模不断扩大,这时,如何有效进行大规模应急设施的选址成为应急管理系统的关键。因此,提出一种改进的并行遗传算法并在Hadoop平台上编程实现,并应用于求解应急设施选址问题的集合覆盖模型,达到求解应急设施选址的目的。试验结果表明,改进的并行遗传算法不管在获取全局最优解上还是在求解大规模应急设施选址的时效性上都优于原有算法,是一种云计算环境下有效的应急设施选址问题求解算法。     

基于大数据挖掘的精细化流量经营运营平台建设探索

在移动互联网时代,用户的消费行为产生了海量的数据,如何整合大数据,进行数据挖掘,从海量的数据中挖掘出有用的信息,以便对客户作精细化流量经营,这是当前各大运营商面临的主要问题。本文从现状出发,分析了运营商为能做到精细化流量经营,需要如何建设运营平台和进行数据挖掘。     

应用LIDIA库实现ELGamal公钥密码系统

ELGamal公钥密码系统中涉及大整数的运算。虽然某些计算机语言(比如ruby)能支持任意精度的运算,但由于密码系统对效率的要求很高,不适合用它们来编写实际的系统。文章采用c++语言,应用LIDIA库来实现完整的ELGamal公钥系统的加解密过程。     

大滞后多变量计算机控制系统的设计与研究

提出了一种多变量大滞后计算机控制系统的设计方法.介绍了系统的设计思想,数字控制器的设计方法及在多输入多输出大滞后系统中的应用实现.以具有滞后的二输入二输出多变量被控对象(两种形式)为例,说明了系统设计方法及步骤,并进行仿真实验.实验结果表明,该数字控制器能够使其控制质量满足性能要求,具有良好的控制效果.     

Web Page Recommendation Using Distributional Recurrent Neural Network

In the data retrieval process of the Data recommendation system, the matching prediction and similarity identification take place a major role in the ontology. In that, there are several methods to improve the retrieving process with improved accuracy and to reduce the searching time. Since, in the data recommendation system, this type of data searching becomes complex to search for the best matching for given query data and fails in the accuracy of the query recommendation process. To improve the performance of data validation, this paper proposed a novel model of data similarity estimation and clustering method to retrieve the relevant data with the best matching in the big data processing. In this paper advanced model of the Logarithmic Directionality Texture Pattern (LDTP) method with a Metaheuristic Pattern Searching (MPS) system was used to estimate the similarity between the query data in the entire database. The overall work was implemented for the application of the data recommendation process. These are all indexed and grouped as a cluster to form a paged format of database structure which can reduce the computation time while at the searching period. Also, with the help of a neural network, the relevancies of feature attributes in the database are predicted, and the matching index was sorted to provide the recommended data for given query data. This was achieved by using the Distributional Recurrent Neural Network (DRNN). This is an enhanced model of Neural Network technology to find the relevancy based on the correlation factor of the feature set. The training process of the DRNN classifier was carried out by estimating the correlation factor of the attributes of the dataset. These are formed as clusters and paged with proper indexing based on the MPS parameter of similarity metric. The overall performance of the proposed work can be evaluated by varying the size of the training database by 60%, 70%, and 80%. The parameters that are considered for performance analysis are Precision, Recall, F1-score and the accuracy of data retrieval, the query recommendation output, and comparison with other state-of-art methods.