基于Simhash的大数据去重改进算法

数据去重是大数据预处理过程中最主要的一个步骤。为了提升大数据去重的效率,以及优化其在较差情况下的表现,本文以中文微博的原始数据为基础,在传统的Simhash方法的基础上,改进计算相似度的公式,将文本重复率纳入考虑,并在检索步骤中采用桶排序的思想,进行多次多级的线程分配以提高效率。实验结果表明,改进后的算法可以显著提升传统算法的效率和准确率。      

支持模式串动态更新的多模式匹配Karp-Rabin算法

多模式匹配算法是网络监测和内容过滤系统的核心算法,但是现有的多模式匹配算法无法实现高并发下动态更新模式串的功能。通过改进Karp-Rabin 算法,实现了多模式字符串匹配技术,实验表明多模式Karp-Rabin算法具有良好的性能。随后在多模式Karp-Rabin 算法的基础上进一步改进,使其在高并发情况下能够支持模式串动态增删功能。实验表明该算法在单个线程不断更新的条件下,随着扫描线程个数的增加,搜索速度能够保持线性增长。     

基于混合并发模式的Dalvik虚拟机性能优化

为了改进Dalvik虚拟机的性能,提出了一种基于多线程调度机制的Java虚拟机混合并发模式。该模式利用多线程并发调度和热方法表,通过将Java字节码的编译与执行过程相重叠来提高程序的执行效率,进而提升Dalvik虚拟机的处理速度;并对该模式设计与实现的关键技术进行了分析。实验结果表明,混合并发模式能够有效地提高Dalvik虚拟机中Java程序的执行速度。     

BESⅢ实验数据并行处理的研究

北京谱仪Ⅲ(BESⅢ)是北京正负电子对撞机Ⅱ(BEPCⅡ)上的一台大型通用磁谱仪,用于τ-粲物理实验研究。BESⅢ离线数据处理系统将实验获取的探测器原始数据转换为适合于物理分析的数据。主要研究了BESⅢ实验数据的并行计算处理。针对目前计算机的多核CPU硬件结构,采用多线程编程技术,实现了BESⅢ离线数据处理事例级别的多线程并行计算。性能测试表明多线程并行处理能够有效地提高运算速度,同时减少内存消耗。     

基于多线程的并行实例恢复方法

针对数据库实例恢复串行化执行效率低的问题,以神通数据库为基础提出一种基于多线程的并行实例恢复方法。首先,在数据库原有实例恢复模型基础上,增加"构建脏页表"和"脏页预取"两个步骤,得到改进后的实例恢复模型;其次,结合多线程并发处理思想,提出并行实例恢复方法,对改进的实例恢复模型进行并发处理;最后,由于采用回滚段进行undo日志管理,可以实现undo日志的正常数据化管理,提前结束实例恢复。通过进行TPC-C基准测试,并行实例恢复方法的读取、解析redo日志效率与原有方法相比提高了2~7倍,重做redo日志效率提高了4~9倍,整体所用时间减少为原有方法的20%~40%。实验结果表明,并行实例恢复方法实现了各阶段的并行化,减少了实例恢复所需时间,保证了数据库在实际应用中的高效性。     

基于全同步对覆盖的线程调度序列生成方法

针对多线程并发程序生成覆盖同步语句的线程调度序列(TSS)效率低问题,提出了一种基于全同步对覆盖(APSC)准则的TSS生成(TGBA)方法。首先,对并发程序中的同步语句,定义了同步对及APSC;然后,给出了一个同步对-线程关联图(SPTG)构建方法;在此基础上,生成满足APSC的TSS;最后,使用JPF检测工具,对4个Java类库并发程序进行了TSS生成实验,并与常用的默认线程调度(DS)、抢占式线程调度(PS)和交叉线程调度(CS)序列生成方法在生成效率方面进行了对比分析。实验结果表明,与DS、CS方法相比,TGBA方法生成的TSS能够覆盖全部同步对;当满足APSC时,与PS方法相比,TGBA方法测试生成所需要的状态数、迁移数至少减少了19889和44352,并且生成效率平均提升了1.95倍,因此TGBA方法能够降低状态空间的规模开销,提高TSS的生成效率。     

中子注量率密度时空分布数据采集软件开发

介绍基于Windows98平台的中子注量率密度时空分布32位数据采集软件。软件采用多线程技术进行数据采集和处理。采用数据曲线和数据表格两种形式显示、打印数据．采用多文档界面技术同时处理多个中子注量率密度时空分布数据谱。     

基于预留缓存的并发访问及多任务并行支撑技术研究

在航天装备在役考核试验执行中,对于存在时空重叠的多个任务以及子任务,需要应用并行执行支撑技术。本文以典型航天装备在役考核综合评估任务为对象,从任务流层面和数据流层面,采用基于预留缓存的多线程并行并发技术,对多任务进行并行处理和执行。依托自主研发的航天装备在役考核综合评估系统,对本文方法进行了验证。系统运行结果表明,采用本文的多任务并行执行支撑技术可以高效快速地对大纲设计、数据采集等多个过程进行并发执行控制,对多源数据进行并行处理计算,有效提高了在役考核试验执行和综合评估的效率。     

基于嵌入式Linux系统的双网卡大数据传输

数据传输速度是嵌入式系统应用中不可忽视的一个重要因素,特别是在大数据网络中将起到决定性的作用,双网卡在网络带宽较低的环境下可以显著提升嵌入式设备的传输速度。介绍了一种在嵌入式Linux系统下利用原始套接字构建双网卡网络环境的方法,该方法通过原始套接字获取网卡接口信息,并对数据链路层的数据进行操作;在传输层使用UDP协议收发数据;在应用层增加对UDP包的确认机制,保证数据正确地传输,并且采用多线程技术将数据包按照各网卡的带宽动态分配。测试结果表明,该方法能够有效地利用双网卡的带宽资源,提升整体网络数据的传输速度,适合应用于大数据传输应用。     

多线程通信在整流时监控系统中的应用

针对整流实时监控系统既要完成大量实时数据处理，又要进行远程设备通信的特点，其软件开发引入了多线程通信方法，提高了系统的运行效率。该方法采用使一个事件对象变为有信号，开辟一个工作线程专门负责通信，主线程发展数据显示和创建用户界面。并列出了初始化串口和选择读写串口等通信代码示例。