非定深度树与Oracle的等级查询

本文提出了一种在Oracle数据库中处理非定深度树型结构数据的方法.该方法利用树型数据的双亲表示法将数据存储在单个表中,充分利用Oracle数据库的等级查询优点,通过简单的SQL语句实现数据的查询、插入、删除和更新等处理.该方法能够有效存储、处理非定深度的树型结构数据.     

三维地形生成及其可视化处理研究

针对在三维地形处理领域中存在的地形数据获取困难,可视化处理过程复杂真实感效果不强的问题.文中提出了一种三维地形生成和可视化处理的方法,该方法采用分形算法生成虚拟地形数据,然后将其存储为地理信息系统中通用的数字高程数据格式,最后将数据导入三维建模软件Multigen Creator 3.0中,结合网格生成、三维投影和纹理映射等,进行可视化处理.仿真试验表明:该方法能快速获取有效的地形高程数据,经过处理后得到了直观的,真实感较强的三维显示效果图.该文为三维地形生成和可视化处理问题提供了一种有效的、可实现的处理方法.     

树形结构数据帧解析和处理

在过程工业的数据处理领域中,由二进制数据组成的数据帧是较为常见的一种数据形式.数据处理的一个重要方面是数据帧的结构识别和帧内参教的解析.针对帧结构和处理方法的多样性,提出一种基于树形结构的数据帧解析和处理方案.通过利用数据处理过程抽象与解耦、插件和数据同步等技术,使得该方案具备良好的可扩展性和灵活性.     

数据采集的硬件自校准方法与FPGA实现

为消除数据采集系统中的失调误差和增益误差,满足系统实时性要求,提出了一种基于FPGA的数据采集自校准方法.该方法给出了适于硬件处理的数据自校准模型,并在FPGA中采用硬件流水结构,解决了硬件除法、校准参数自适应等问题,实现了对采集数据的均值滤波、自适应校准功能.实验结果表明,该方法能提高数据采集系统的精度和实时性能.     

城市量化研究中视频人流统计分析

在现代城市规划研究中,聚焦人的信息的深度分析至关重要.采用有效的视频分析技术处理和分析监控视频可以极大地扩充行人信息的基础数据,对城市量化研究具有重大意义.该研究方法通过拍摄一段时期同一街道视频进行相应的处理.采用基于前向传播卷积神经网络模型的深度学习方式检测视频中指定监测区域的行人.为确保行人信息的准确性,故对检测到的行人进行跟踪处理,同时添加跟踪目标丢失判断及相应处理.最后量化行人数量、运动方向、滞留时间以及运动速度等信息数据,进行相应的数据分析.实验结果表明该研究方法能有效的实现量化行人信息数据,为城市定量化研究提供准确有效的数据支撑.     

基于LabWindows/CVI的单轴稳定平台测控系统

通过LabWindows/CVI多线程技术的工程应用实例,研究了线程之间数据高速传输的技术及方法,解决了通信中的数据阻塞问题.针对单轴稳定平台,设计了系统测控软件,该软件实现了数据采集、处理、存储、显示和报表生成等功能.实际应用表明该系统处理速度快、运行效率高,能够满足用户的要求.     

一种动态软测量建模方法及其工业应用

针对目前静态软测量建模方法无法反映工业过程动态信息,造成模型预测精度低、鲁棒性差等问题,提出了一种基于模糊曲线和高斯过程的动态软测量建模方法.该方法采用模糊曲线法对输入数据进行处理,并利用处理后的数据构建新的数据集,最后采用高斯过程建立软测量模型.将提出的动态软测量模型应用于PTA氧化过程中4-CBA含量的预测,结果表明,所建模型运算速度快、预测精度高.     

基于数据划分的海量数据查询优化研究与应用

针对海量数据查询效率低的问题,在比较和分析了多种海量数据查询优化解决方案的优缺点后,提出了一种基于数据划分的海量数据查询性能优化方法.该方法利用多数据库处理、表分区、分表技术将数据在三个维度上将数据划分存储,减少了海量数据的查询规模.经过实验该方法提高了大规模海量数据的查询效率.     

基于μC/OS-Ⅲ的嵌入式视频处理系统设计

针对社会生产生活中需要处理大量音视频等数据的问题,开发出基于μ C/OS-Ⅲ系统的嵌入式智能物联网处理系统.该控制系统能够实现对视频数据的采集、传输、显示等功能.以STM32F107为控制数据采集与传输的核心,通过μC/OS-Ⅲ系统实现高效处理音频数据的功能.利用OV7670摄像头采集数据,通过控制器控制传输并在LCD显示屏显示采集的数据.通过实验的测试,该系统实现了所设计的视频数据处理功能.     

基于图像识别技术的手写数字识别方法

随着世界经济越来越发达,各国经济交流日益加深,人们每天要处理大量的票据.手写数字在这个领域是必不缺少的,例如人们要处理许多支票、发票、货物单等数据,这些都要大量与数据打交道.传统的方法是利用光学的光电变换原理对数字进行识别,该方法对环境要求比较高,成本较高,识别率和实时性比较低.文中提出基于图像识别的对0至9手写数字识别技术.实验表明,对2,3,4,5,8,9字符准确识别,而对1,7,0,6,数字基本识别无误,该方法提高了对数字识别率和实时性.     

基于内存映像技术的网络流量日志处理的实现

针对现有存储的网络流量日志信息数据量庞大,访问效率低等问题,为了从海量的网络日志信息中提取所需要的数据,提出了利用内存映像技术解决日志访问的方法,该方法利用网络流量日志自身的特点建立访问路径,通过对网络日志建立内存映像来访问日志信息,并通过C 程序实现了此方法.     

质谱图文件转换方法

用质谱仪测出的质谱图是以文件的形式保存在磁盘上,但这种文件只能被质谱仪所带的专用软件所识别,不能在其它不带此软件的PC机上直接使用,因此无法对其进行进一步的数据处理。本文以Agilent公司的GC6890N MSD 5973N型色谱-质谱联用仪产生的MS文件为例进行分析,解析了其文件结构,并自编转换、检索和处理程序,实现了在任何PC机上对MS文件进行处理的目的。     

高速SDRAM控制器的嵌入式设计

为适应高数据吞吐速率的应用场合,在分析同步动态随机存储器(SDRAM)控制器工作原理的基础上,研究支持高数据处理效率可连续读写操作的存储控制算法。利用现场可编程门阵列设计SDRAM嵌入式存储控制器,采用CMD命令形式,根据猝发长度分配连续读写延时,通过数据通道控制与读写操作协同工作提高数据处理效率。测试结果表明,该控制器运行频率高于100 MHz,数据处理效率大于95%,适用于视频采集数据缓存及大型LED显示控制中。     

基于SD卡的电能耗用记录仪设计与实现

利用ARM处理器LPC2148与SD卡接口,设计了一种新颖的多参数电能耗用记录仪,用于大容量耗电数据采集。该记录仪采用FAT32文件系统,可将现场各种电能耗用数据及时保存到SD卡之中。利用SD卡的良好移动性,可方便地实现与计算机的数据交换,达到现场数据采集、室内数据分析的目的。同时SD卡内保存的数据也可以由记录仪随时读取,在液晶显示器上以文本或曲线方式进行回放。     

Design and Analysis of Techniques for Detection of Malicious Activities in Database Systems

Existing host-based Intrusion Detection Systems use the operating system log or the application log to detect misuse or anomaly activities. These methods are not sufficient for detecting intrusion in the database systems. In this paper, we describe a method for detecting malicious activities in a database management system by using data dependency relationships. Typically, before a data item is updated in the database, some other data items are read or written. And after the update, other data items may also be written. These data items read or written in the course of update of a data item construct the read set, prewrite set, and the postwrite set for this data item. The proposed method identifies malicious transactions by comparing these sets with data items read or written in user transactions. We have provided mechanisms for finding data dependency relationships among transactions and use Petri-Nets to model normal data update patterns at user task level. Using this method, we ascertain more hidden anomalies in the database log. Our simulation on synthetic data reveals that the proposed model can achieve desirable performance when both transaction and user task level intrusion detection methods are employed.Yi Hu is a PhD candidate in Computer Science and Computer Engineering Department at the University of Arkansas. His research interests are in Database Intrusion Detection, Database Damage Assessment, Data Mining, and Trust Management. Previously, he received the BS and MS degree in Computer Science from the Southwest Jiaotong University and the University of Arkansas, respectively.Brajendra Panda received his MS degree in mathematics from Utkal University, India, in 1985 and PhD degree in computer science from North Dakota State University in 1994. He is currently an associate professor with the Computer Science and Computer Engineering Department at the University of Arkansas. His research interests include database systems, computer security, digital forensics, and information assurance. He has published over 60 research papers in these areas.     

递归读取DICOM嵌套数据集的方法及实现

DICOM 3.0是医学图像的标准,如何正确读取DICOM格式文件是医学图像处理的首要步骤。对DICOM格式文件的处理重点在于如何读取嵌套数据集。本文分析了DICOM嵌套数据集的格式,针对其格式特点采用了递归的方法的方法进行读取。实验证明该算法实现简单,可实现目前所见的DICOM格式文件的显示。为医学图像的进一步处理奠定了基础。     

Alluxio数据随机访问方法的研究

为保证系统的可扩展性和容错性，Alluxio简化了文件系统实现，不支持数据随机访问，但在实际情况中仍有许多应用需要数据随机访问。Alluxio原生Java接口灵活性较差，不支持传统应用，不能完全发挥内存的高速性能。因此在深入分析Alluxio数据读写原理后，提出了新式数据随机访问方法，其核心思想是改变原有数据访问和缓存时机，将对Alluxio中的文件读写转化为对本地内存文件系统的文件读写，从而实现对数据的随机访问。在此基础上，还可以使用内存映射技术进一步提高本地文件的读写性能。测试结果表明，该方法的数据读取性能提升了14.5%，写入性能提升了1.4倍以上。在实际应用场景中合理使用Alluxio及新式数据随机访问方法，可获得数倍至数十倍的性能提升。     

NADE: nodes performance awareness and accurate distance evaluation for degraded read in heterogeneous distributed erasure code-based storage

To ensure data availability and save storage space, storage systems usually save data across multiple storage nodes (or servers) using erasure codes. Storage systems need to reconstruct the complete data to respond to reading requests in the case of the loss of some data blocks when node failure occurs. However, a degraded read in erasure code-based storage systems does not fully utilize node resources and ignores the node’s topology. In this paper, we propose a real-time performance evaluation model for storage nodes to evaluate the performance of each node combining a metrics choice and an analytic hierarchy process. We also design a cost evaluation method to calculate the transmission cost by considering the node’s topology. By combining the node evaluation method and a distance calculation, we propose an adaptive degraded read optimization strategy, NADE. We further implement the node selection method NADE in Ceph. The evaluation results show the efficiency of the proposed method.

     

An effective pre-store/pre-load method exploiting intra-request idle time of NAND flash-based storage devices

NAND flash-based storage devices (NFSDs) are widely employed owing to their superior characteristics when compared to hard disk drives. However, NAND flash memory (NFM) still exhibits drawbacks, such as a limited lifetime and an erase-before-write requirement. Along with effective software management, the implementation of a cache buffer is one of the most common solutions to overcome these limitations. However, the read/write performance becomes saturated primarily because the eviction overhead caused by limited DRAM capacity significantly impacts overall NFSD performance. This paper therefore proposes a method that hides the eviction overhead and overcomes the saturation of the read/write performance. The proposed method exploits the new intra-request idle time (IRIT) in NFSD and employs a new data management scheme. In addition, the new pre-store eviction scheme stores dirty page data in the cache to NFMs in advance. This reduces the eviction overhead by maintaining a sufficient number of clean pages in the cache. Further, the new pre-load insertion scheme improves the read performance by frequently loading data that needs to be read into the cache in advance. Unlike previous methods with large migration overhead, our scheme does not cause any eviction/insertion overhead because it actually exploits the IRIT to its advantage. We verified the effectiveness of our method, by integrating it into two cache management strategies which were then compared. Our proposed method reduced read latency by 43% in read-intensive traces, reduced write latency by 40% in write-intensive traces, and reduced read/write latency by 21% and 20%, respectively, on average compared to NFSD with a conventional write cache buffer.     

多条件多样本RNA-Seq数据的剪切异构体表达水平估计

当处理多条件多样本RNA-Seq测序数据时,现有方法忽略了读段分布样本之间存在高度相似性的特点。本文提出了一个基于多条件多样本RNA-Seq测序数据剪切异构体表达水平估计方法MCMS-Seq。该方法建立了一个联合偏差估计模型来提取读段分布在样本之间的相似性特征,同时考虑读段分布受全局偏差和局部偏差的影响。此外,增加了 ${{{L_2}} / {{L_1}}}$ 组稀疏约束和 ${L_1}$ 稀疏约束两个正则化项,用来体现基因和剪切异构体之间存在稀疏特性,以及消除技术性误差和数据噪声的影响。通过多个真实数据集的验证,MCMS-Seq方法能获得更为准确的剪切异构体表达水平,同时也能提供更有意义的生物性解释。