An Embedded Real-Time Surveillance System: Implementation and Evaluation

This paper presents the design of an embedded automated digital video surveillance system with real-time performance. Hardware accelerators for video segmentation, morphological operations, labeling and feature extraction are required to achieve the real-time performance while tracking will be handled in software in an embedded processor. By implementing a complete embedded system, bottlenecks in computational complexity and memory requirements can be identified and addressed. Accordingly, a memory reduction scheme for the video segmentation unit, reducing bandwidth with more than 70%, and a low complexity morphology architecture that only requires memory proportional to the input image width, have been developed. On a system level, it is shown that a labeling unit based on a contour tracing technique does not require unique labels, resulting in more than 50% memory reduction. The hardware accelerators provide the tracking software with image objects properties, i.e. features, thereby decoupling the tracking algorithm from the image stream. A prototype of the embedded system is running in real-time, 25 fps, on a field programmable gate array development board. Furthermore, the system scalability for higher image resolution is evaluated.     

高分辨率多传感器融合图像跟踪系统的设计与实现

为了提高图像处理器目标跟踪的准确度和对复杂环境的适应能力,设计了一种CPCI架构的多传感器融合图像跟踪系统。针对高分辨率高帧频图像的采集、目标搜索与跟踪,设计并实现了以FPGA+DSP为核心的嵌入式图像处理平台,采用CPCI标准总线作为数据共享通道,由嵌入式图像处理平台完成实时计算,数据中心完成跟踪结果的数据融合和系统综合控制。实验结果表明：系统可以实现多路不同分辨率CameraLink图像或HD-SDI图像的采集和融合跟踪处理,该架构处理能力强,可扩展性高,结构紧凑,为图像融合跟踪系统提供了一种可靠的解决方案。     

基于FPGA的实时幸运区域融合算法

大气湍流对光学目标图像的分辨率会产生随机性 的影响。幸运区域融合(lucky-region fusion,LRF)是一 种针对受大气湍流影响图像序列的图像合成技术,通过在一系列短曝光图像中选取具有高分 辨率的区域进行融合,从而获得一张清晰的图像。LRF 算法在台式计算机上实现比较简单, 但这是事后处理的方法,没有实时性。描述一种针对灰度图像流实时地进行提取、分区处理 和合成的LRF算法及其系统实现技术。根据现场可编程门阵列(field programmable gate array,FPGA)数字信号处理的特点 , 提出了一种适合于FPGA处理的实时LRF算法。用硬件描述语言对该算法进行逻辑设计,将 其嵌入到一个中小规模的FPGA上,从而构成一个纯硬件的紧凑的LRF处理系统。通过模拟 的序列图像和在实验室实际拍摄了短曝光序列图像,对该系统进行了测试。实验结果表明, 所提出的实时LRF算法可行,所实现的FPGA系统可以实现输入灰度图像序列的实时动态幸 运区域融合,并最终获得高分辨率的融合图像。     

DVI数字视频图像数据的实时截取方法

介绍了一种基于DVI接口的高分辨力数字视频信号进行实时截取的方法,图像截取采用了动态实时调整行列起点、按行组包的方法,利用FPGA内嵌双口FIFO,实现高分辨力图像数据的实时截取和降频实时传输。该方法可以省去外部缓存SRAM操作,扩大图像截取范围,可广泛运用于数字平板显示系统。     

基于NIOSⅡ的红外弱小目标检测算法实现

介绍了基于可编程片上系统SOPC技术的图像处理系统的软硬件设计,系统采用FPGA作为视频信号采集控制模块,利用FPGA内建NIOSⅡ软核微控制器作为图像处理单元。针对天空背景下红外弱小目标,提出了一种基于形态学和仿生学相结合的图像预处理算法,该算法在基于数学形态学滤波的基础上利用人眼固视微动辨别信息的原理对图像进行背景抑制和目标增强;采用自适应阈值分割法确定目标。硬件实验结果表明系统实时性好,图像处理效果良好,目标检测率高,验证了预处理算法的有效性和实时性。     

基于机器视觉的车道线精确检测算法

车道线检测是车辆智能驾驶系统的重要组成部分.针对传统的车道线检测方法精度低、实时性能差的问题,提出一种基于机器视觉的车道线精确检测算法.该算法采用车道内侧边缘线代表车道线,具体包括预处理和车道线提取两个步骤:预处理部分包括灰度化、Sobel边缘检测、ROI设定、二值化,最终得到车道线部分的二值图像;车道线提取部分包括图像切片、改进的Hough直线检测、DBSCAN直线聚类以及直线拟合,最终得到精确的车道边缘线信息.最后将算法应用于各种场景下的路况测试,实验结果表明:该算法的平均准确率为94.9％,平均处理时长为25.6 ms/f,具有很好的实时性和鲁棒性.     

红外成像系统中嵌入式实时信号处理技术研究

应用嵌入式信号处理技术,可使红外成像探测系统具备更高性能、更低功耗和更小体积.描述了以Xilinx公司VirtexⅡPro FPGA芯片为核心的红外成像跟踪嵌入式实时信号处理平台,采用了融微处理器、可编程硬件、信号处理算法和软硬件协同设计于一体的设计方法,为红外成像系统的更新发展打下一定的技术基础.     

基于AM41V4传感器的高清高速CMOS相机系统设计

为满足国防、科研及工业中快速变化场景拍摄时,更高帧频、更大分辨率的要求,研发了一款高清高速相机。该文介绍了高分辨率高帧频CMOS图像传感器芯片AM41V4的功能与特点,并基于该芯片设计了一套高分辨率高帧频的相机系统,该系统使用FPGA作为整个系统的时序控制核心,以DDR动态存储器作为成像暂存器,可以依据试验场合的具体拍摄要求实现灵活多变的工作模式。相机系统在图像分辨率为1 920×1 080时帧频可达1 000fps,并具有实时监视功能。该系统具有拍摄速度快、成像清晰、高性能、灵活性好等优点,适用于高速运动目标的快速捕获与拍摄记录。     

嵌入式VGA控制器实时移动算法设计和实现

在安检设备对行李物件的检查过程中,VGA(视频图形阵列)显示系统需要达到图像实时移动的效果。嵌入式安检控制系统通过嵌入式VGA控制器取得这种专用性能,这给嵌入式VGA控制器的设计和实现带来了不小的挑战,特别是VGA扫描算法,其优劣性将直接影响系统整体性能。文中根据嵌入式系统实时性要求,在介绍VGA控制器的硬件设计的基础上,提出图像左右移动的VGA扫描算法及其FPGA(现场可编程门阵列)实现。该算法不仅实现灵活,更能在保证系统性能的同时,降低系统资源占用,大大减小处于前级的ARM(高级精简指令集计算机)处理器对硬件系统的开销。     

基于LK和FAST的时间序列图像快速配准算法

LK光流算法是一种精确高效的特征跟踪算法,能够较大幅度提高图像配准的精度和速度。针对时间序列图像的配准问题,基于LK光流算法,通过基于图像金字塔的方式跟踪改进后的FAST特征角点,采用一种鲁棒的单应矩阵估计算法解算配准参数,提出了一种基于LK光流和改进FAST特征的实时鲁棒配准算法。通过一组时间序列图像从配准精度和配准速度两个方面对所提出算法的性能进行了验证分析,平均重投影误差为0.16,平均处理速度为30 Hz。实验结果表明,该算法能够提取稳定的FAST角点,快速准确地跟踪匹配序列图像之间的特征,较好地解决时间序列图像的实时配准问题。     

RM算法的运行时开销研究与算法改进

RM算法是经典的固定优先级实时调度算法.而在嵌入式实时系统中,系统的工作负荷往往是由很多频率快、执行时间较短的任务组成.因此,直接使用RM算法进行任务调度会由于实时操作系统中任务的上下文切换开销而导致嵌入式系统资源利用率的降低.分析了基于RM算法调度的任务之间的抢占关系,并建立了以任务属性为参数的上下文切换开销模型.在该模型的基础上,通过优化任务的释放时间来降低RM算法导致的系统运行时任务切换开销.最后的实验结果验证了该策略的有效性.     

相位相关红外图像配准算法的硬件实现

在目前图像配准算法中,相位相关法是相对比较成熟的,并且有较多的改进算法,但是随着算法的复杂度增加,相应的运算量也增加,那么在保证效果的同时实时性却无法保证。根据这一现状,提出了在FPGA中实现相位相关法配准技术。在以FPGA为主处理芯片搭建的平台上,利用光纤高速传输图像,实现并且验证了相位相关法的可行性。详细阐述了相位相关法在FPGA中实现的主要步骤。结果表明,相位相关法能在FPGA中实现,并能充分利用FPGA的并行性和资源多的优点,使得处理算法的时间缩短,可以满足实时性要求。     

外推算法在实时杂波模拟中的应用

由于实时性和计算量上的要求,在实时雷达杂波模拟系统中利用网格划分法计算出来的杂波功率谱点数有限,一般不超过1 024点。为了提高模拟得到的时域杂波序列的频率分辨率,改善由于在DSP上46 ms内重复使用同一段序列所导致的周期性,特别引入了最大熵外推算法及其改进的梯度格型快速自适应算法,扩大了时域序列的点数。实践证明,使用该外推方法可以在保证实时性的前提下,将杂波重构过程频率分辨率提高1倍。     

基于3G通信的嵌入式图像传输系统

嵌入式处理器以其高处理性能、低功耗、低成本、易裁剪、体积小等优势,在各类电子设备中越来越普及.3G通信则以其高传输速率、覆盖范围广、通信质量好等优点,适合大数量实时传输.结合两者的优势,文中设计了一种基于3G的嵌入式图像传输系统.该系统使用TCP传输协议,采用C/S服务模式,图像数据通过服务器转发.实验结果表明,图像能够稳定传输,基本满足实时传输要求.     

Optimal higher-order encoder time-stamping

Optical incremental encoders are used to measure the position of motion control systems. The accuracy of the position measurement is determined and bounded by the number of slits on the encoder. The position measurement is affected by quantization errors and encoder imperfections. In this paper, an extension to the time stamping method is proposed. The time stamping method uses encoder events, consisting of encoder counts and their time instants captured at a high resolution clock, to estimate accurate position, velocity and acceleration signals in real-time. The extension includes skip and delay options in order to obtain good position, velocity and acceleration estimates even for a very limited number of stored events, as desired in many embedded control applications. The time-stamping method with skip and delay options is referred to as higher order time stamping (HOTS). Real-time experiments on a motion system show that the proposed HOTS method significantly improves the position, velocity and acceleration estimates compared to the original time stamping method.     

车载定位系统中综合地图匹配算法研究

基于加拿大亚伯达省政府远程运输RTS系统开发,在分析影响地图匹配性能因素的基础上,提出了一种基于高精密数字地图的综合地图匹配算法,融合了几何匹配算法和路网拓扑结构,充分利用车辆行驶的连续性,结合历史行驶数据选取投影道路,实现准确定位,且算法计算量小,可用于嵌入式实时系统.通过实际跑车试验证明该匹配算法精度高、效率好,具有较好的实用价值.     

基于视频图像的水位监测方法研究

为实现水位的实时精确监测,提出了一种基于视频图像的水位监测方法,该方法不识别水尺刻度与数字,而是利用水尺刻度对相机进行标定,用图像差分法提取水位变化区域,计算图像水位线坐标,根据相机标定结果算得实际水位高度。该方法算法简便、处理速度快、满足实时监测要求、受水尺刻度限制及污渍等外界环境的影响较小,可以较精确测得水位高度。研究选用两幅分辨率为 640×480的图像进行模拟实验,在图像未满足要求的情况下测得水位平均误差小于0.5cm,当系统满足设计要求时测量精度会进一步提高,该方法可以较好地实现水位的实时精确监测。     

Instruction Cache Locking for Embedded Systems using Probability Profile

Cache is effective in bridging the gap between processor and memory speed. It is also a source of unpredictability because of its dynamic and adaptive behavior. A lot of modern processors provide cache locking capability which locks instructions or data of a program into cache so that a more precise estimation of execution time can be obtained. The selection of instructions or data to be locked in cache has a dramatic influence on the system performance. For real-time systems, cache locking is mostly utilized to improve the Worst-Case Execution Time (WCET). However, Average-Case Execution Time (ACET) is also an important criterion for some embedded systems, especially for soft real-time embedded systems, such as image processing systems. This paper aims to utilize instruction cache (I-Cache) locking technique to guarantee a minimized estimable ACET for embedded systems by exploring the probability profile information. A Probability Execution Flow Tree (PEFT) is introduced to model an embedded application with runtime profile information. The static I-Cache locking problem is proved to be NP-Hard and two kinds of locking, fully locking and partially locking, are proposed to find the instructions to be locked. Dynamic I-Cache locking can further improve the ACET. For dynamic I-Cache locking, an algorithm that leverages the application’s branching information is proposed. All the algorithms are executed during the compilation time and the results are applied during the runtime. Experimental results show that the proposed algorithms reduce the ACET of embedded applications further compared to state-of-the-art techniques.     

多模复合末制导图像处理系统设计与实现

在末制导图像处理系统中,单模系统会带来匹配精度不够、容易受干扰等问题,采用多模系统进行融合决策,是提高跟踪定位精度和抗干扰能力的更优选择。本文基于多DSP和FPGA,提出采用接口管理和图像匹配分开的分布式管理架构,设计实现了可兼容光学、射频模式的多模复合末制导图像处理系统,系统具有高实时性、可重构性和通用性强的特点。同时,在设计的系统平台上,采用适合各模式的FPGA预处理算法完成图像实时预处理,采用SIFT特征匹配算法完成实时并行匹配运算。实验表明,本文设计的末制导图像处理系统及SIFT特征匹配算法,在光学和射频模式下都达到了实时处理的要求;复合末制导处理系统的匹配精度,要优于单模末制导图像处理系统的匹配精度。     

基于灰度—梯度共生矩阵的图像型垃圾邮件识别方法

为了逃避基于文本的垃圾邮件系统的检测,越来越多的垃圾邮件制造者将文本信息嵌入到图像中。为了有效地检测出图像型垃圾邮件,提出了一种基于灰度—梯度共生矩阵(GGCM, gray-gradient co-occurrence matrix)的图像型垃圾邮件识别方法。先通过灰度—梯度共生矩阵提取图像的特征信息,然后运用最小二乘支持向量机（LS-SVM, least squares support vector machines）进行分类。实验表明,该方法具有较高的分类精度和较好的实时性。