FPGA–DSP co-processing for feature tracking in smart video sensors

Motion estimation in videos is a computationally intensive process. A popular strategy for dealing with such a high processing load is to accelerate algorithms with dedicated hardware such as graphic processor units (GPU), field programmable gate arrays (FPGA), and digital signal processors (DSP). Previous approaches addressed the problem using accelerators together with a general purpose processor, such as acorn RISC machines (ARM). In this work, we present a co-processing architecture using FPGA and DSP. A portable platform for motion estimation based on sparse feature point detection and tracking is developed for real-time embedded systems and smart video sensors applications. A Harris corner detection IP core is designed with a customized fine grain pipeline on a Virtex-4 FPGA. The detected feature points are then tracked using the Lucas–Kanade algorithm in a DSP that acts as a co-processor for the FPGA. The hybrid system offers a throughput of 160 frames per second (fps) for VGA image resolution. We have also tested the benefits of our proposed solution (FPGA + DSP) in comparison with two other traditional architectures and co-processing strategies: hybrid ARM + DSP and DSP only. The proposed FPGA + DSP system offers a speedup of about 20 times and 3 times over ARM + DSP and DSP only configurations, respectively. A comparison of the Harris feature detection algorithm performance between different embedded processors (DSP, ARM, and FPGA) reveals that the DSP offers the best performance when scaling up from QVGA to VGA resolutions.     

一种基于SIFT特征的机器人环境感知双目立体视觉系统

针对双目立体视觉系统在机器人环境感知领域中存在的立体匹配以及测量精度问题,设计一种基于SIFT特征的双目立体视觉测量系统.利用SIFT特征良好的旋转、尺度、光照不变性等特性,有效地解决双目立体视觉系统的匹配问题,同时将SIFT算法在由FPGA和DSP组成的嵌入式系统上实现,显著地提高测量系统的实时性.提出一种基于二次多项式的误差补偿方法,对系统的测量结果进行补偿,弥补双目立体视觉系统测量误差随测量距离增加而增加的不足,从而提高系统测量精度.通过实际的测量实验、移动机器人环境感知实验以及与现有双目立体视觉产品的对比实验结果表明,系统能够很好地解决双目立体视觉的立体匹配和精度问题,并且能较好地应用于移动机器人环境感知任务中.     

基于DSP+FPGA架构的嵌入式运动控制平台设计

针对一体化转台控制所需的运动位置的高速采集与实时显示、多工作模式的运动轨迹和位置的实时控制以及远程控制的通信等要求,设计了一种基于DSP和FPGA的嵌入式运动控制平台.所设计的系统充分利用具有丰富外设资源和浮点运算能力的高性能DSP芯片作为主控制单元,并采用FPGA芯片Nios内核为协处理器实现良好的人机交互控制.实验结果表明,该系统具有高集成度、稳定等特点,已成功应用于一体化转台控制系统.     

基于DSP/FPGA的嵌入式实时目标跟踪系统

提出了一套基于DSP／FPGA的协处理器结构用以实现实时目标跟踪的嵌入式视觉系统。系统由DSP作为主处理器进行全局控制，利用具有流水线并行处理结构的FPGA作为协处理器实时完成DSP分配的处理任务。系统由FPGA快速完成最初的运动估计的结果，DSP在此基础上进一步分析和校正，并将校正信息反馈给FPGA，实现快速而准确的跟踪。     

一种多路实时语种识别系统设计与实现

对语种识别系统的算法运算量和复杂度进行分析可知：其前端特征提取和预处理部分运算量较小, 且算法相对灵活; 而后端建模分类部分算法运算量较大且算法相对稳定, 是系统实现大规模并行处理的瓶颈。基于此, 提出了一种DSP+FPGA的系统实现架构, 对前端特征提取采用浮点DSP进行算法实现, 而后端则采用FPGA设计进行算法实现, 并对系统进行了性能测试和资源分析, 验证了设计的合理性。     

一种嵌入式实时图像跟踪系统设计

该文提出了一套可用于快速视觉信息处理的实时目标跟踪嵌入式视觉系统。系统的硬件设计采用了基于DSP和现场可编程逻辑器件(FPGA)的双处理器结构和基于CMOS的图像采集。软件采用了适于流水线运算的块匹配算法,实现了对目标的快速定位和实时跟踪。     

SoC FPGA在声波测井数据采集系统中的应用

传统的数据采集系统采用现场可编程门阵列+数字信号处理器(FPGA+DSP)架构,复杂化了硬件设计,增加了系统功耗.以SoC FPGA为核心搭建的声波测井数据采集系统,充分发挥了微处理器控制能力强和现场可编程门阵列灵活的特点,利用总线互联通信等SoC技术,简化了硬件设计,降低了电路功耗,提高了系统的可靠性.     

嵌入式平头锁眼机控制系统的设计

针对平头锁眼机的智能化控制问题,综合应用ARM、DSP、FPGA等嵌入式技术,开发平头锁眼机智能化控制系统.该智能化控制系统由嵌入式ARM主板、基于DSP+FPGA的运动控制卡、带触摸功能液晶屏、主轴伺服驱动单元、进给轴驱动单元、输入/输出信号接口、系统电源等组成,可实现对平头锁眼机的高速、高精度运动控制.应用结果证明,该控制系统具有开放性好、控制精度高、速度快、功能丰富、操作方便、运行稳定、成本低、通用性好等优点,各项指标完全满足设计要求,市场前景非常广阔.     

基于DSP+FPGA架构的在线棉结检测装置

为了在梳棉机上实现在线检测监控棉网中的棉结杂质,提出了一种基于DSP+FPGA架构的硬件图像处理在线检测装置,取代传统的PC-Base检测模式;采用符合梳棉机机械结构的光源设计和控制接口,完成对现场的实时监控;利用DSP的扩展能力实现网络数据传输。介绍了该装置的检测原理、光源系统设计、DSP+FPGA处理架构、PLC接口以及终端设计,该系统可应用于高速运动的棉网监控及其它高速运动物体的实时监控,在检测技术与自动化装置研究领域具有重要的实用意义和广泛的应用前景。     

FPGA在某电视跟踪系统中的应用

介绍了一种以DSP为核心的数字式电视跟踪系统,主要研究了利用FPGA控制、处理数字视频信号的方法,实现了实时的视频叠加。详细讨论了FPGA的控制逻辑及其相关部分结构。采用FPGA实现视频显示信息的叠加,可有效减轻DSP的速度压力,提高系统性能。     

面向DSP平台的CiSSA-CSP特征提取算法的移植与优化

为实现便携式信号二分类解析系统的在线实时处理,采用DSP平台完成CiSSA-DSP特征提取算法的嵌入式移植。CiSSA-CSP特征提取算法具有出色的时-频-空域特征提取性能,适合于提取实时二分类系统中非平稳信号的特征。相比于PC机,嵌入式系统具有小型化、便携性、低功耗和低延时的特点,而嵌入式平台处理器的计算资源和内存受到限制,必须优化移植特征提取算法,才能保证二分类解析系统的分类精度和低延时。通过优化CiSSA-CSP算法流程,使用编译器优化、关键字和库函数等手段提高编译效率,将CiSSA-CSP特征提取算法移植到TMS320C6678DSP嵌入式平台,并利用公共数据库数据验证了其用于实时分类系统的有效性。相比于PC机的Matlab实现,DSP平台实现的二分类系统分类准确度下降小于0.5%,且单次实验信号解析耗时少于0.15s。     

基于USB总线的DSP和FPGA系统在线编程技术

给出了一种由DSP和FPGA组成的图像处理系统结构,针对其DSP和FPGA配置方式的特点,提出了一种基于USB总线的在线编程技术,它根据该系统中FLASH的配置特性,利用USB总线传输速度快的优点,使得外部主机的应用程序和DSP的固件程序通过USB2.0接口对FLASH编程,实现了DSP与FPGA的在线编程(ISP).经过对由TMS320DM642 DSP和Cyclone EPlC6构成的实际系统的调试,证明这种方法具有操作方便、可靠性高、通用性强的优点.     

The use of field programmable gate array （FPGA） in direct torque control of induction motor

In this paper, the feasibility of embedding the direct torque control （DTC） of an induction machine into field programmable gate arrays （FPGA） is investigated. DTC of an induction machine is simulated in a MATLAB/Simulink environment using a Xilinx system generator. The resulting design has a flexible and modular structure where the designer can customize the hardware blocks by changing the number of inputs, outputs, and algorithm when it is compared to the designs implemented using classical microcontrollers and digital signal processors. With its flexibility, other control algorithms can easily be programmed and embedded into the FPGA. The above system has been implemented on Xilinx Spartan 3A DSP FPGA controller. Simulation and experimentation have been performed to prove the validity of the proposed methodology.     

Combining temporal partitioning and temporal placement techniques for communication cost improvement

In this paper, we present a typical temporal partitioning methodology that temporally partitions a data flow graph on reconfigurable system. Our approach optimizes the communication cost of the design. This aim can be reached by minimizing the transfer of data required between design partitions and the routing cost between FPGA modules. Consequently, our algorithm is composed by two main steps. The first step aims to find a temporal partitioning of the graph. This step gives the optimal solution in term of communication cost. Next, our approach builds the best architecture, on a partially reconfigurable FPGA, that gives the lowest routing cost between modules. The proposed methodology was tested on several examples on the Xilinx Virtex-II pro. The results show significant reduction in the communication cost compared with others famous approaches used in this field.     

FPGA和NiosII软核的语音识别系统的研究

嵌入式语音识别的应用还是比较少,主要还是通过DSP实现,而且准确率还不是太高。提出一种基于FPGA和NiosII软核处理器的嵌入式语音识别系统的设计方案。系统以EP2C35 Cyclone II芯片和NiosII处理器为基础,采用软硬件结合的设计方式,共同完成语音识别的设计。系统结合改进的端点检测方法,提取线性预测倒谱系数（LPCC）的音频信号特征,采用IP核硬件实现动态时间规整（DTW）的识别算法,能达到较高的识别准确率。     

一种基于FPGA和DSP的视频处理系统

该文介绍了一种基于现场可编程门阵列（FPGA）和数字信号处理器（DSP）的实时视频处理系统,此系统以FPGA为数据缓冲和逻辑控制单元,DSP为图像数据处理单元.该文介绍了此视频处理系统的整体结构,详细讨论了从色空间RGB到YCbCr的转换,并给出了转换前后的图像对照.同时也介绍了视频数据流的缓冲处理,以及DSP和FPGA轮流对双口RAM的控制,最后介绍了用DSP实现图像压缩的过程.通过此系统的实现可以看出,使用FPGA实现视频处理系统的控制,可以提高系统的性能,同时使得系统的适应性和灵活性强,设计调试方便.     

导弹模拟系统嵌入式电子组件的设计与实现

设计开发"导弹模拟系统嵌入式电子组件"是成功完成某型产品训练模拟系统研制任务的一项核心环节.文章以介绍系统的设计需求为出发点,接合软硬件开发过程中遇到的难点问题,有针对性的总结了在建立嵌入式系统硬件框架、ARINC429通讯接口设计、FPGA逻辑设计、时序软件设计与优化等过程中的一些经验和技术途径.特别是在设计系统中断服务程序时,创造性的提出了在定点DSP环境下依托硬件平台实现高效数值运算的若干方法,对于满足系统实时性处理要求等方面具有一定的应用价值.