基于DT-CWT和PCA的唇部特征提取方法

针对单视觉唇读系统中唇部特征的提取问题,提出了基于双树复小波和PCA的唇部特征提取方法.利用双树复小波变换的近似平移不变性,通过将变换后的系数幅值重新排列,克服了感兴趣区域中唇部偏移的影响.与DCT相比.双树复小波变换既可反映输入信号的频域特性,又能反映其空间域特性,具有近似平移不变性.这些特性使得DT-CWT+PCA...     

H.264中块运动估计及其发展趋势

把视频编码中块运动估计模板匹配方法的发展分为4个阶段,介绍了每个发展阶段的特点和典型算法,比较了各算法的性能,并指出块运动估计未来的发展趋势.     

基于角度特征的分类网络

卷积神经网络(Convolutional Neural Networks,CNN)在图像分类任务中的卓越表现,使得其被广泛应用于计算机视觉的各个领域。图像分类模型精度与效率的提升,除了归功于网络结构的改变外,还有很大一部分原因来自于归一化技术以及分类损失函数的改进。在人脸识别任务中,随着精度的不断提升,分类损失函数从Softmax Loss到Triplet Loss,又从L-Softmax Loss到Arcface Loss,度量方式从几何度量发展到角度度量。度量方式的改变实际上是特征形式的变化,即特征形式从一般特征转变为角度特征。在Mnist数据集上,使用角度度量损失函数训练得到的特征点呈角度分布,同时准确率比几何度量高;将角度度量方式用更直接的角度特征来表示,训练得到的同类特征点呈直线分布,准确度也比一般角度度量更高。这不禁令人思考,在CNN分类模型中是否可以使用角度特征来代替一般特征。在CNN分类模型中,其主要架构往往由多个卷积层和一个或多个全连接层组成,通过统一卷积层与全连接层的归一化操作,得到角度卷积层与角度全连接层。在普通分类网络的基础上,用角度卷积层替换卷积层,用角度全连接层替换全连接层,可以得到一个由角度特征组成的角度分类网络。在Cifar-100数据集上,基于ResNet-32构造的角度分类网络相比原分类网络,分类准确率提高了2%,从而论证了角度特征在分类网络中的有效性。     

基于DCT和ONPP的唇部特征提取

针对单视觉通道唇读系统中唇部特征的提取问题提出了基于DCT+ONPP的特征提取方法。相对于保持全局结构特性的PCA方法,ONPP是一种既保持局部部域几何特性又兼顾全局的线性降维技术。实验证明提出的方法优于DCT+PCA的特征提取方法。另外还对部域点个数对系统性能的影响做了相应的研究,发现部域点为3时该方法具有较好的识别效果。     

车载环境下的语音端点检测

为了提高车载噪声环境下语音端点检测的准确性,提出了一个基于GRU RNN的神经网络结构, 对带噪语音的Log Mel特征序列进行处理,实现语音与噪声的分离,从而恢复出纯净语音的Log Mel特征序列;在此基础上,提出一种新的特征Log Mel Sum,并用该特征进行端点检测。实验结果表明,在车载环境下,本文方法具有很好的端点检测性能。     

基于难负样本挖掘的改进Faster RCNN训练方法

目标检测方法甚高速卷积神经网络(Faster Region-based Convolutional Neural Network,Faster RCNN)在训练过程中存在负样本远多于正样本的问题,即数据集不平衡问题。针对该问题,提出了一个综合定位误差和分类误差的判别函数用于判别难正样本,基于该函数和难负样本挖掘提出了改进的自助采样法,并提出了基于该自助采样的 “五步训练法”用于训练Faster RCNN。与传统的Faster RCNN训练方法相比,五步法加强了对难样本的学习,提高了网络泛化能力,减少了误判;训练出的模型在Pascal VOC 2007数据集上测试的平均正确率均值(mean Average Precision,mAP)提高了2.4%,在FDDB(Face Detection Data Set and Benchmark)相同检出率下误检率降低了3.2%,且边框拟合度更高。     

基于参数子空间和缩放因子的YOLO剪枝算法

为保证YOLO网络在嵌入式设备上正常运行,需采用剪枝算法精简滤波器以减小网络存储空间和计算量,而现有剪枝算法耗时较长且剪枝精度较低。提出一种基于参数子空间和批量归一化（BN）层缩放因子的双准则剪枝算法。将卷积层滤波器通过k均值聚类得到不同参数子空间,在子空间内使滤波器按权重排序并去除权重较低的滤波器,同时采用BN层缩放因子剪枝算法避免剪枝精度下降。实验结果表明,采用该算法剪枝后的YOLOv3网络在精度不变的情况下,占用的内存减少5/6且计算时间缩短1/3,与PF、CP等剪枝算法相比,该算法在保持较高网络精度的情况下计算量更少。     

基于Lab色度空间a分量的唇部提取方法

唇部提取是唇读系统和基于唇部的身份识别系统中的重要预处理过程,提取效果直接影响系统性能,现有的唇部提取方法对被提取人肤色有一定依赖性,且对带胡须和露齿图像的唇部提取效果较差。针对该问题,通过对常用色度空间各分量的可分离性进行研究,提出基于Lab色度空间的 分量唇部提取方法。实验结果证明,该方法能实现唇部的自动分割和提取,具有较好的鲁棒性。     

基于人眼视觉特性的ROI编码

研究了等级树集分割编码方法(SPIHT)在ROI图像编码中的应用。根据SPIHT编码方法的特性、ROI区域小波系数提升后整幅图像小波系数的特点及人眼视觉特性，提出改进算法。同时提出质量等级因子的概念并给出了其数学表达式。本文提出的改进算法可在保证ROI质量等级的同时提高整幅图像的主观效果。仿真实验证明了改进方法的有效性及质量等级因子的调节作用和其公式的正确性。