基于多特征融合的表情识别算法

针对轻量级面部表情识别算法泛化能力的不足，提出了一种结合多特征融合和注意力机制的表情识别方法。使用局部二值模式(Local Binary Pattern, LBP)算子减少面部图像中无关信息的干扰，双分支神经网络提取原始人脸图像和LBP图像的特征，融合两个网络提取的中高层特征，并通过注意力机制加强重要特征，在保持较少参数量的同时生成大量的有效特征信息提高算法的识别效果。实验结果表明，该方法在Fer2013和CK+数据集上的识别率分别为70.21%和95.59%，有效地提高了轻量级表情识别算法的性能。     

基于胶囊的英文文本蕴含识别方法

提出了一种基于胶囊的英文文本蕴含识别方法.分别为每一种蕴含关系构建一个胶囊,用于模拟此蕴含关系的识别,并将其指定为该胶囊的属性.给定两段文本,经过highway编码层和序列编码层获取语义表示,分别输入胶囊中,依次通过其内部的交互模块、比较模块和聚合模块.交互模块利用交互注意力机制提取文本间的局部交互特征,比较模块和聚合模块使用前馈神经网络进行语义信息比较和聚合.最后对所有胶囊的输出归一化,得到两段文本的蕴含关系.该方法在SNLI测试集上的准确率为89.2%,在MultiNLI匹配测试集和不匹配测试集上的准确率分别为77.4%和76.4%.对交互模块中注意力关系矩阵的可视化分析结果验证了胶囊在英文文本蕴含识别任务中的有效性.     

基于层次化BoF模型和Spectral-HIK过滤的手势识别算法

为了解决基于计算机视觉的人类手势识别问题,提出一种名为层次化Bag-of-Features(BoF)的模型.该模型通过对人手区域进行划分和对图像特征分别向水平和垂直轴投影来提取图像特征的空间分布信息.为了准确快速地实现手势识别,构建一种基于直方图交叉核的手势识别分类算法.该算法结构简单、运行效率高,而且充分利用层次化BoF模型的结构特点.为了进一步提高在复杂背景下手势识别准确率和运行效率,采用一种基于谱和直方图交叉核的背景特征点过滤算法.实验结果显示,所提算法对于简单背景下的手势识别准确率可达99.79%,而对于复杂背景下的识别准确率为80.01%.     

自适应属性选择的实体对齐方法

现有实体对齐方法普遍存在传统方法依赖外部信息和人工构建特征,而基于表示学习的方法忽略了知识图谱中的结构信息的问题。针对上述问题,提出自适应属性选择的实体对齐方法,融合实体的语义和结构信息训练基于两个图谱联合表示学习的实体对齐模型。提出使用基于自适应属性选择的属性强约束模型,根据数据集特征自动生成最优属性类型和权重约束,提升实体对齐效果。两个实际数据集上的试验表明,该方法与传统表示学习方法相比准确率最高提升了约11%。     

面向面部表情识别的双通道卷积神经网络

面部表情识别是机器感知人类情绪变化的重要途径,但表情识别受不同个体及情绪强弱差异影响较大,难以手动设计准确的特征.提出一种基于双通道卷积神经网络的面部表情识别方法,首先对采集得到的人脸图像进行预处理以限制分析范围,同时分析人脸灰度图像与对应的LBP图像以兼顾全局与细节特征;针对双通道输入数据,利用不同参数的卷积神经网络自动提取面部特征,通过加权融合分类网络进行特征融合,并利用softmax分类不同表情.实验结果表明,该算法能够以较高的准确率识别6种基本面部表情(高兴、悲伤、愤怒、沮丧、恐惧及惊讶).该方法性能优于基于手动设计特征的面部表情识别方法及单通道CNN方法,相比于其他双通道CNN方法,能通过更简单的处理得到近似的识别结果.     

改进的ResNeXt50神经网络面部表情识别方法

为了减少现有基于通用架构的深度学习表情识别方法在卷积过程中丢失重要信息的现象,文中提出一种改进的ResNeXt50网络(命名为AC-SP-ResNeXt50),以ResNeXt50为基础架构,增加一个多尺度特征提取层,以不同尺寸的卷积核对原始图像进行特征提取,提取到更多纹理信息;同时以SoftPool作为网络的池化层,保留了更多特征信息;使用非对称卷积模块构成残差结构,强化了特征提取;文中通过消融实验和对比实验,验证文中方法在减少特征信息损失,提升面部表情识别率方面的有效性;通过识别随机选取的表情图像,评估了文中模型的泛化能力。实验结果表明：多尺度特征融合、SoftPool、非对称卷积对面部表情识别结果均有提升作用。文中方法在CK+数据集上的识别率可达到98.93%,在Jaffe数据集上可达到97.62%,与卷积神经网络与支持向量机相结合的方法(CNN+SVM)、注意力与空间注意力机制分离方法(CA-ST-DSC)、全局分支和局部分支结合的方法(GL-DCNN)、基于深度可分离卷积的识别方法(DSC-FER)等现有面部表情识别方法进行对比,文中方法在特征提取方面更具优势,识别结果更佳,...     

基于集成学习框架的用户画像方法

针对已有算法中特征构建效果不佳以及泛化能力不足的问题,提出一种基于集成学习框架的用户画像方法。该方法将整体架构分为集成学习模块与语义编码模块,并在决策时加入了投票机制。集成学习模块采用两层Stacking完成特征构建以及模型融合;语义编码模块使用BERT模型对文本进行编码,提取深层语义信息;然后对两个模块的输出结果进行投票,从而产生最终结果。对两组数据进行实验,结果显示:该方法与基于单模型的方法对比,在用户查询词数据集上,用户性别、年龄、学历标签分类准确率平均提高了1.27%、3.52%、3.42%;在微博用户数据集上,用户性别、年龄、学历标签的分类准确率平均分别提高了5.61%、6.49%、5.96%。这表明该方法对于用户画像任务有较好的效果,并且对不同形式的文本具有很好的适应性。     

基于注意力与多级特征融合的YOLOv5算法

针对复杂场景下目标检测与识别精度较低的问题,提出了一种基于注意力与多级特征融合的YOLOv5目标检测与识别算法。该算法在传统YOLOv5s模型的主干网络中引入双空间方向的金字塔切分注意力机制,增强对特征空间和通道信息的学习能力,同时在瓶颈网络中采用多级特征融合结构,对不同分支的特征进行融合,增加特征的丰富性,提升应对复杂场景的能力。此外,利用C3Ghost模块和深度可分离卷积分别替换C3模块和普通卷积,降低网络参数量和复杂度。结果表明：与传统的YOLOv5s算法相比,所提算法在VOC2007+2012数据集的均值平均精度高达85%,在智能零售柜商品识别数据集的均值平均精度高达97.2%,表现出较好的性能。     

一种基于卷积神经网络的人脸表情自动识别方法

针对传统机器学习方法在人脸表情识别上存在特征提取繁琐、表情识别准确率不高的问题,提出一种基于深度学习的人脸表情自动识别方法.设计了一个卷积神经网络模型,以原始图像数据为输入,中间以卷积层和池化层交替作为隐层进行特征自动提取,最后将提取到的特征数据映射到全连接层,并采用Softmax函数作为分类器计算分类得分概率,实现人脸表情的自动识别分类.在公开的人脸表情数据集CK+上进行实验,结果表明本文方法能更准确地识别人脸表情.     

基于图神经网络的零件机加工特征识别方法

针对现有基于深度学习的方法存在的难以识别相交特征、无法精确确定加工特征面的问题,提出基于图神经网络的加工特征识别方法.通过压缩激励模块提取节点与邻接边的特征,构建节点级与邻接边级的双层注意力网络,分割每个节点对应的加工特征.该方法充分利用了零件模型的面特征与边特征,结合零件模型的拓扑结构,基于注意力机制对特征信息进行深度学习,可以有效地解决非面合并相交特征的识别问题.在多加工特征零件数据集上,将该方法与其他3种特征识别方法进行实验对比,在准确率、平均类准确率和交并比3项指标上均取得最优结果,识别准确率高于95%.     

深度连续卷积神经网络模型构建与性能分析

为了提升卷积神经网络特征提取能力,设计了一种基于连续卷积的深度卷积神经网络模型.该模型采用小尺度的卷积核来更细致地提取局部特征,并借助连续的两个卷积层增加模型的非线性表达能力,结合Dropout技术降低神经元之间的相互依赖,利用抑制网络过拟合对模型进行优化.人脸表情、手写数字字符和彩色图像的目标识别实验表明,在图像较为复杂时,该模型在识别的准确性和泛化性能上比手工特征提取方法及一般的2、3层卷积结构具有明显的优势.     

基于LBP层次特征的表情识别算法

提出了一种基于LBP层次特征提取的表情识别算法.将图像分成许多子块,并从子块中提取面部运动单元信息来组成基于面部运动单元的表情成分特征,对人脸图像的眼睛和口部作粗定位.采用局部二值模式(LBP)的层次特征提取法,对图像进行分块操作,求出每个子块的LBP直方图,然后将基于整体特征得到的LBP直方图与基于局部特征得到的LBP直方图连接起来,作为整幅图像的LBP直方图.将层次特征提取法所提取的LBP直方图作为嵌入式隐马尔可夫模型(EHMM)的初始向量,即形成观察序列.对JAFFE人脸库中的7种基本表情进行了测试,结果表明该方法能有效提高表情识别率.     

基于知识增强的图卷积神经网络的文本分类

针对文本分类问题,提出新的基于知识增强的图卷积神经网络（KEGCN）分类模型. KEGCN模型在整个文本集上构建了一个包含单词节点、文档节点、外部实体节点的文本图,不同类型节点之间使用不同的相似性计算方法;在文本图构建完成后将其输入到2层图卷积网络中学习节点的表示并进行分类. KEGCN模型引入外部知识进行构图,捕获长距离不连续的全局语义信息,是第1个将知识信息引入图卷积网络进行分类任务的工作. 在4个大规模真实数据集20NG、OHSUMED、R52、R8上进行文本分类实验,结果表明,KEGCN模型的分类准确率优于所有的基线模型. 将知识信息融入图卷积神经网络有利于学习到更精准的文本表示,提高文本分类的准确率.     

基于Semi-Supervised LLE的人脸表情识别方法

目的 为提取有效的鉴别特征和降低鉴别向量的维数来识别人脸表情图像.方法 将流行学习(Manifold leaming,ML)和半监督学习(Semi-Supervised leaming,SSL)结合起来,利用人脸表情图像数据本身的非线性流形结构信息和部分标签信息来调整点与点之间的距离形成距离矩阵,而后基于被调整的距离矩阵进行线性近邻重建来实现维数约简,提取低维鉴别特征用于人脸表情识别.结果 该方法 能充分利用数据的结构信息和有限的标签信息,使具有标签信息的同类样本之间的距离最小化,不同类数据之间的距离最大化,进而可以有效地提取数据的低维鉴别子流形,使得分类性能要优于非监督的雏数约简方法 .结论 笔者提出的半监督局部线性嵌入算法能有效地提高人脸表情识别的性能.     

基于互补集合经验模态分解与支持向量回归的PM2.5质量浓度预测

为了及时、准确地检测视频监控下人体异常行为的发生,提出一种基于姿态估计的人体异常行为识别算法. 该算法首先利用基于深度学习的人体姿态估计算法提取人体的骨骼关键点坐标,组成包含空间信息和时间序列信息的时空图模型,模型中每个节点对应于人体的一个关节,同时包含2种类型的边,一种是符合人体关节自然连通性的空间边,另一种是跨越连续时间的时序边;然后,对时空图进行多阶段的时空图卷积操作,提取高级特征;最后,用Softmax分类器进行行为分类,得到行为结果并判断是否为异常行为. 在KTH单人数据集和HMDB51多人交互数据集上进行对比实验,与当前先进的方法相比,在准确率方面取得了较好的结果. 对实时视频进行测试,实时检测识别帧率达到25帧/s,可实现实时处理监控视频.

     

基于Adaboost-高斯过程分类的人脸表情识别

为了弥补Ababoost分类器分类精度不够、训练耗时的缺点,利用高斯过程分类器分类精度高、计算复杂度低的优势,提出一种改进的表情识别方法.该算法将高斯过程分类（GPC）和Adaboost的人脸表情识别算法相结合,在训练二分类Adaboost时利用高斯过程分类器训练弱分类器;把这些弱分类器组合成一个总分类器,将二分类Adaboost GPC扩展为多类分类算法.采用Gabor提取面部表情特征,由于Gabor特征提取后存在维度变高、冗余大的问题,引入二维主成分分析（2DPCA）对Gabor特征进行选择.基于Cohn-Kanade和JAFFE数据库的实验结果表明,该算法在识别正确率和速度方面的表现均较好.     

基于流形的约束局部模型拟合

为了将人脸形状向量集的流形结构嵌入到人脸定位模型中,以人脸定位参数模型中典型的约束局部模型为基础展开研究。结合局部坐标编码理论和稀疏约束,将基于流形结构的邻近形状向量集代替点分布模型中的非刚性形变集,实现了流形学习中的局部切空间排列方法与点分布模型的融合,从而得到了一个流形嵌入的约束局部模型。经过在模拟数据、有标注的人脸部件数据库和有标注的人脸数据库的试验验证,与基于线性重建的局部约束模型拟合相比,嵌入流形结构的约束局部模型具有更好的性能。     

Self-supervised facial asymmetry learning for automatic evaluation of facial paralysis

Facial paralysis is a kind of facial disease with the functional disorder of the facial expression muscle,and adversely affects the patients’ mental and physical health.The aided diagnosis and evaluation system of facial paralysis based on computer vision can reduce the influence of doctors’ subjective experience on the diagnosis results,and improve the accuracy and efficiency of diagnosis.However,the existing evaluation methods suffer mainly from three drawbacks:① the facial asymmetry features are extracted from the static facial images,which can not represent the asymmetrical features of facial movements;② the shallow machine learning models have their limitations on extracting useful facial features;③ it is difficult for depth models to learn the effective facial features from small-scaled videos of facial paralysis.To solve these problems,we present an automatic facial paralysis evaluation method based on self-supervised facial asymmetry learning (self-SFAL).The key idea behind our method is that the pre-trained 3D-CNNs on the pretext task are transferred to extract the patients’ facial spatiotemporal features for the downstream task of facial paralysis evaluation.With the assistance of the pretext task,the 3D-CNNs can leverage numerous videos without any labels,and can be easily pre-trained to adapt to our facial paralysis evaluation task.Furthermore,inspired by the doctor’s evaluating facial paralysis by focusing on the asymmetry of the facial muscle movements on both the patients’ whole faces and the involved facial regions,our method combines the global and local facial spatiotemporal features for the final facial paralysis evaluation.Experimental results have verified a better performance of the proposed method,with accuracy,Recall and F1 improved.