计算机光学乐谱识别技术

计算机光学乐谱识别是计算机技术在音乐领域的发展和应用，主要利用图像处理，模式识别，文档图像分析等相关技术，把乐谱图像转化成通用的数字音乐格式，OMR实现传统乐谱数字化，在计算机音乐、计算机辅助音乐教学，数学音乐图书馆等众多领域有着广泛的应用前景，OMR包括乐谱图像预处理，谱线检测与删除，原始音符对象识别和特征音符对象解释与重组等主要过程，音符对象的识别，解释与重组是其中的难点和关键。     

支持笔输入的乐谱编辑器

设计并实现了一个支持笔输入的乐谱编辑器,用户使用笔和书写板输入乐谱手势符号,利用基于网格编码的单笔划手势识别算法识别手势符号,生成与输入相应的乐谱,具有实时播放的功能。与传统交互界面的乐谱编辑器相比较,该系统的交互方式更加符合人们对乐谱的书写和认知习惯,使乐谱的输入过程变得简单、自然、高效。     

基于OMR技术的乐谱图像匹配算法

提出了一种数字乐谱图像识别与匹配方法，采用光学乐谱识别(OMR)技术识别数字乐谱图像建立对应的MIDI文件，利用一一对应算法进行匹配，根据相似度来判断同一音乐作品的不同数字版本的乐谱图像，并在理论上就此算法的有效性进行了论证。同时，仿真实验结果表明这一方法能有效地实现对不同数字版本的同一音乐作品的乐谱图像的识别、归类与校正。     

基于WAV文件的独奏乐曲信号中的乐谱识别

大多数乐谱识别工作都是在MIDI格式文件下进行的,而音乐数据大多采用音频格式存储,为此讨论一种从WAV音频文件的独奏乐曲信号中识别出乐谱的方法。采用离散余弦变换（DCT）结合能量比对的手段,并提出了一种变化音最少法则：以十六分音符对应的时值作为步长,将乐曲信号分为若干个子段;对每个子段进行一维DCT操作,提取基音频率;对相邻子段进行能量比对,查找音符的端点;利用变化音最少法则,生成乐谱。实验表明此方法具有良好的识别效果。     

基于残差门控循环卷积和注意力机制的端到端光学乐谱识别方法

光学乐谱识别对推动音乐智能化与数字化有着重大意义。传统的乐谱识别流程冗杂,易导致错误积累,但目前基于序列建模的乐谱识别方法不能从全尺度上获取音符上下文信息,在识别效果上仍有提升空间。为此,提出一种基于残差门控循环卷积和注意力机制的端到端光学乐谱识别方法。以残差门控循环卷积作为骨干网络,丰富模型提取上下文信息能力;结合一个注意力机制解码器,能更好地挖掘乐谱特征信息及其内部相关性,增强模型表征能力并对乐谱图像中的音符及音符序列进行识别。实验结果表明,改进后的网络与原卷积循环神经网络（CRNN）模型相比,符号错误率和序列错误率均显著下降。     

一种结合端点检测可检错的DTW乐谱跟随算法

针对乐谱跟随中动态时间规整算法(DTW)时间精确度不高并且无法检测偏差音符的不足,提出一种基于端点检测与DTW算法的乐谱跟随系统。其前端结合端点检测算法,提取基于恒Q变换(CQT)的色度特征值,再将两个音频信号进行比较,最终利用DTW算法实现演奏音频与乐谱对齐功能,确定演奏音频每一时刻具体演奏内容。实验结果表明,提出的算法在时间精确度上较传统方法提高7.64%,并且不受节拍变化的影响,能够检测出演奏音频中是否有偏差音符。     

乐谱图像中的音符识别方法

面向多声部乐谱,实现基于结构模式的音符识别方法。在音符基元抽取阶段,提出基于游程分析的符干、符头、符梁3类基元抽取算法,具有较好的抗相交和抗粘连干扰能力。在音符结构分析阶段,采用“作用场”描述音符基元关系,将音符分为6类子结构,可缩小基元搜索范围。在此基础上细分音符结构,遵循关键子结构优先定位原则实现音符基元重组,可降低分析复杂度且具有良好的基元冗余排错能力。实验结果表明,该方法能快速准确识别多声部乐谱中的音符,在音符排列密集、结构复杂时适应能力较强。     

乐谱识别的预处理和环境参数测定

提出了一种乐谱计算机识别的预处理及环境参数测量的方法。乐谱经归描仪给输入，要作预处理，确定谱表位置、测定谱线宽度、去除噪音、删除谱线等一系列识别前阶段的工作，要为乐谱分割和识别以及自动演奏作好前期准备，计算机系统实验表明，乐谱识别的预处理和环境参数测定是非常有效的。     

用于自动字幕生成系统的语音端点检测算法

字幕信息有助于观众对音视频内容进行理解,在音视频文件中起着不可或缺的作用.针对自动字幕生成系统的要求,提出了一种灵活、高效的语音端点检测算法,可以在复杂背景噪声的情况下,从连续的音频信号中提取语音端点.将短时能量、短时过零率、短时信息熵这3种基本音频参数进行结合,形成新的音频特征参数:短时能零熵(EZE-feature),在结合了音频信号时域特征和频域特征优点的同时,规避了它们各自的不足.在此基础上,还提出了一种环境自适应的语音端点判定算法,在端点检测过程中对背景噪声进行实时分析,并根据背景噪声的变化对短时能零熵参数进行调整.该语音端点检测算法已被成功应用于自动字幕生成系统中.     

乐谱识别中的结构拆分及图象恢复

在电子出版及许多音乐研究中，均需将原文乐谱转化为被计算机可读的数据。本文提出一种用字符识别方法的乐谱图象识别系统。它基于拆分结构技术，将原文转换为局部结构图切分乐符，有效地减少了数据量，且不受图象弯曲和倾斜的影响。文中给出了识别结果的文本输出及其图象恢复。     

电子琴程序开发

使用VC6.0开发了一个小巧的电子琴程序,可供练习弹奏电子琴使用,同时提供了演奏事先编辑好的乐谱文件的功能。音符采用事先录制好的声音文件,利用微软的多媒体库winmm.lib中的API进行声音播放,使用程序代码控制音符的实际演奏。     

基于模板匹配和神经网络的乐谱图象符头基元检测与识别

符头基元的检测与识别是光学乐谱识别技术的核心与关键之一.本文提出一种改进的模板匹配结合神经网络仲裁的方法,对乐谱图象中的符头基元进行检测和识别.在模板匹配阶段,利用乐谱的先验知识对符头的搜索范围进行有效限定,减少了匹配过程中搜索的"盲目性".匹配完成后,提取图象中的垂直直线,对相互连接的候选符头和垂直直线进行编码,通过BP神经网对编码样本的训练,实现音符构成规则的智能学习,最后由神经网络完成符头基元的仲裁确认.实验数据表明,与原有的模板匹配方法比较,该方法的整体识别性能体现出了明显的优势,具有较高的实用价值.     

广播电视语音识别现状与应用策略

综合分析了与广播电视语音智能化处理相关的连续语音识别、关键词检出、语种识别以及固定音频检索技术的国内外发展现状,提出了计算机自动音频处理技术在一般应用条件下已经基本达到实用要求。在此基础上,分析了将自动音频处理技术应用于我国广播电视内容管理的应用前景。     

区域特征的乐谱识别系统

在分析乐谱的基础上，本文提出了区域特征的乐符识别方法，并实现了乐谱识别系统．乐谱用扫描仪输入，经过预处理、去除噪音、确定谱线位置、测定线宽、删除谱线等先期处理后，切分出各种乐符，用区域特性和乐符属性对乐符进行识别，系统还实现了乐谱计算机识别之后的自动演奏．     

乐谱图像倾角快速检测方法

计算机光学乐谱识别技术是将传统的纸质型乐谱转化为计算机能够“读懂”的数字音乐，在计算机音乐领域中具有重要的应用价值、乐谱识别系统的输入是乐谱扫描图像，而扫描过程中出现的图像倾斜现象，会给识别过程中的谱线定位和谱段切割带来诸多困难，必须对图像作有效的倾斜校正以保证系统的性能。为此，提出了一种快速的乐谱图像倾角检测方法。该方法首先利用乐谱文档的自身结构特点，对图像进行预处理，滤除乐谱图像中不具备方向性的干扰像素，然后通过多组图像水平投影队列间的交叉相关性计算对倾角进行检测。其特点是在确保检测倾角精度的同时具有非常高的执行效率。实验结果表明这一方法是有效、实用的。     

基于数学形态学和记谱法的数字乐谱音乐信息提取

从图像处理的角度,对乐谱记谱法的基本规则进行了分析.利用记谱法符号图元之间的结构关系,运用数学形态学的基本算法,提取数字乐谱的音乐信息,从而将音乐信息转化为MIDI文件,实现音乐乐谱的重构和提供乐谱传播的音响载体.实验结果表明,系统对钢琴乐谱的音乐信息提取的正确率达到了94.4%,能满足实际应用的需要,为音乐数字图书馆、音乐教育、音乐理论分析等提供了新的途径.     

一种鲁棒的计算机实时伴奏系统

从系统的角度研究计算机自动伴奏问题,构建并实现一个为电子乐器的演奏进行实时伴奏的系统.该系统主要由乐谱跟踪和实时伴奏两个核心模块构成.为了解决乐谱跟踪问题,提出基于扩充窗和重构匹配检测器的动态规划算法,依据该算法能够在实际演奏存在相当错误的情况下实现实际演奏音符在乐谱中的实时定位.为了改善实时伴奏的效果,给出根据乐谱跟踪的定位结果以小节为单位在线加入伴奏音的伴奏策略.实验结果表明,所开发的实时伴奏系统,具有较强的容错能力和良好的实时伴奏效果.     

基于深度神经网络的关键词识别系统

针对当前关键词识别少资源或零资源场景下的要求, 提出一种基于音频自动分割技术和深度神经网络的关键词识别算法. 首先采用一种基于度量距离的改进型语音分割算法, 将连续语音流分割成孤立音节, 再将音节细分成和音素状态联系的短时音频片段, 分割后的音频片段具有段间特征差异大, 段内特征方差小的特点. 接着利用一种改进的矢量量化方法对音频片段的状态特征进行编码, 实现了关键词集内词的高精度量化编码和集外词的低精度量化编码. 最后以音节为识别单位, 采用压缩的状态转移矩阵作为音节的整体特征, 送入深度神经网络进行语音识别. 仿真结果表明, 该算法能从自然语音流中较为准确地识别出多个特定关键词, 算法易于理解、训练简便, 且具有较好的鲁棒性.     

基于内容的音频与音乐分析综述

机器听觉包括三大研究领域:语音信号处理与识别、一般音频信号分析、基于内容的音乐信号分析.其中,语音信号处理与识别早已成为一个传统的研究热点.随着信息科学与技术的迅速发展,基于内容的音频与音乐信号分析也逐渐成为一个新的研究热点,近几年来取得了大量研究成果.文章将对1990年以后该领域上所取得的研究成果进行综述,包括基于内容的音频或音乐信号自动分类、分割、检索以及音乐作品自动分析等内容.     

乐谱图像乐符分割技术*

提出基于图段拓扑关系的谱线删除方法,以避免谱线过删除现象;提出双向游程编码结合使用的符干分割方法,克服了现有方法对复杂音符适应性差、分割结果不完整等缺陷;提出音符先验知识引导下的符头切割与检测算法,以解决粘连符头的切分问题;提出基于块状体分割和特征检测的符梁分割算法,设计了适用于乐谱版面的文字和线条提取算法。该方法应用在乐谱识别系统中分割乐符具有良好的性能,尤其对乐谱内容复杂、乐符排列密集等情况有较强适应能力。