基于內容的音頻與音樂分析綜述

基于內容的音頻與音樂分析綜述

　　摘要：機器聽覺包括三大研究領域：語音信號處理與識別、一般音頻信號分析、基于內容的音樂信號分析。其中，語音信號處理與識別早已成為一個傳統的研究熱點。隨著信息科學與技術的迅速發展，基于內容的音頻與音樂信號分析也逐漸成為一個新的研究熱點，近幾年來取得了大量研究成果。文章將對1990年以后該領域上所取得的研究成果進行綜述，包括基于內容的音頻或音樂信號自動分類、分割、檢索以及音樂作品自動分析等內容。

　　關鍵詞：音樂分類;識別;分割;檢索;音樂分析;自動摘要;音頻信號處理;模式識別

　　1、引言

　　聽覺是一個非常重要的信息來源，如何能讓計算機具有人類的聽覺能力是一個十分有趣的問題，有著廣闊的應用前景。由于實際應用的需要，同時也為了研究方便，學者們將機器聽覺分為三大領域：語音信號處理與識別、一般音頻信號分析、基于內容的音樂分析。在這三個研究領域當中，有關語音識別的研究最為深入，每年都有大量的相關研究工作被報道。由于已經存在許多有關語音識別方面的綜述性文章[1’2]，本文將不再對該領域的研究工作做進一步的歸納和整理。

　　所謂一般音頻信號是指除了語音信號以外的各種音頻信號，其中也包括音樂。而音樂也是一般音頻信號中最重要的一個類別。我們知道音樂是一種復雜的非自然的聲音現象，它是人類智慧與感性思維的體現。許多無法用語言準確描述的思想感情可以通過音樂表達出來，優秀的音樂作品往往會使人產生情感上的共鳴。因此，音樂被認為是全人類的共同語言，是人類幾千年文化發展的成果，對它的研究無疑具有非常重要的價值。由于音樂本身包含著大量不同層次的信息，對音樂信號進行自動分析是十分困難的。此外，人類社會已經進入數字化時代，娛樂業與信息產業愈來愈緊密地結合在一起。如何快速有效地搜索、管理和分析多媒體數據已經成為一個非常重要的問題，而基于內容的音頻和音樂信號分析則有助于這一難題的解決。

　　和語音信號處理與識別相比，有關基于內容的音樂和一般音頻信號分析的研究工作相對較少。但進入20世紀90年代以后，這個領域的研究工作取得了很大進展，國際上發表的有關論文數量大幅增長。而目前有關該領域的比較全面的綜述文章還是截止到1988年，因此我們認為非常有必要對近幾年的研究工作進行一下總結。在本文中，我們將對1990年以來基于內容的音頻和音樂分析領域的研究工作進行全面、完整的綜述，其中主要介紹最近七八年的研究成果，之前的研究工作請參看文獻[3].

　　此外，具體的有關遺傳算法在音樂分析領域中的應用綜述請參看文獻[4].這個研究領域中比較重要的期刊和會議包括IEEE Transaction on Speech andAudio Processing;IEEE Transaction on PatternAnalysis and Machine Intelligence;IEEE(Transac—tion on)Multimedia;IEEE Transaction on SignalProcessing; IEEE International Conference onAcoustics， Speech， and Signal Processing(IC—ASSP);IEEE International Conference on Multi—media and Expo(1CME)和International Symposi—um on Music Information Retrieval(ISMIR)等。

　　本文將按照不同的研究工作所處理的具體問題組織全文，安排如下：第2節介紹基于內容的音頻和音樂分類與識別方面的研究工作;第3節介紹基于內容的音頻流分割;第4節則介紹基于內容的音頻或音樂檢索;第5節介紹音樂作品分析以及樂譜自動識別方面的工作;第6節介紹有關計算機音樂分析與理解方面的一些其他工作;最后在第7節中則是我們對該領域今后研究工作的一些認識。

　　2、基于內容的音頻和音樂分類與識別

　　基于內容的音頻數據自動分類是一個十分重要的研究方向，它可成為其他許多應用研究的基礎，如基于內容的分割、檢索等。依據研究對象的不同，我們可以將這個領域的研究工作分為以下三個部分。

　　2.1 針對音樂類數據的自動分類與識別

　　由于音樂類數據具有高度的復雜性，根據研究對象的不同我們可以將這部分工作進一步細分為如下幾個問題。

　　2.1.1針對不同音樂類型的自動分類

　　(1)兩類分類問題兩類分類問題是指，研究對象中僅僅包含有兩種不同的混合音樂類型的數據。由于應用需求的不同，學者們所感興趣的具體研究對象也是不同的。

　　如：Bickerstaffe等人研究了如何利用最小消息長度準則(MML)對搖滾樂和古典音樂進行自動分類[5].

　　在他們的工作中比較了一種稱為“Snob”的非監督學習方法和三種監督分類方法：決策樹、決策圖和人工神經網絡，結果表明在這個問題中監督分類方法要明顯優于非監督分類方法;為了方便進行歌詞自動識別，Berenzweig等人研究了如何區分流行歌曲中的演唱部分和純伴奏部分[6]，他們利用一個在說話人識別領域中常用的分類器對類似語音的聲音信號進行檢測。由于具有背景伴奏音樂的歌手演唱信號與一般的語音信號有著很大的不同，對于那些無法直接通過“說話人識別分類器”來確定類別的聲音片段，作者將進一步采用一個基于HMM框架的方法來最終判斷其類別。

　　(2)多類分類問題在針對不同音樂類型的自動分類問題中，多類分類問題是比較常見的[710J.由于研究興趣與具體應用需求的差異，學者們所關心的音樂類別往往不盡相同，但基本上都是采用基于樣本訓練的分類方法�？偟膩碚f，研究所涉及的音樂類別越多則研究難度越大。Tzanetakis等人設計了一個以音樂類數據為主的三層音頻分類樹(見圖1)，其內容覆蓋了大部分西方現代音樂和一部分古典音樂[7]，其中在具有十種音樂類別的分類層次上可以達到61%的平均分類正確率。在他們的工作中使用了三種分別代表音色紋理、旋律內容和音高內容的特征集，并對這些特征的性能做了比較性研究。Lambrou等人利用萬方數據計算機學報小波系數作為特征，對搖滾樂、爵士樂和鋼琴曲這三類音樂信號進行自動分類[8]，同時比較了不同的小波構造方法和分類器對于這個三類問題的區分能力。文獻[9]將音樂信號的分形維數作為特征對12類音樂信號進行了自動分類研究，實驗結果表明音樂信號的分形維數可以作為一種有效的特征用于音樂數據的自動分類。

　　(3)非監督分類——聚類前面所討論的兩類與多類音樂分類問題都屬于監督分類問題，也就是說分類問題的類別是已知的，并且研究者可以獲得類別已知的樣本數據，這類情況比較常見。與此相對應的則被稱為非監督分類問題，此時研究者可能無法獲得足夠的類別已知的樣本數據，有時甚至連類別數都無法知道。非監督分類問題又稱為聚類分析，關于針對音樂數據進行聚類分析的研究報導較少，因為聚類結果強烈依賴于所定義的相似性度量，并且所產生的聚類結果很難滿足某種具體的應用需要。Cilibrasi等提出了一種基于Kolmogorov復雜性和信息距離的音樂分級聚類方法[11|，它不使用任何音樂背景知識并可以直接用于其它領域的聚類分析。Shao等則提出了一種基于HMM的非監督音樂分類方法[1 2I，為了獲得更好的結果，他們還對音樂信號的節奏進行分析并在此基礎上提取特征。

　　2.1.2基于內容的樂器(音色)自動分類與識別

　　如何從一段給定的音樂信號中識別出參加演奏的樂器是一個非常有趣的問題。這樣的任務對于人類來說也許是非常輕松的，但對于機器來說卻十分困難。識別或區分某種樂器主要依靠它特有的音色，從物理學上看音色則是由物體的振動狀態所決定的，不同物體的振動狀態決定了它的泛音及波形的不同，一個固定音高的音由于其中所含各階諧頻成分的比例不同，其音色也不同。對于某種具體的樂器來說，這種頻譜的變化又是十分復雜的，同一種樂器由于演奏技法的不同其音色也會發生顯著的變化。

　　因此，如何方便而準確地描述音色是一個難題。有關樂器識別或音色識別方面的研究工作比較少，它們可以分為以下兩種情況：

　　(1)獨立演奏情況下的樂器識別

　　大多數關于樂器自動識別的工作都是在獨立演奏的假設下完成的，這使得工作變得相對容易了一些。Kermit等人研究了如何對吉他、鍵盤樂器和鼓這三種樂器進行自動識別[13|，他們首先采用Haar小波變換對音頻信號進行預處理以提取特征，然后通過一個神經網絡對測試數據進行分類。他們的方法也可以用來對一些語音數據進行自動分類，如一些元音和字詞。在文獻[14]中，作者采用一種稱為ARTMAP的神經網絡來區分五類樂器所演奏的單音符信號，這五類樂器分別為鋼琴、吉他、小號、薩克斯和長笛。在文獻[15]中，作者采用頻譜特征對來自27種樂器所演奏的1007段音頻信號進行了自動分類研究。實驗結果表明二次分類器所取得的效果最好，它要優于目前比較流行的SVM分類器和傳統的最近鄰分類器。該分類器對來自具體樂器所演奏的音符的平均分類錯誤率為7.19%，對樂器族的平均識別錯誤率僅為3.13%。Eronen針對16種西方管弦樂器的自動識別問題做了特征比較研究[16【，他考慮的特征包括Mel頻率、線性預測倒譜系數和delta倒譜系數等。他所報道的對樂器族的最高識別正確率僅為77%。Krishna等同樣在單音符樂器識別問題中比較了不同特征(MFCC和LPCC)以及分類方法(高斯混合模型和K近鄰法)的作用[1?，他們所報道的針對14種樂器的最高平均識別正確率為90%。

　　(2)混合情況下的樂器識別

　　在實際演奏的情況下，尤其是在多樂器混響的情況下進行樂器自動識別是非常困難的，相關的研究報道非常少。Josephson等人研究了模糊專家系統在混響情況下樂器識別問題中的有效性，并列舉了幾個應用實例n 8|.他們建議采用定量的物理分析與模糊專家系統相結合的方法對音色進行識別。其中專家系統的知識庫是這樣建立的：專家的知識+從音樂信號中直接提取出的音質特性，如基頻、諧波泛音強度、諧波相位偏移量等。但是該文并沒有詳細給出系統的實現方法。Kostek研究了如何從二重奏音樂信號中識別樂器并將其分割出來[1 9|，他使用神經網絡作為最后的決策系統。Sakuraba等則對四重奏音樂信號下的樂器識別問題做了特征比較研究。

　　2.1.3歌手自動識別

　　如何讓計算機分辨出一首歌曲是哪位歌手所演唱的是一個十分有趣的問題。由于人們在日常生活中所欣賞的音樂大多都是歌曲，解決該問題會十分有助于歌曲類多媒體數據的自動管理和檢索。這個問題與語音識別領域中的說話人識別非常類似，解決的思路也基本類似。但是由于人在演唱時嗓音的動態范圍比說話時要大的多，再加上往往會有伴奏音樂，所以歌手識別問題要比說話人識別更加困難。

　　有關該問題的文獻不多，它們可以分為以下兩種情況：

　　(1)無伴奏情況下的歌手識別在文獻[21]中，作者對12位美聲唱法歌手的清唱歌聲做了自動識別研究。他們采用頻譜包絡的主成分作為特征，并用一個二次分類器對來自不同歌手的歌聲做自動識別。通過交叉驗證實驗，對歌手的平均正確識別率為95%。Kim則通過訓練HMM對來自4名美聲歌手所演唱的簡單音調做了識別，平均正確率可達90%左右[2引。

　　(2)有伴奏情況下的歌手識別“u等提出了一種方法用于在MP3格式下做歌手識別[2引。他們首先通過一系列多項濾波器將訓練集中的MP3音樂信號進行分解得到一系列音符(或音素)，然后從每個音符中提取特征訓練分類器對測試集中的歌曲進行歌手識別。Zhang基于說話人識別系統的一般框架提出了一種歌手自動識別方法口“。她為訓練集中的每位歌手的嗓音特性訓練了一個統計模型。對于一首待測試的歌曲，她首先檢測歌曲中演唱部分的起始點，然后從這個起始點開始截取出一段定長的演唱片斷，最后從這個演唱片斷中提取音頻特征與訓練集中的歌手嗓音模型進行匹配以完成歌手識別任務。在一個不大的測試集上，她的方法可以達到大約80%的平均識別正確率。此外，她還針對歌手之間的嗓音相似性做了一些聚類分析。Maddage等也提出了一種歌手自動識別方法嘶]，他們首先采用SVM分類器來檢測歌曲中的演唱片斷，然后通過高斯混合模型來對歌手的嗓音進行建模和識別。在一個包含了100首獨唱歌曲的數據庫中，他們的方法可以達到87%的平均正確率。Tsai等則研究了如何在具有背景伴奏和其他歌手存在的情況下，如何檢測和跟蹤某個特定歌手的演唱‘2引。

　　2.2包含音樂類數據的一般音頻分類

　　包含音樂類數據的一般音頻自動分類是指在分類對象中至少包含一種屬于音樂類別的數據或者音樂與其他類別音頻信號(如語音)的混和數據。我們可以將這部分研究工作進一步細分為如下兩部分。

　　2.2.1語音與音樂類數據的區分

　　由于語音和音樂是非常重要的兩類音頻數據，如何有效地區分語音和音樂就顯得非常重要。關于這方面研究的文獻資料比較多[27。30f，他們通常也被當作復雜情況下語音識別所必需的預處理工作。

　　Feng等采用最大熵模型，并結合一些通用特征對語音和音樂進行分類[2?.Hughes等采用小波變換與神經網絡相結合的方法來解決這個問題[28|.Chou等則著重強調了語音信號與歌曲類信號的區分，并為此提出了一些新的特征[2 9I.Beierholm等提出了一種無需訓練的語音、音樂區分算法口?。在他們的方法中，對語音和音樂信號分別采用了不同的特征類別和模型階數。

　　2.2.2其他多類分類問題

　　在包含音樂類數據的一般音頻自動分類問題中，多類分類問題也是比較常見的。31。3“。由于研究者的興趣和實際應用需求的不同，他們所關心的音頻類別數和具體的音頻類別往往不盡相同，但又十分相似。Lu和Zhang等首先通過K近鄰結合線性譜對向量量化法(LSPLVQ)將音頻信號分為語音和非語音兩大類[3¨，然后利用基于規則的分類方法將菲語音類音頻信號進一步分為音樂、環境聲音和靜音。

　　為此，他們還提出了自己定義的一些特征，如：噪音幀數比和頻帶周期。在文獻[32]中，他們比較了SVM、K近鄰法和高斯混和模型在～個五類的音頻分類問題中的性能差異，這五類音頻分別為靜音、環境聲音、語音、非純語音和音樂。實驗結果表明SVM要明顯優于其它兩種分類器。Li等研究了在一般音頻信號分類中的特征選擇問題[3?，他們將音頻信號分為七類：靜音、環境噪音、單人語音、多人語音、音樂、語音和音樂的混合信號、噪音背景下的語音。研究結果表明倒譜類特征(如MFCC)和線性預測系數(LPC)要優于一般的時域和頻域特征，他們所報道的最高平均分類正確率為90%。Zhang使用能量函數、平均過零率、基頻和譜峰軌跡作為特征，并通過一個基于規則的啟發式的分類方法將一般音頻信號分為八類：和諧的環境聲音、純樂曲、歌曲、帶有背景音樂的語音、帶有背景音樂的環境聲音、純語音、非和諧的環境聲音和靜音口4|.他們的方法也可以達到90%的平均分類正確率。

　　2.3不包含音樂類數據的一般音頻分類

　　有關這方面研究工作的報道比較少。Guo等利萬方數據計算機學報用SVM構建了一個二叉分類樹[35|，對來自“MuscleFish”數據庫中的16類共409段音頻數據進行自動分類。這些音頻類別包括動物的叫聲、男聲、女聲、鈴聲、掌聲、笑聲、機器的嘈雜聲等等，平均分類正確率可達89%。Li在最近鄰方法的基礎上提出了一種稱為最近特征線(NFL)的分類方法[36|，并將其在“Muscle Fish”數據庫上進行了測試。實驗結果表明最近特征線分類方法要優于傳統的最近鄰法，其平均分類正確率可以達到90%。Couvreur等通過時頻分析技術結合HMM建立了一個環境噪聲監測系統[37|，它可以區分五類噪聲源：小汽車、卡車、摩托車、飛機和火車，平均分類正確率可以達到95%。

　　Wold等提出了一種基于內容的聲音文件的分類方法[38|.作者對一小段聲音的WAV文件提取各種特征(持續時間、音高、振幅、帶寬、明亮度)并計算它們的均值、方差、自相關等統計量，將這些特征及其統計量組成特征向量，用這個特征向量來表示這段聲音。在此基礎上，作者定義了聲音文件之間的相似性度量(歐幾里的距離)使得基于內容的相似性成為可計算的量。隨后作者用帶標簽的一組樣本來定義一個特定的類，并計算其均值特征向量和協方差矩陣作為該類的數學模型。最后用近鄰法來做進一步的分類和檢索工作。

　　2.4小結

　　從前面的介紹中不難發現，有關基于內容的一般音頻和音樂數據自動分類是一個十分開放的研究領域。由于研究對象的復雜性和開放性，使得這個領域中擁有層出不窮的新問題有待學者們去探索和研究，這也是其能夠成為近年來的一個研究熱點的重要原因。另一方面，與一些傳統的研究領域(如語音識別、人臉識別、指紋識別等)相比，這個新興的研究領域也存在一些問題，比如缺乏一個可以被學者們所廣泛接受的數據庫。目前的情況是幾乎每個學者都在使用不同的數據，研究不同的問題。這使得我們很難對不同的算法在性能上有一個直觀的比較，這在一定程度上制約了有效的學術交流。從研究方法上看，幾乎所有的算法都是采用基于數據的機器學習框架。這一方面得益于近年來機器學習領域的迅速發展，而另一方面也反映出我們在研究事物本質特征方面的滯后。模式識別問題的核心是特征的提取與選擇。目前在有關音樂數據自動分類研究領域中被廣泛使用的仍然是一些低層次的音頻特征，如MFCC、線性預測系數以及各種時域、頻域特征及其統計量，這些特征顯然不足以反映音樂現象的本質。如何提取出更有效的可以揭示音樂現象本質的特征是一個亟待解決的難題。

　　3、基于內容的音頻流分割

　　基于內容的音頻流分割是指將一段音頻流數據按其內容自動地分為若干片段，使得每個片段在內容類別上具有一致性。它是基于內容的音頻和多媒體數據分析領域中的一個十分重要的問題。例如，一段電臺或電視臺的音頻信號，其中可能包含古典音樂、流行歌曲、傳統戲曲以及廣告、語音等內容。如果能將其按這些內容屬性合理地分割開來，就能夠方便聽眾和觀眾選擇收聽、收視，也能夠方便多媒體數據的分類保存和進一步的剪輯加工等。面對海量的多媒體數據，如果能開發出一種自動的、基于內容的音頻流分割方法，無疑會大大地提高工作效率。有關音頻流分割的文獻比較多，按照研究對象的不同這些工作又可以分為以下幾個方面。

　　3.1說話人分割

　　說話人分割是指根據說話人嗓音特性的不同，將音頻流中屬于不同說話者的聲音片斷分割出來。Delacourt等將一些二階統計量作為特征用于連續語音信號中的說話人分割[3 9|.他們的方法不需要知道說話者的數目和其它一些先驗信息，但是要求說話人不能同時講話。Kim等比較了聲譜投影(audiospectrum projection)和MFCC這兩種特征在說話人分割問題中的有效性[40I.他們從不同說話人的聲音片段中分別提取這兩種特征并訓練HMM模型用于說話人分割，實驗結果表明MFCC的效果要好于ASP.

　　3.2語音/音樂數據流分割

　　有不少研究工作都是專門針對語音和音樂類音頻數據流的分割問題的。事實上，在2.2.1節中討論過的關于語音與音樂區分的許多算法都可以用于語音和音樂數據流分割。此外，Ajmera等提出了一種針對廣播信號的語音/音樂數據自動分割算法[41I，它可以作為廣播新聞自動翻譯工作的預處理。他們首先用純語音信號訓練出一個神經網絡，并將其作為信道模型。然后在這個神經網絡的輸出端計算熵和信號的動態特性。最后通過一個兩狀態的各態歷經HMM模型對音頻流信號進行分割。

　　3.3其它多類音頻流分割問題

　　關于這類音頻分割問題的研究報道比較多口。32’42-45]，從研究方法上看這些工作可以大致分為兩類：一類屬于非監督的音頻流分割方法，如文獻[42—43].它們主要通過檢測音頻特征值的突變點或對音頻信號做局部相似性分析而對音頻流進行分割。Pandit等在一個三類音頻流分割問題(單人語音、多人語音和音樂)中比較了幾種基于距離度量和線性判別分析(LDA)的相似度計算準則[43【。實驗結果表明基于Mahalonabis距離度量的相似度計算準則要優于基于其它距離度量方式和LDA的準則;另一類則屬于有監督的音頻流分割方法。依據具體應用要求的不同，利用各種樣本數據學習訓練得到的音頻流分割方法往往能夠得到比較理想的分割性能。在這類方法中，比較有代表性的是文獻[31—32].

　　在文獻[31]中，作者提出了一種方法將音頻流分割為語音、音樂、環境聲音和靜音。他們采用了一種完全基于小尺度分類的分割方法，其基本分類單元為1s的音頻片段。首先，音頻信號被分為語音信號和非語音信號兩類，然后進一步將非語音信號分為音樂、環境聲音和靜音。在他們的方法中僅僅給出了分類器的平均正確率，而沒有對整個分割算法的效果進行評價。Nitanda等也提出了一種音頻流分割方法“引，他們首先采用模糊C均值聚類法檢測可能的分割點，然后設計分類器將分割點之間的音頻片段分為五類(靜音、音樂、語音、具有背景音樂的語音、具有背景噪音的語音)，通過對音頻片段進行分類也可以達到去除一部分虛假分割點的目的。此外，我們經過研究發現大尺度音頻片段的分類正確率要明顯高于小尺度音頻片段的分類正確率，并且這個趨勢與分類器選擇無關。基于這個事實和減少虛假分割點的目的，我們提出了一種新的音頻流分割方法H5c.首先，我們采用基于大尺度音頻分類的分割方法對音頻流進行粗分割，以減少虛假分割點;然后我們定義了分割點評價函數，并利用它在邊界區域中進一步精確定位分割點。實驗結果表明我們的音頻流分割方法可以比較精確地獲取真實分割點的位置，同時大大減少了虛假分割點的出現。

　　3.4利用音頻分析技術的視聽多媒體數據分割

　　在當今社會中，數字技術越來越多地應用于多媒體數據的管理，如電視制作、節目檢索等方面。如，對于類似電視、電影等既有圖像又有聲音的多媒體數據，如何快速有效地從大量數據中找出自己關心的片斷是一個十分有趣的問題。傳統的方法一般從視頻數據人手去尋找線索，對視聽數據進行分割，音頻數據中所包含的信息沒有被利用上。但是在許多情況下，僅僅利用視頻信息進行分割是非常困難的，如果能將音頻信息利用起來無疑可以大大提高分割效率和正確率。這方面的文獻也比較多[34“6‘4 7……如Zhang和Jay Kuo介紹了一種視聽數據分割方法口引，其算法流程見圖2.她先將背景聲音進行分割和分類，然后利用背景聲音的分類結果將圖像序列分割并歸類為一個個“視聽場景”，并為之標上“標簽”以便檢索。在他們的方法中首先從每個1s的音頻片段中提取特征，然后檢測出音頻流中的特征突變點并用這些特征突變點將音頻流分割開來，最后再利用一種基于啟發式規則的方法將這些片段進行分類。與文獻[31]類似，他們只給出了分類器的正確率而沒有對整個分割算法的精度、真實分割點檢測率以及虛假分割率進行探討。Strobel等則利用音頻一視頻聯合的技術進行目標定位與跟蹤等提出的基于音頻分析的視聽數據自動分割與檢索算法流程圖Ⅲ3萬方數據計算機學報。

　　3.5 小結

　　總的來說，基于內容的音頻流分割算法可以分為兩大類：一類算法是基于特征值突變檢測或音頻流局部相似性分析的。原則上說，這類算法可用于分割任意音頻流數據。但是在實際應用中，由于分割對象往往過于復雜并且算法不具有針對性，因而很難取得理想的效果;另一類算法是基于對音頻片段的監督分類的。在第2小節中所介紹的有關音頻信號監督分類的算法一般都可以用于構造相應的音頻流分割算法。由于這類音頻流分割算法具有較強的針對性，因而當應用環境比較穩定時這類算法可以取得較好的效果。但是當應用環境發生較大變化或應用于新的分割問題時，這類算法都需要重新收集樣本數據訓練并更新相應的分類器，甚至需要重新設計分類器。因而這類音頻流分割算法的應用靈活性相對較差。

　　對于一個特定的分割算法，我們認為其分割精度、真實分割點檢測率和虛假分割率都是非常重要的指標。但令人遺憾的是到目前為止，幾乎所有文獻都只給出有關分割精度和正確分割率的報道，而沒有對分割算法的虛假分割性能做出分析。在許多應用中，人們不僅會在意分割點的精度，而且會更加關心虛假分割的比例，面對原本屬于同一內容卻被分割的支離破碎的音頻片段，即使其真實端點的定位精度再高也已經失去了應用價值。例如，當用戶從音頻流中選聽自己感興趣的內容或跳過不感興趣的內容(如廣告等)時，如果頻繁的錯誤出現自己并不感興趣的段落或將自己感興趣的段落錯誤跳過時，會嚴重影響他們對算法的使用熱情。但是在保證一定分割精度的前提下，提高真實分割點檢測率和降低虛假分割率是相互矛盾的。如何在設計算法時根據實際需要合理地平衡這些指標是一個值得認真考慮的問題。

　　4、基于內容的音頻數據自動檢索

　　基于內容的音頻數據自動檢索是一個十分重要的應用問題，事實上前面所介紹的關于音頻數據自動分類和音頻流分割的工作都可用于檢索目的。從檢索對象上看，相關工作可以分為兩大類。

　　4.1針對音樂類數據的自動檢索

　　目前互聯網上已有的音樂曲目的數量非常巨大，面對浩如煙海的音樂數據庫，傳統的檢索方法主要依據曲名、演唱者、出版商等附屬文字信息，但僅依靠這些檢索手段往往不能滿足用戶快速有效地查找音樂作品的需要。如果通過某種技術可以直接查找音樂文件的內容將會大大提高檢索結果的有效性和準確性，圖3是一個典型的基于內容的音樂自動檢索和索引系統工作流程圖�；�于內容的音樂類數據自動檢索目前已經成為一個研究熱點，相關文獻報道比較多，其中一半以上都是最近三四年內的最新研究成果。從檢索方式來看這些工作可以分為以下幾類。

　　4.1.1 基于原曲局部相似性匹配檢索

　　這類音樂檢索工作的特點是允許用戶提供希望查找的音樂的某一片斷，系統經過對這一片斷進行處理，提取特征，在音樂庫中自動尋找到該音樂的完整文件或與之內容相似的作品Ⅲ。5引。Mo等提出了一種針對MIDI格式的音樂文件的檢索方法m3，并給出了一種基于主旋律的音樂文件之間相似性程度的計算方法。他們認為音樂的基本曲調(主旋律)可萬方數據5期張一彬等：基于內容的音頻與音樂分析綜述719以看成是～系列具有一定的音高和音長的音符集合。可以將經過分解和規范化后的兩段音樂的對應樂句作為基本比對單元。通過計算對應樂句中對應音符的相對音高的相似性和兩音符之間關系的相似性來得到對應樂句的相似性值，從而最終得到兩個音樂MIDI文件之間的相似性值。Yanase等提出了一種用于音樂信息檢索的方法[5?，該方法本質上屬于特征向量法。傳統的特征向量法一般是基于整首樂曲中提取特征的，而他們的方法是基于樂句來提取特征的，所以需要先將～首完整的樂曲分割成若干個樂句。MIDI格式并不提供休止符的位置，該文的方法是檢測各個連續音符之間的問隔時間，如果這個問隔時問超過了一個固定的域值，則在此處放置一個休止符。然后再用一些啟發性的規則合并掉一些休止符，最終每兩個相鄰的休止符之間的部分就可以被看作一個完整的樂句。然后將每個樂句的正常音符序列轉換為相對音高序列和相對音長序列。該文采用了卵一gram patterns作為特征來將這些序列表示為一定長度的向量的形式：用戶檢索時先用MIDI樂器演奏待檢索樂曲的一個片斷作為關鍵字，然后用這個關鍵字到數據庫中查詢。因為習慣上人們一般會演奏一個或幾個連續的完整的樂句，而該文提取特征的方法又是基于樂句的，所以理論上會比那些從整首樂曲中提取特征的方法的精度高一些。Pye研究了如何對MP3格式的音樂文件作基于內容的分類和檢索口1I.他從語音處理領域借鑒了兩種方法并將其應用到基于內容的音樂分類、檢索領域。經過實驗比較，發現高斯混合模型法(GMM)效果比較好;基于樹的向量量化法(Tree-based Vec—tor Quantization)速度比較快。此外，他還比較了兩種從MP3文件中提取特征的方法，發現MFCC法對噪聲干擾的穩定性比較好，但是由于要求全部解壓縮，因而速度比較慢;MFCCS法只對MP3文件的進行部分解壓就可以了，因而速度比MFCC法快很多，但其效果不如MFCC法。Tsai等實現了一個歌手檢索系統酯2I.使用者通過提供感興趣的歌手的演唱片段，可以從數據庫中找出屬于該歌手或與該歌手嗓音類似的歌曲。

　　4.1.2歌曲“哼唱”檢索

　　“哼唱”檢索是一種十分理想的基于內容的音樂檢索方式，它是將用戶哼唱的一段旋律作為查詢內容從數據庫中找出與之對應的或旋律相似的原曲，“哼唱”檢索方式通常用于歌曲檢索。從技術實現上看“哼唱”檢索是非常困難的，因為用戶所哼唱的旋律往往與希望被檢索到的歌曲相差很大，另外被檢索的音樂作品往往具有伴奏音樂而通過哼唱所輸入的查詢旋律通常只能是清唱。有關“哼唱”檢索的研究報道比較少，且一般都是基于MIDI格式的[53。鰣].

　　李揚等提出了一種近似旋律匹配方法——線性對齊匹配法[5?，并在此基礎上實現了一個哼唱檢索系統原型，其算法流程見圖4.該算法并非基于近似符號串匹配、統計模型或者特征空問，而是根據相近旋律的音高輪廓在幾何上的相似性，將音高和節奏特征一并考慮所設計而成的新算法。實驗結果表明在含有3864首樂曲的搜索空間中，檢索62段人聲哼唱，線性對齊匹配法取得了90.3%的前3位命中率。

　　Yang等將數據庫中的韓國民謠根據它們的節奏模式人工地分為五大類[5“，每首歌曲由基于曲調的符號串表示。用戶檢索曲目時首先需要哼一段旋律，然后用這段旋律作為檢索關鍵字在數據庫中尋找與之相似的樂曲。值得注意的是，這段旋律被保存為wav格式(8bit、16kHz、混合單聲道)，并直接對其進行處理。首先，他們用自相關方法得到該段旋律的音高序列。然后，一個BP神經網將判斷用戶哼唱的這段旋律屬于何種節奏模式，該神經網的輸入層有10個節點，對應著10個連續的音符，輸出層為5個節點，分別對應五類模式之一，兩個隱層各含20個節點。最后，他們用字符串近似匹配方法在確定的子類中去尋找相似的歌曲序列。

　　旋律提取音符序列圖4 李揚等提出的歌曲哼唱檢索系統工作流程圖¨列4.1.3基于“情感”的音樂檢索有時候我們并不關心一首歌曲是誰唱的，也不在乎它具體的旋律，僅僅希望能夠找到符合當時心情的歌曲就可以了，這就是所謂基于“情感”的音樂檢索。有關基于“情感”的音樂檢索的研究工作非常少。Feng等通過檢測音樂的演奏速度和“清晰度”來萬方數據720 計算機學報分析音樂中所蘊含的情感[55f.他們首先通過multipleagent方法檢測出音樂演奏的速度，再將其轉換為相對速度;在“清晰度”計算的基礎上求出所謂“平均寂靜率”的均值和標準差，最后通過一個BP神經網絡將音樂分為快樂、悲傷、憤怒和恐懼四類。用戶將在一個三維可視化的特征空問中去檢索感興趣的音樂。

　　4.2針對一般音頻對象的自動檢索針

　　對一般音頻對象進行自動檢索的研究工作比較少[56。57……在2.3節中所介紹的研究工作均可用于一般音頻對象檢索。此外，Zhang和Jay Kuo提出了一種分級的多類音頻分類與檢索方法邸引。他們的方法分為三個階段，首先通過對音頻信號的短時特征曲線作統計和形態分析將音頻信號進行粗分類(語音、音樂、環境聲音和靜音);然后對環境聲音進一步提取時頻特征并利用HMM將其細分為諸如掌聲、雨聲、鳥叫聲等等;最后允許用戶提供樣本音頻片段，數據庫中與其相似的音頻片段將被檢索出來。

　　Smith等利用主動搜索和模板匹配的方法，從廣播信號中尋找感興趣的聲音信號[5川。為了提高速度，他們使用了過零率等比較簡單的特征。

　　4.3小結

　　基于內容檢索是一個非常重要同時也非常困難的問題，其核心在于如何進行特征提取并有效地定義相似性度量。應用需求不同，特征提取與相似性度量便會不同。對于音樂數據而言，用戶可以輸入同一段信息，但希望得到的檢索結果卻可能大不相同。比如，對于同一首輸入的流行歌曲用戶可能希望按照歌手去檢索，也可能希望按照配器、旋律、音樂風格甚至情感等其它信息進行檢索。如何有效地為音樂類數據定義相似性度量就顯得更加困難，這其實也是一個知識表達方面的難題。對于一個實用的基于內容的音樂檢索系統，它可能面對的是海量的待檢索數據、大類別數甚至不特定類別數、不同類別的數據量不平衡、用戶需求多樣性等困難。此外計算量也是一個不可忽視的問題�？傊�，我們認為目前的基于內容音頻及音樂檢索算法與系統尚處于實驗研究階段，其性能距離真正實用化還有很大差距。

　　5、基于內容的音樂分析

　　這里所說的音樂分析是指針對某個完整的音樂作品所進行的分析和識別工作，有關這個領域的研究報導在最近幾年增長較快。根據研究目的的不同，我們分為以下幾個小節分別進行介紹。

　　5.1音樂作品結構分析

　　音樂是一種十分復雜的、有層次的聲音信號，一些學者致力于通過計算機來分析音樂本身的這種層次結構[58書2|.他們所定義的這種層次結構不一定和音樂學本身相關，但是可能會更適合于音樂信號的自動處理。由于MIDI格式本身已經包含了大量音樂信息，所以基于MIDI格式的音樂分析工作相對較多。Hsu等定義了音樂信號中的“非平凡重復模式”[58I.所謂重復模式是指在一首音樂作品中重復出現的那些音符序列，非平凡重復模式則要求重復出現的音符序列對于這首音樂來說具有特殊性和代表性，比如：這首音樂的主旋律或主旋律的一部分。

　　通常非平凡重復模式應該是具有一定長度的音符序列。他們同時提出了兩種基于MIDI格式的“非平凡重復模式”提取方法——相關矩陣法和PR樹法。Lo等則進一步提出了一種關于“非平凡重復模式”的快速提取算法口引。Pikrakis等通過小波分析和樹狀分類的方法對希臘傳統音樂中預先定義的一些孤立音樂模式進行自動識別以輔助音樂學研究[60I.此外，Shmulevich等提出了三種方法用于度量音樂旋律的復雜性[61|.Chen等在對音樂結構進行分析的基礎上提出了一種針對音樂信號的自動分割方法[6引。

　　5.2音樂自動摘要

　　所謂音樂自動摘要是指對一段音樂信號生成一個高度簡約又能反映出該音樂特點的摘要信息，如何對音樂數據進行摘要描述是一個重要的問題。由于音樂所具有的高度復雜性、結構化、非語義性以及人們對音樂理解的主觀性，為音樂數據自動生成摘要已經成為一項具有特殊挑戰性的工作。另一方面，隨著娛樂業的快速發展大量流行歌曲被不斷創作出來。據統計，僅在西方國家每個月就新產出大約4000張音樂CD，其中流行歌曲占據了很大的比例。

　　對于普通消費者來說，如何在浩如煙海的流行歌曲當中找到真正想聽的歌曲?對于商家來說，如何快速有效地管理他們的海量音樂數據?這些都已成為緊迫的問題。從總體上看有關音樂自動摘要的文獻報導不算很多，其中大部分都是有關流行音樂的。有跡象表明它正在成為一個新的研究熱點¨3‘67I.在文獻[63—64]中提出了一些基于一般音頻格式的音樂自動摘要算法。在這些文獻當中，音樂摘要通常被定萬方數據5期張一彬等：基于內容的音頻與音樂分析綜述721義為一些定長(如10s、20s或30s)的音頻片段。這些音頻片段主要是通過相似性分析或重復度計算的方法被分割出來的。所有這些方法的計算量都比較大，并且其效果只在較小的測試集上通過一些主觀的評價方法(如只對自動摘要結果直接評分)得到驗證。

　　在文獻[65]中，Xu等首先利用SVM分類器將音樂信號分為純音樂和聲樂兩大類，然后分別針對這兩類音樂信號提取特征并進行聚類分析，在聚類分析的基礎上再結合相關領域知識生成最終的音樂摘要。他們的研究結果還表明在音樂分類問題中，SVM分類器要優于傳統的基于歐式距離的分類器和隱馬爾可夫方法(HMM)。此外，Shao和Liu等人分別研究了如何對MP3格式的音樂直接生成自動摘要‘66‘6川。在文獻[67]中，作者首先采用多項濾波器從MP3文件中直接提取特征，并在特征提取的基礎上對MP3音樂信號進行分割;然后對分割結果進行聚類分析，聚在一類的音樂片段可以被當作一個重復模式;最后通過RP—Tree算法從中找出非平凡重復模式并將其作為整首音樂的自動摘要。

　　5.3音樂建模

　　對音樂進行建模分析是十分困難的，也是十分必要的。關于音樂建模的研究很少，但近兩年來也可以看到一些報道。Wang等提出了一種音樂數據模型和相應的代數操作規則，并將其應用于數字音樂圖書館中的數據檢索和查詢[68|.Cour_Harbo研究了如何將最小燃料神經網絡(minimum fuel neuralnetwork)用于音樂信號的稀疏表示[6 9|，該方法可以歸結為一組二階微分方程，并且他認為可以通過先驗知識來確定用于優化該方法的最重要的參數——離散化步長。Endelt等對通過小波變換實現音樂信號的稀疏表示時所遇到的若于問題進行了研究[7?，他們還比較了用于音樂信號稀疏表示的幾種方法[71|.

　　5.4樂譜自動識別與分析

　　樂譜自動識別是指將音樂演奏的聲學信號所對應的樂譜信息自動翻譯出來，它是音樂分析領域中的一項十分重要同時也是十分困難的工作。我們知道一首音樂的樂譜記錄著該音樂的全部信息，音樂家通過閱讀樂譜就可以了解音樂的全貌，并不需要將它實際演奏出來�，F有的許多音樂分析方面的工作都是基于MIDI格式的，因為MIDI格式本身包含著大量的樂譜信息，所以基于MIDI格式的音樂分析工作可以做的比較深入。但是它們一個共同的缺點就是其對MIDI音樂文件格式的強烈依賴性，這制約了這些方法的應用價值。而大量的音樂數據大多采用一般音頻格式存儲，如果能將其所對應的樂譜自動識別出來，那么基于MIDI格式的音樂分析算法的應用價值就可以得到極大的拓展。當然樂譜自動識別的應用價值還遠不止于此，在信號處理方面其本身所具有的研究價值也非常巨大。樂譜自動識別是計算機音樂分析與理解中的一個傳統研究領域，相關文獻報道比較多。從研究內容上看，樂譜自動識別可以分為以下幾個方面：

　　5.4.1音高估計與音符識別

　　音高估計或音符識別是樂譜自動識別工作的基礎。由于音高作為一個重要的音頻特征，在語音識別以及一般音頻分類、分析等工作中都有廣泛應用，所以有關音高估計的文獻比較多[72。75|，也存在一些經典的方法，如自相關法等。目前對于單樂器在實驗室環境下所演奏的單個音符的音高估計是比較準確的，但是對實際的音樂作品或復雜條件下做音高估計則相當困難。Chang等提出了一種基于循環神經網絡的音高估計方法[721，該方法減小了音高估計所需要的時間窗的長度因而可用于音高變化較快的信號，但是其計算量比較大。Kashino通過一種適應性模板匹配的方法可以對以立體聲或單聲道的形式存儲的音樂進行自動音符識別[7引，他們的方法同時還可以識別出演奏該音符的樂器。Black等提出了一種基于泛化譜(generalized spectrum)的音高檢測和估計算法[74|，他們將基于GS的方法與經典的自相關法和基于倒譜的方法進行了比較，實驗結果表明他們提出的方法在音高檢測問題上，特別是在信噪比較低的情況下要優于傳統的方法，但是在估計精度上比傳統方法略微遜色。Zhu等則提出了一種用于音調估計的新方法[7 5|，它既可以用于流行音樂也可以用于古典音樂。

　　5.4.2節拍或節奏識別

　　關于節拍或節奏識別方面的文章近年來有所增加[76-79].Goto等提出了一種針對不含有打擊樂器(如鼓)的音樂節拍跟蹤算法[7 6|.該方法不僅能夠對間隔不超過四分之一音符的節拍信息進行檢測，還能夠在較大的時間尺度內對音樂節拍的結構進行分析，從而找到“和旋”等高級音樂結構的改變點。

　　Smith則利用一種基于線性相位Gabor變換的小波分析技術對音樂的節奏信息進行分析[77|，他將可能的節奏信號分解為o.1Hz～100Hz的若干分量，再通過相位一致性約束對其進行分析。他的方法對單萬方數據計算機學報聲道的由打擊類樂器所表達的音樂節奏比較有效。

　　Gao等提出了一種基于最大后驗估計的自適應學習方法用于音樂信號中的速度和節拍分析【78l，實驗結果表明該方法較為穩定并且對分析窗寬的大小不十分敏感。Shiratori等則通過檢測伴奏音樂的節奏來分析舞蹈動作的結構[7?.

　　5.4.3旋律或和聲提取

　　音樂作品中的旋律與和聲是一種非常重要的高級信息，但是如何從基于一般音頻信號的音樂記錄中將其提取出來是十分困難的，有關的文獻報道并不多口”82|.Su等提出了一種基于小波變換和自組織神經網絡的多音色和聲自動識別方法[80I，他們的方法可以直接對和聲音頻片段進行分類而不需要知道具體的樂器音色和音符序列。Tang等介紹了幾種從MlDI文件中自動尋找主旋律音軌的方法[8川，它們分別為AvgVel，PMRatio，SilenceRatio，Range，TrackName，經過實驗比較發現TrackName法效果最好。Chang等也提出了一種和聲識別方法[82|.該方法可分為兩個階段，在局部識別階段給出可能的和聲候選集，然后通過一些全局規則從中找出最合適的和聲作為最后的結果。然而，如何從一般的WAVE文件中尋找或表示主旋律則是一個難題。

　　5.4.4復調音樂樂譜識別

　　多樂器(包括演唱者)混響下的樂譜識別與分析是非常困難的，然而在實際的音樂作品中往往存在著大量的復調成分，這也是為什么樂譜自動識別技術始終無法真正實用化的重要原因之一。有關復調音樂樂譜識別的文獻不多，但是最近兩年該領域的研究成果有所增加[83.86].Cem百l等提出了一種基于動態貝葉斯網絡的復調音樂樂譜分析方法[83|，他們的方法強調了對聲音產生過程的建模，可以對復調音樂的節拍和音高軌跡進行跟蹤，Keren等利用多分辨率傅立葉變換系數對鋼琴所演奏的復調音樂進行樂譜識別[84|.實驗結果表明在對演奏加以若干限制的情況下，可以得到較好的音高檢測結果。Miwa等研究了如何使用立體聲音樂信號進行復調音樂樂譜識別[8引，他們通過比較兩個聲道信號值的比率將不同的音源分離開從而對“三重唱”進行樂譜識別。

　　Marolt提出了一種基于聽覺模型與自適應振蕩器網絡相結合的泛音跟蹤技術，它可用于復調鋼琴曲的音符自動識別[86|.

　　5.5 自動伴奏

　　自動伴奏是一個十分有趣的問題。一般情況下研究者們會給計算機提供機器可讀的樂譜，這個樂譜既包括了樂隊將要演奏的部分也包括了計算機將要演奏的部分。研究者們需要計算機解決的任務是一邊“聆聽”演奏者的演出，一邊同步地為之伴奏，圖5是一個典型的計算機自動伴奏系統的工作流程圖。這個任務之所以困難是因為計算機的伴奏必需要與演員的演奏保持一致，而演奏者可能會根據演出的具體情況(比如聽眾的反應)而做出一些改變，此外演奏者本身也可能會犯錯誤，這就使得現實的演出經常會和曲譜之間產生差異。另一方面，要想及時、準確地知道演奏者的演奏進度是非常困難的，這需要一個十分可靠的、實時的樂譜自動識別與分析系統。有關自動伴奏研究的歷史相對較長，Dannen—berg對1988年以前這個領域的研究狀況做了很好的綜述[3].20世紀90年代以后，有關自動伴奏研究的文獻報道不算很多[87喝引。Raphael提出了一種基于HMM模型的單聲道音樂信號中的音符與休止符檢測方法[87。，通過檢測實際演奏信號中的休止符并將其與已知的相應樂譜中的休止符位置進行匹配，就可以達到與實際演奏保持一致的目的。他還提出了一個用于自動伴奏的統計專家系統[8引，該方法可以通過利用先驗知識、實時地從演奏者的演出信號中提取出諸如演奏速度等信息、學習演奏者的排練信號等手段改善伴奏效果。Aono等人開發了一套自動伴奏系統口9|，它可以利用普通的聲學樂器(如鋼琴、吉他等)為人們提供“即興”伴奏(即不需要伴奏樂譜)。該系統還可以實時識別一些簡單的和旋。在實驗中，對一些4音符和旋的正確識別率可以達到95%。

　　5.6音樂情感分析

　　音樂是一種復雜的聲音現象，許多無法用語言準確描述的思想感情(如喜、怒、哀、樂等)可以通過音樂表達出來，優秀的音樂作品往往會使人產生情感上的共鳴，但是如何描述音樂對人的情感的影響是非常困難的。在4.1.3小節中，我們介紹了Feng等人的工作口引，他們將音樂對人的情緒的影響分為“快樂、悲傷、憤怒和恐懼”四類并提出了相應的方法萬方數據5期張一彬等：基于內容的音頻與音樂分析綜述對音樂進行分類和檢索。Milicevic則設計了一種基于情感的模糊自適應系統凹?，它可以分析音樂并模仿聽眾可能的情感反應。研究者希望這個系統可以協助音樂家進行創作，以獲得滿意的實際效果。Li等將音樂中的情感檢測看作是一個多類分類問題，并迸一步將其分解為一系列兩類分類問題，最后通過訓練一系列的SVM分類器來加以解決[91j.Liu等設計了一種被稱為“情感環”的音樂情感模型，并在此基礎上結合模糊數學的處理方法對一種鈴聲音樂進行了情感分析[92|.早在1988年，Katayose等人就提出了一個有關音樂情感分析的研究框架[93I.在他們的研究計劃中，音樂情感分析可以分為三個步驟：第一步為樂譜自動識別，在這一步中音樂演奏的音頻信號被翻譯為音符序列;第二步為音樂粗分析，在得到音符序列的基礎上，結合樂理知識從音符序列中提取出諸如節奏、和聲、旋律等音樂高級結構;最后，在此基礎上通過設計一系列啟發式規則來實現音樂信號中的情感提取。實際上由于種種技術困難無法突破，這個計劃中的任何一步到目前為止都無法很好地實現。

　　5.7 小結

　　與語音信號處理與識別相比，計算機音樂分析與識別是一個新興盼研究領域，其中包含了大量的問題有待于學者們去進一步探索和研究。面對音樂這樣一種復雜的、非自然的聲音現象，我們該如何對其進行分析和研究呢?這本身就是一個有趣的課題。從大量的研究成果來看，基本可以分為兩種思路：一種是自底向上的研究方法，即分析法，例如樂譜自動識別等。這類方法首先著眼于識別比較微觀的音樂元素，并希望在此基礎上進一步對宏觀的音樂現象進行分析。但是由于音樂信號的高度復雜性，即便是對一些微觀的音樂元素在復雜情況下也很難達到較為理想的識別率，如復調下的音符識別等;另一方面由于實際應用的需要，我們又希望能夠對一些涉及到音樂理解層面的問題進行分析和研究，如音樂情感分析等。這時采用基于數據驅動的機器學習方法就成為了一種比較自然的選擇，但是單純采用這類方法很難觸及到問題的實質。如何提取本質特征便成為了解決問題的關鍵。由于計算機音樂分析與識別本身具有多學科交叉性，模式識別、信號處理等只是我們的研究工具和手段，所以如何更好地利用音樂理論自身提供的知識將會成為該研究領域的一個發展方向。

　　6、其它相關工作

　　6.1計算機音樂合成

　　所謂計算機音樂合成是指利用計算機自動生成音樂演奏或演唱中的一些特殊的效果、音色甚至具有某種風格的音樂作品。它可以分為以下兩部分：

　　6.1.1 音效合成

　　音效合成是指利用計算機自動生成音樂演奏或演唱中的一些特殊的效果和音色，例如：Meron等研究了如何通過計算機手段自動生成美聲唱法中的顫音效果[9 4I.他們把所謂的顫音效果建模為對某個演唱音高的調制，但是簡單的串聯調制合成法不能產生出自然的顫音效果。在他們的方法中，通過確保調制前的原始音高與調制后的顫音的相位一致，可以最小化所需的調制量從而得到更為自然的顫音效果。Bradley等則研究了如何自動合成高質量的吉他音色[9 5|，為此他們提出了一種改進了的吉他琴弦震動模型和吉他琴體聲學模型。

　　6.1.2 自動作曲

　　我們經常可以發現某個作曲家的作品會具有某種特殊的風格。那么有沒有可能通過分析這個作曲家的大量作品，從而利用計算機來自動創作出類似的音樂作品呢?或者通過分析具有不同風格的大量音樂作品，從而利用計算機來生成全新風格的音樂作品呢?這顯然又是一個十分有趣和困難的問題，這樣的研究工作被稱為計算機自動作曲或自動創作H’96。98|.Cope于1991年介紹了他的EMI(Experi—ments in MusicalIntelligence)研究計劃[96I，構想中的一個EMI子計劃是一個專家系統，它可以利用模式識別技術來創造“重組”音樂。首先它將音樂作品分解為由音符組成的若于模式，然后對其進行分析，最后將這些模式重新組合起來從而創作出新的“音樂”。Tseng設計了一個基于內容的音樂自動檢索系統——“Crystal”[97……它的一個特點是可以隨機地生成一些旋律片段，用戶可以試聽這些旋律片段并選擇其一作為查詢內容，從而實現“o輸入”情況下的基于內容音樂檢索。Srinivasan則利用線性預測技術對音樂的動態特性進行分析，在此基礎上提出了一種“音樂即興創作”技術，并將其用于為視頻自動生成背景音樂[9引。20世紀90年代以后，隨著遺傳算法和進化計算技術的迅速發展，許多學者將其應用到計算機自動作曲領域中來。Burton等對該技術在計算機音樂分析領域中的應用做了全面的綜述[4].

　　6.2 其它工作

　　還有一些其他的有關計算機音樂分析與理解方面的工作，列舉如下：Rothman等研究了如何通過一個人的語音特性分辨此人是不是職業歌手[9 9……Fragoulis等研究了高質量的CD音樂與其它相應的低質量的、嚴重變形的音樂(如廣播音樂)之間的匹配與識別問題[1”：。Politis等則通過心理學的方法將不同的音樂現象與不同的色彩聯系起來并繪制出“音樂圖像，[1。川，他們試圖通過這種方法來揭示～維音樂信號中的“隱藏維數”。1wahama等提出了一種基于MIDI音樂的網上自動推薦系統[102].文獻[103]則對音樂水印技術及其應用進行了研究。

　　7、總結與展望

　　本文對近年來基于內容的音頻與音樂分析領域所取得的研究成果進行了全面的綜述。從研究對象上看，由于音樂在人類社會中所占有的特殊地位，它必將成為音頻處理領域中繼語音之后的又一個研究熱點。由于音樂是一種十分復雜的聲音對象，這種復雜性無論是在形式上還是內涵上都得以充分的體現。和語音信號相比音樂還具有非語義符號性和很強的模糊性，這使得它比語音信號更具挑戰性。從目前的研究狀況和應用需求來看，在可預見的將來，基于內容的音樂自動分類和檢索以及樂譜自動識別等仍將是計算機音樂分析與識別領域的主要研究方向，有關音樂理解方面的研究(比如音樂自動摘要、音樂情感分析等)也會成為重要的研究熱點。

　　此外，音頻處理技術與視頻處理技術相結合的視聽多媒體數據分析是另一個很有前途的研究方向。傳統的方法一般從視頻信息人手去尋找線索，對視聽數據進行分割，音頻數據中所包含的信息沒有被利用上。但是在許多情況下，單純使用視頻分割方法是非常困難的，如果能將音頻信息利用起來無疑可以大大提高分割效率。由于音樂在多媒體中的音頻部分占有很大的比重，如果可以將音樂分析和識別的技術與視頻分析技術相結合的話，那將為多媒體數據的分割、檢索帶來極大的便利。目前這個研究方向已經成為了一個研究熱點，相關的文獻報道也比較多。但令人遺憾的是，大多數研究成果往往只是將音頻分析技術簡單地用于視頻分析，而沒有做到和視頻分析技術有機地結合起來，實現算法上的優勢互補。如何將音頻分析技術與視頻分析技術更加完美地結合起來已經成為這個研究方向所面臨的主要難題之一。

【基于內容的音頻與音樂分析綜述】相關文章：

基于高效環保的治蟲技術綜述03-18

基于IIS總線的嵌入式音頻系統設計03-18

基于內容的圖像檢索研究11-20

基于ＩＦＥ矩陣的ＣＰＭ分析03-21

基于VHDL的DDS的設計與分析03-07

基于資源與能力的競爭力理論研究綜述03-23

基于聚類分析的數據挖掘方法03-08

基于企業系統觀的本錢分析02-27

基于桐梓河水文特性分析03-23