語音識別系統(tǒng)包括哪五個部分?
在人際交往中,言語是最自然并且最直接的方式之一。隨著技術(shù)的進(jìn)步,越來越多的人們也期望計算機(jī)能夠具備與人進(jìn)行言語溝通的能力,因此,語音識別這一技術(shù)也越來越受到關(guān)注。尤其,隨著深度學(xué)習(xí)技術(shù)應(yīng)用在語音識別技術(shù)中,使得語音識別的性能得到了顯著提升,也使得語音識別技術(shù)的普及成為了現(xiàn)實。
語音識別技術(shù)
自動語音識別技術(shù),簡單來說其實就是利用計算機(jī)將語音信號自動轉(zhuǎn)換為文本的一項技術(shù)。這項技術(shù)同時也是機(jī)器理解人類言語的第一個也是很重要的一個過程。
語音識別是一門交叉學(xué)科,所涉及的領(lǐng)域有信號處理、模式識別、概率論和信息論、發(fā)聲機(jī)理和聽覺機(jī)理、人工智能等等,甚至還涉及到人的體態(tài)語言(如人民在說話時的表情手勢等行為動作可幫助對方理解)。其應(yīng)用領(lǐng)域也非常廣,例如相對于鍵盤輸入方法的語音輸入系統(tǒng)、可用于工業(yè)控制的語音控制系統(tǒng)及服務(wù)領(lǐng)域的智能對話查詢系統(tǒng),在信息高度化的今天,語音識別技術(shù)及其應(yīng)用已成為信息社會不可或缺的重要組成部分。
語音識別技術(shù)的發(fā)展歷史
語音識別技術(shù)的研究開始二十世紀(jì)50年代。1952年,AT&Tbell實驗室的Davis等人成功研制出了世界上第一個能識別十個英文數(shù)字發(fā)音的實驗系統(tǒng):Audry系統(tǒng)。
60年代計算機(jī)的應(yīng)用推動了語音識別技術(shù)的發(fā)展,提出兩大重要研究成果:動態(tài)規(guī)劃(Dynamic Planning, DP)和線性預(yù)測分析(Linear Predict, LP),其中后者較好的解決了語音信號產(chǎn)生模型的問題,對語音識別技術(shù)的發(fā)展產(chǎn)生了深遠(yuǎn)影響。
70年代,語音識別領(lǐng)域取得突破性進(jìn)展。線性預(yù)測編碼技術(shù)(Linear Predict Coding, LPC)被Itakura成功應(yīng)用于語音識別;Sakoe和Chiba將動態(tài)規(guī)劃的思想應(yīng)用到語音識別并提出動態(tài)時間規(guī)整算法,有效的解決了語音信號的特征提取和不等長語音匹配問題;同時提出了矢量量化(VQ)和隱馬爾可夫模型(HMM)理論。在同一時期,統(tǒng)計方法開始被用來解決語音識別的關(guān)鍵問題,這為接下來的非特定人大詞匯量連續(xù)語音識別技術(shù)走向成熟奠定了重要的基礎(chǔ)。
80年代,連續(xù)語音識別成為語音識別的研究重點之一。Meyers和Rabiner研究出多級動態(tài)規(guī)劃語音識別算法(Level Building,LB)這一連續(xù)語音識別算法。80年代另一個重要的發(fā)展是概率統(tǒng)計方法成為語音識別研究方法的主流,其顯著特征是HMM模型在語音識別中的成功應(yīng)用。1988年,美國卡內(nèi)基-梅隆大學(xué)(CMU)用VQ/HMM方法實現(xiàn)了997詞的非特定人連續(xù)語音識別系統(tǒng)SPHINX。在這一時期,人工神經(jīng)網(wǎng)絡(luò)在語音識別中也得到成功應(yīng)用。
進(jìn)入90年代后,隨著多媒體時代的來臨,迫切要求語音識別系統(tǒng)從實驗走向?qū)嵱?,許多發(fā)達(dá)國家如美國、日本、韓國以及IBM、Apple、AT&T、NTT等著名公司都為語音識別系統(tǒng)實用化的開發(fā)研究投以巨資。最具代表性的是IBM的ViaVoice和Dragon公司的Dragon Dectate系統(tǒng)。這些系統(tǒng)具有說話人自適應(yīng)能力,新用戶不需要對全部詞匯進(jìn)行訓(xùn)練便可在使用中不斷提高識別率。
當(dāng)前,美國在非特定人大詞匯表連續(xù)語音隱馬爾可夫模型識別方面起主導(dǎo)作用,而日本則在大詞匯表連續(xù)語音神經(jīng)網(wǎng)絡(luò)識別、模擬人工智能進(jìn)行語音后處理方面處于主導(dǎo)地位。
我國在七十年代末就開始了語音技術(shù)的研究,但在很長一段時間內(nèi),都處于緩慢發(fā)展的階段。直到八十年代后期,國內(nèi)許多單位紛紛投入到這項研究工作中去,其中有中科院聲學(xué)所,自動化所,清華大學(xué),四川大學(xué)和西北工業(yè)大學(xué)等科研機(jī)構(gòu)和高等院校,大多數(shù)研究者致力于語音識別的基礎(chǔ)理論研究工作、模型及算法的研究和改進(jìn)。但由于起步晚、基礎(chǔ)薄弱,計算機(jī)水平不發(fā)達(dá),導(dǎo)致在整個八十年代,我國在語音識別研究方面并沒有形成自己的特色,更沒有取得顯著的成果和開發(fā)出大型性能優(yōu)良的實驗系統(tǒng)。
但進(jìn)入九十年代后,我國語音識別研究的步伐就逐漸緊追國際先進(jìn)水平了,在“八五”、“九五”國家科技攻關(guān)計劃、國家自然科學(xué)基金、國家863計劃的支持下,我國在中文語音技術(shù)的基礎(chǔ)研究方面也取得了一系列成果。
在語音合成技術(shù)方面,中國科大訊飛公司已具有國際上最領(lǐng)先的核心技術(shù);中科院聲學(xué)所也在長期積累的基礎(chǔ)上,研究開發(fā)出頗具特色的產(chǎn)品:在語音識別技術(shù)方面,中科院自動化所具有相當(dāng)?shù)募夹g(shù)優(yōu)勢:社科院語言所在漢語言學(xué)及實驗語言科學(xué)方面同樣具有深厚的積累。但是,這些成果并沒有得到很好的應(yīng)用,沒有轉(zhuǎn)化成產(chǎn)業(yè);相反,中文語音技術(shù)在技術(shù)、人才、市場等方面正面臨著來自國際競爭環(huán)境中越來越嚴(yán)峻的挑戰(zhàn)和壓力。
語音識別系統(tǒng)的結(jié)構(gòu)
主要包括語音信號的采樣和預(yù)處理部分、特征參數(shù)提取部分、語音識別核心部分以及語音識別后處理部分,圖中給出了語音識別系統(tǒng)的基本結(jié)構(gòu)。
語音識別的過程是一個模式識別匹配的過程。在這個過程中,首先要根據(jù)人的語音特點建立語音模型,對輸入的語音信號進(jìn)行分析,并抽取所需的特征,在此基礎(chǔ)上建立語音識別所需的模式。而在識別過程中要根據(jù)語音識別的整體模型,將輸入的語音信號的特征與已經(jīng)存在的語音模式進(jìn)行比較,根據(jù)一定的搜索和匹配策略,找出一系列最優(yōu)的與輸入的語音相匹配的模式。然后,根據(jù)此模式號的定義,通過查表就可以給出計算機(jī)的識別結(jié)果。
語音識別系統(tǒng)的分類
根據(jù)識別的對象不同,語音識別任務(wù)大體可分為三類,即孤立詞識別(isolated word recognition),關(guān)鍵詞識別(或稱關(guān)鍵詞檢出,keyword spotting)和連續(xù)語音識別。
孤立詞識別的任務(wù)是識別事先已知的孤立的詞,如“開機(jī)”、“關(guān)機(jī)”等;連續(xù)語音識別的任務(wù)則是識別任意的連續(xù)語音,如一個句子或一段話;連續(xù)語音流中的關(guān)鍵詞檢測針對的是連續(xù)語音,但它并不識別全部文字,而只是檢測已知的若干關(guān)鍵詞在何處出現(xiàn),如在一段話中檢測“計算機(jī)”、“世界”這兩個詞。
根據(jù)針對的發(fā)音人,可以把語音識別技術(shù)分為特定人語音識別和非特定人語音識別,前者只能識別一個或幾個人的語音,而后者則可以被任何人使用。顯然,非特定人語音識別系統(tǒng)更符合實際需要,但它要比針對特定人的識別困難得多。
另外,根據(jù)語音設(shè)備和通道,可以分為桌面(PC)語音識別、電話語音識別和嵌入式設(shè)備(手機(jī)、PDA等)語音識別。不同的采集通道會使人的發(fā)音的聲學(xué)特性發(fā)生變形,因此需要構(gòu)造各自的識別系統(tǒng)。
語音識別技術(shù)類型
目前具有代表性的語音識別技術(shù)主要有動態(tài)時間規(guī)整技術(shù)(DTW)、隱馬爾可夫模型(HMM)、矢量量化(VQ)、人工神經(jīng)網(wǎng)絡(luò)(ANN)、支持向量機(jī)(SVM)等技術(shù)方法。
動態(tài)時間規(guī)整算法(DynamicTime Warping,DTW)
是在非特定人語音識別中一種簡單有效的方法,該算法基于動態(tài)規(guī)劃的思想,解決了發(fā)音長短不一的模板匹配問題,是語音識別技術(shù)中出現(xiàn)較早、較常用的一種算法。在應(yīng)用DTW算法進(jìn)行語音識別時,就是將已經(jīng)預(yù)處理和分幀過的語音測試信號和參考語音模板進(jìn)行比較以獲取他們之間的相似度,按照某種距離測度得出兩模板間的相似程度并選擇最佳路徑。
語音識別系統(tǒng)是一種通過捕捉語音信號后對其進(jìn)行分析和處理的技術(shù)。它主要依賴于模式匹配、統(tǒng)計建模和人工神經(jīng)網(wǎng)絡(luò)等方法來進(jìn)行語音識別操作。語音識別系統(tǒng)本質(zhì)上是一種模式識別系統(tǒng),包括特征提取、模式匹配、參考模式庫等三個基本單元。它的基本結(jié)構(gòu)是先將輸入的語音進(jìn)行預(yù)處理,然后提取語音的特征,在此基礎(chǔ)上建立語音識別所需的模板。然后根據(jù)此模板的定義,通過查表就可以給出計算機(jī)的識別結(jié)果。顯然,這種最優(yōu)的結(jié)果與特征的選擇、語音模型的好壞、模板是否準(zhǔn)確都有直接的關(guān)系。
語音識別技術(shù)的應(yīng)用可以分為兩個發(fā)展方向:大詞匯量連續(xù)語音識別系統(tǒng),主要應(yīng)用于計算機(jī)的聽寫機(jī),以及與電話網(wǎng)或者互聯(lián)網(wǎng)相結(jié)合的語音信息查詢服務(wù)系統(tǒng);另外一個重要的發(fā)展方向是小型化、便攜式語音產(chǎn)品的應(yīng)用,如無線手機(jī)上的撥號、汽車設(shè)備的語音控制、智能玩具、家電遙控等方面。
以下是語音識別系統(tǒng)的五個部分:
1. 前端聲學(xué)處理:這一部分主要負(fù)責(zé)捕獲原始語音信號,并進(jìn)行初步處理,如預(yù)加重、分幀、加窗、端點檢測等。
2. 特征提?。涸趯⒄Z音信號數(shù)字化之后,這一部分負(fù)責(zé)提取語音的特征,例如梅爾頻率倒譜系數(shù)(MFCC)或線性預(yù)測編碼(LPC)等。
3. 聲學(xué)模型:聲學(xué)模型負(fù)責(zé)將提取的特征向量與語音單元(如音素、詞等)進(jìn)行匹配。它通?;诮y(tǒng)計學(xué)習(xí)方法(如隱馬爾可夫模型HMM或深度神經(jīng)網(wǎng)絡(luò)DNN)進(jìn)行訓(xùn)練。
4. 語言模型:語言模型負(fù)責(zé)根據(jù)語法規(guī)則和語言知識進(jìn)行翻譯操作。它通?;诮y(tǒng)計語言模型(如n-gram或循環(huán)神經(jīng)網(wǎng)絡(luò)RNN)進(jìn)行訓(xùn)練,以預(yù)測可能的詞序列。
5. 解碼器:解碼器負(fù)責(zé)對聲學(xué)模型和語言模型的輸出進(jìn)行解碼,生成最終的識別結(jié)果。它通常采用動態(tài)規(guī)劃算法(如Viterbi算法)進(jìn)行最佳路徑搜索。
這些部分協(xié)同工作,共同完成語音識別任務(wù)。在實際應(yīng)用中,根據(jù)不同的需求和場景,可以選擇不同的技術(shù)方法和模型結(jié)構(gòu),以提高語音識別的準(zhǔn)確率和性能。
語音識別系統(tǒng)的原理主要是通過將輸入的語音信號轉(zhuǎn)化為數(shù)字信號,然后利用各種算法和模型進(jìn)行分析和識別,最終將其轉(zhuǎn)化為相應(yīng)的文字或命令。
整個語音識別過程可以分為以下幾個步驟:
采集語音信號:使用麥克風(fēng)或其他音頻設(shè)備采集語音信號,并將其轉(zhuǎn)化為模擬電信號。
預(yù)處理:對采集到的模擬電信號進(jìn)行預(yù)處理,例如去除噪音、降低回聲等,以提高后續(xù)識別的準(zhǔn)確性。
采樣和量化:將預(yù)處理后的模擬電信號進(jìn)行采樣和量化處理,將其轉(zhuǎn)化為離散的數(shù)字信號。采樣是指以固定的時間間隔對模擬信號進(jìn)行采集,而量化是將每個采樣點的信號強(qiáng)度量化為一個離散值。
特征提取:從數(shù)字信號中提取出一系列特征,用于描述語音的頻譜特性。常用的特征包括梅爾頻率倒譜系數(shù)(MFCC)、線性預(yù)測編碼(LPC)等。
聲學(xué)模型:將提取到的特征輸入到聲學(xué)模型中,聲學(xué)模型是一種統(tǒng)計模型,通?;陔[馬爾可夫模型(Hidden Markov Model, HMM)或深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network, DNN),用于對輸入的特征序列進(jìn)行識別,并輸出對應(yīng)的文字或命令。
解碼和后處理:根據(jù)聲學(xué)模型輸出的概率分布,采用解碼算法(如維特比算法)確定最有可能的識別結(jié)果。在得到識別結(jié)果后,還可以進(jìn)行語言模型的匹配和后處理操作,進(jìn)一步提高識別的準(zhǔn)確性。