首頁
> 行業(yè)知識(shí) > 內(nèi)容
發(fā)布者：管理員 發(fā)布時(shí)間：2019-7-27 16:08:40 閱讀：522次
詳解語音識(shí)別的技術(shù)原理：語音如何變?yōu)槲淖郑?/h1>
首先，我們知道聲音實(shí)際上是一種波。常見的mp3等格式都是壓縮格式，******轉(zhuǎn)成非壓縮的純波形文件來處理，比如Windows PCM文件，也就是俗稱的wav文件。wav文件里存儲(chǔ)的除了一個(gè)文件頭以外，就是聲音波形的一個(gè)個(gè)點(diǎn)了。下圖是一個(gè)波形的示例。
在開始語音識(shí)別之前，有時(shí)需要把首尾端的靜音切除，降低對(duì)后續(xù)步驟造成的干擾。這個(gè)靜音切除的操作一般稱為VAD，需要用到信號(hào)處理的一些技術(shù)。
要對(duì)聲音進(jìn)行分析，需要對(duì)聲音分幀，也就是把聲音切開成一小段一小段，每小段稱為一幀。分幀操作一般不是簡(jiǎn)單的切開，而是使用移動(dòng)窗函數(shù)來實(shí)現(xiàn)，這里不詳述。幀與幀之間一般是有交疊的，就像下圖這樣：
分幀后，語音就變成了很多小段。但波形在時(shí)域上幾乎沒有描述能力，因此******將波形作變換。常見的一種變換方法是提取MFCC特征，根據(jù)人耳的生理特性，把每一幀波形變成一個(gè)多維向量，可以簡(jiǎn)單地理解為這個(gè)向量包含了這幀語音的內(nèi)容信息。這個(gè)過程叫做聲學(xué)特征提取。實(shí)際應(yīng)用中，這一步有很多細(xì)節(jié)，聲學(xué)特征也不止有MFCC這一種，具體這里不講。
至此，聲音就成了一個(gè)12行（假設(shè)聲學(xué)特征是12維）、N列的一個(gè)矩陣，稱之為觀察序列，這里N為總幀數(shù)。觀察序列如下圖所示，圖中，每一幀都用一個(gè)12維的向量表示，色塊的顏色深淺表示向量值的大小。
接下來就要介紹怎樣把這個(gè)矩陣變成文本了。首先要介紹兩個(gè)概念：
音素：?jiǎn)卧~的發(fā)音由音素構(gòu)成。對(duì)英語，一種常用的音素集是卡內(nèi)基梅隆大學(xué)的一套由39個(gè)音素構(gòu)成的音素集，參見The CMU Pronouncing Dictionary?。漢語一般直接用全部聲母和韻母作為音素集，另外漢語識(shí)別還分有調(diào)無調(diào)，不詳述。
狀態(tài)：這里理解成比音素更細(xì)致的語音單位就行啦。通常把一個(gè)音素劃分成3個(gè)狀態(tài)。
語音識(shí)別是怎么工作的呢？實(shí)際上一點(diǎn)都不神秘，無非是：
把幀識(shí)別成狀態(tài)（難點(diǎn)）。
把狀態(tài)組合成音素。
把音素組合成單詞。
如下圖所示：
圖中，每個(gè)小豎條代表一幀，若干幀語音對(duì)應(yīng)一個(gè)狀態(tài)，每三個(gè)狀態(tài)組合成一個(gè)音素，若干個(gè)音素組合成一個(gè)單詞。也就是說，只要知道每幀語音對(duì)應(yīng)哪個(gè)狀態(tài)了，語音識(shí)別的結(jié)果也就出來了。
那每幀音素對(duì)應(yīng)哪個(gè)狀態(tài)呢？有個(gè)容易想到的辦法，看某幀對(duì)應(yīng)哪個(gè)狀態(tài)的概率zui大，那這幀就屬于哪個(gè)狀態(tài)。比如下面的示意圖，這幀在狀態(tài)S3上的條件概率zui大，因此就猜這幀屬于狀態(tài)S3。
那這些用到的概率從哪里讀取呢？有個(gè)叫“聲學(xué)模型”的東西，里面存了一大堆參數(shù)，通過這些參數(shù)，就可以知道幀和狀態(tài)對(duì)應(yīng)的概率。獲取這一大堆參數(shù)的方法叫做“訓(xùn)練”，需要使用巨大數(shù)量的語音數(shù)據(jù)，訓(xùn)練的方法比較繁瑣，這里不講。
但這樣做有一個(gè)問題：每一幀都會(huì)******一個(gè)狀態(tài)號(hào)，zui后整個(gè)語音就會(huì)******一堆亂七八糟的狀態(tài)號(hào)。假設(shè)語音有1000幀，每幀對(duì)應(yīng)1個(gè)狀態(tài)，每3個(gè)狀態(tài)組合成一個(gè)音素，那么大概會(huì)組合成300個(gè)音素，但這段語音其實(shí)根本沒有這么多音素。如果真這么做，******的狀態(tài)號(hào)可能根本無法組合成音素。實(shí)際上，相鄰幀的狀態(tài)應(yīng)該大多數(shù)都是相同的才合理，因?yàn)槊繋芏獭?/span>
解決這個(gè)問題的常用方法就是使用隱馬爾可夫模型（Hidden Markov Model，HMM）。這東西聽起來好像很高深的樣子，實(shí)際上用起來很簡(jiǎn)單：
The Frist，構(gòu)建一個(gè)狀態(tài)網(wǎng)絡(luò)。
The Second，從狀態(tài)網(wǎng)絡(luò)中尋找與聲音zui匹配的路徑。
這樣就把結(jié)果限制在預(yù)先設(shè)定的網(wǎng)絡(luò)中，避免了剛才說到的問題，當(dāng)然也帶來一個(gè)局限，比如你設(shè)定的網(wǎng)絡(luò)里只包含了“今天晴天”和“今天下雨”兩個(gè)句子的狀態(tài)路徑，那么不管說些什么，識(shí)別出的結(jié)果必然是這兩個(gè)句子中的一句。
那如果想識(shí)別任意文本呢？把這個(gè)網(wǎng)絡(luò)搭得足夠大，包含任意文本的路徑就可以了。但這個(gè)網(wǎng)絡(luò)越大，想要達(dá)到比較好的識(shí)別準(zhǔn)確率就越難。所以要根據(jù)實(shí)際任務(wù)的需求，合理選擇網(wǎng)絡(luò)大小和結(jié)構(gòu)。
搭建狀態(tài)網(wǎng)絡(luò)，是由單詞級(jí)網(wǎng)絡(luò)展開成音素網(wǎng)絡(luò)，再展開成狀態(tài)網(wǎng)絡(luò)。語音識(shí)別過程其實(shí)就是在狀態(tài)網(wǎng)絡(luò)中搜索一條zui佳路徑，語音對(duì)應(yīng)這條路徑的概率zui大，這稱之為“解碼”。路徑搜索的算法是一種動(dòng)態(tài)規(guī)劃剪枝的算法，稱之為Viterbi算法，用于尋找全局zui優(yōu)路徑。
這里所說的累積概率，由三部分構(gòu)成，分別是：
觀察概率：每幀和每個(gè)狀態(tài)對(duì)應(yīng)的概率
轉(zhuǎn)移概率：每個(gè)狀態(tài)轉(zhuǎn)移到自身或轉(zhuǎn)移到下個(gè)狀態(tài)的概率
語言概率：根據(jù)語言統(tǒng)計(jì)規(guī)律******的概率
其中，前兩種概率從聲學(xué)模型中獲取，zui后一種概率從語言模型中獲取。語言模型是使用大量的文本訓(xùn)練出來的，可以利用某門語言本身的統(tǒng)計(jì)規(guī)律來幫助提升識(shí)別正確率。語言模型很重要，如果不使用語言模型，當(dāng)狀態(tài)網(wǎng)絡(luò)較大時(shí)，識(shí)別出的結(jié)果基本是一團(tuán)亂麻。
這樣基本上語音識(shí)別過程就完成了。
以上的文字只是想讓大家容易理解，并不追求嚴(yán)謹(jǐn)。事實(shí)上，HMM的內(nèi)涵***不是上面所說的“無非是個(gè)狀態(tài)網(wǎng)絡(luò)”，如果希望深入了解，下面給出了幾篇閱讀材料：
1. Rabiner L R. A tutorial on hidden Markov models and selected applications in speech recognition. Proceedings of the IEEE, 1989, 77(2): 257-286.
入門必讀。深入淺出地介紹了基于HMM的語音識(shí)別的原理，不注重公式的細(xì)節(jié)推導(dǎo)而是著重闡述公式背后的物理意義。
2. Bilmes J A. A gentle tutorial of the EM algorithm and its application to parameter estimation for Gaussian mixture and hidden Markov models. International Computer Science Institute, 1998, 4(510): 126.
詳細(xì)介紹了用E-M算法訓(xùn)練HMM參數(shù)的推導(dǎo)過程，首先講E-M的基本原理，然后講解如何應(yīng)用到GMM的訓(xùn)練，zui后講解如何應(yīng)用到HMM的訓(xùn)練。
3. Young S, Evermann G, Gales M, et al. The HTK book (v3.4). Cambridge University, 2006.
HTK Book，開源工具包HTK的文檔。雖然現(xiàn)在HTK已經(jīng)不是zui流行的了，但仍然強(qiáng)烈推薦按照書里的The Second Chapter流程做一遍，你可以搭建出一個(gè)簡(jiǎn)單的數(shù)字串識(shí)別系統(tǒng)。
4. Graves A. Supervised Sequence Labelling with Recurrent Neural Networks. Springer Berlin Heidelberg, 2012: 15-35.
基于神經(jīng)網(wǎng)絡(luò)的語音識(shí)別的入門必讀。從神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)、BP算法等介紹到 LSTM、CTC。
5. 俞棟, 鄧力. 解析深度學(xué)習(xí)——語音識(shí)別實(shí)踐, 電子工業(yè)出版社, 2016.
高質(zhì)量的中文資料非常稀有，推薦買一本。zui早把深度學(xué)習(xí)技術(shù)應(yīng)用于語音識(shí)別就是這本書的作者。
（本文轉(zhuǎn)載自《知乎》：語音識(shí)別的技術(shù)原理是什么？——張俊博）
本文轉(zhuǎn)載自EDN電子設(shè)計(jì)，如有侵權(quán)，請(qǐng)聯(lián)系管理員刪除！
- 上一條：高管的基本要求
- 下一條：強(qiáng)弱電基礎(chǔ)知識(shí)，一看就懂
新聞動(dòng)態(tài)
聯(lián)系我們
地址：山東省濰坊綜合保稅區(qū)高二路東規(guī)劃路以北1號(hào)樓210（配套區(qū)）山東省臨朐縣龍韻文化藝術(shù)城C3-3
郵編：262600
電話：
0536-3181717
0536-3186969
Email：[email protected]
