語音合成的理論基礎(chǔ)是語音生成的數(shù)學模型。該模型語音生成過程是在激勵信號的激勵下，聲波經(jīng)諧振腔(聲道)，由嘴或鼻輻射聲波。因此，聲道參數(shù)、聲道諧振特性一直是研究的重點。習慣上，把聲道傳輸頻率響應上的極點稱之為共振峰，而語音的共振峰頻率(極點頻率)的分布特性決定著該語音的音色。音色各異的語音具有不同的共振峰模式，因此，以每個共振峰頻率及其帶寬作為參數(shù)，可以構(gòu)成共振峰濾波器。再用若干個這種濾波器的組合來模擬聲道的傳輸特性(頻率響應)，對激勵源發(fā)出的信號進行調(diào)制，再經(jīng)過輻射模型就可以得到合成語音。這就是共振峰合成技術(shù)的基本原理?；诠舱穹宓睦碚撚幸韵氯N實用模型。級聯(lián)模型在該模型中，聲道被認為是一組串聯(lián)的二階諧振器。該模型主要用于絕大部分元音的合成。

并聯(lián)模型許多研究者認為，對于鼻化元音等非一般元音以及大部分輔音，上述級聯(lián)型模型不能很好地加以描述和模擬，因此，構(gòu)筑和產(chǎn)生了并聯(lián)型共振峰模型。

混合模型在級聯(lián)型共振峰合成模型中，共振峰濾波器首尾相接;而在并聯(lián)型模型中，輸入信號先分別通過幅度調(diào)節(jié)再加到每一個共振峰濾波器上，然后將各路的輸出疊加起來。將兩者比較，對于合成聲源位于聲道末端的語音(大多數(shù)的元音)，級聯(lián)型合乎語音產(chǎn)生的聲學理論，并且無需為每一個濾波器分設(shè)幅度調(diào)節(jié);而對于合成聲源位于聲道中間的語音(大多數(shù)清擦音和塞音)，并聯(lián)型則比較合適，但是其幅度調(diào)節(jié)很復雜?；诖朔N考慮，人們將兩者結(jié)合在一起，提出了混和型共振峰模型。共振峰模型是基于對聲道的一種比較準確的模擬，因而可以合成出自然度比較高的語音，另外由于共振峰參數(shù)有著明確的物理意義，直接對應于聲道參數(shù)，因此，可以容易利用共振峰描述自然語流中的各種現(xiàn)象，并且總結(jié)聲學規(guī)則，最終用于共振峰合成系統(tǒng)。但是，人們同時也發(fā)現(xiàn)該技術(shù)有明顯的弱點。首先由于它是建立在對聲道的模擬上，因此，對于聲道模型的不精確勢必會影響其合成質(zhì)量。另外，實際工作表明，共振峰模型雖然描述了語音中最基本最主要的部分，但并不能表征影響語音自然度的其他許多細微的語音成分，從而影響了合成語音的自然度。另外，共振峰合成器控制十分復雜，對于一個好的合成器來說，其控制參數(shù)往往達到幾十個，實現(xiàn)起來十分困難?；谶@些原因，研究者繼續(xù)尋求和發(fā)現(xiàn)其他新的合成技術(shù)。人們從波形的直接錄制和播放得到啟發(fā)，提出了基于波形拼接的合成技術(shù)，LPC合成技術(shù)和PSOLA合成技術(shù)是其中的代表。與共振峰合成技術(shù)不同，波形拼接合成是基于對錄制的合成基元的波形進行拼接，而不是基于對發(fā)聲過程的模擬。

作為一種有調(diào)語言，漢語韻律特征非常復雜。古漢語的平仄以及現(xiàn)代漢語拼音，對于同樣一個音節(jié)，出現(xiàn)在不同的環(huán)境下，其韻律參數(shù)都是各不相同的。用有限的存儲單元存儲基本漢語基本語音單元，進而從有限的存儲單元中合成出無限詞匯，組成連續(xù)漢語語句。必須在一定的韻律規(guī)則下對音庫單元的韻律參數(shù)進行調(diào)整，以得到符合當前語言環(huán)境的語音庫單元。語音合成器用來完成這種功能。中文語音合成系統(tǒng)在DSP下實現(xiàn)時，除清晰度，能懂度和自然度外，還要求合成算法具有較低的運算復雜度，盡量小的語音庫以減少對有限存儲空間的占用程度。