數(shù)字信號(hào)處理（DSP）的音頻會(huì)議信號(hào)合成算法研究

隨著在數(shù)字信號(hào)處理(DSP)算法和芯片處理能力以及通信網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化等方面的不斷發(fā)展，現(xiàn)代化通信已經(jīng)迅速普及。音頻會(huì)議是眾多通信系統(tǒng)的必備功能。有多個(gè)用戶參與的音頻會(huì)議，最簡(jiǎn)單的模式可以使用令牌控制下的互斥模式，使只有擁有發(fā)言權(quán)的那個(gè)與會(huì)者才可以講話。在這種模式下，每個(gè)與會(huì)者某一時(shí)刻只能聽到一路音頻信號(hào)，這種“半雙工”模式對(duì)于音頻會(huì)議是不方便和不實(shí)際的。

真正的電話會(huì)議應(yīng)當(dāng)仿真多個(gè)與會(huì)者在一個(gè)會(huì)議室進(jìn)行對(duì)話的情形。但是由于與會(huì)終端在物理上并不在一起，而每個(gè)終端只有一套音頻輸出設(shè)備(功放+音箱)，要同時(shí)傳送給每個(gè)終端的音頻流也只能使用一路信道。為使每個(gè)終端同時(shí)接收多個(gè)與會(huì)者的聲音，必須采取多路音頻合成方案。電話會(huì)議的特點(diǎn)是會(huì)場(chǎng)使用麥克風(fēng)和揚(yáng)聲器，這種方式很容易造成回波干擾和嘯叫。一般會(huì)議信號(hào)處理算法主要關(guān)注的也是這個(gè)方面，通常采用回波抵消的方法。但是這種方式對(duì)于會(huì)議信號(hào)的處理并不是最完善和有效的[1]。經(jīng)過研究，采用有無(wú)聲檢測(cè)、歸一化定標(biāo)、自適應(yīng)回波抵消算法合成技術(shù)則能夠很真實(shí)地實(shí)現(xiàn)會(huì)議仿真效果。

1 會(huì)議信號(hào)合成實(shí)現(xiàn)方案

1.1 會(huì)議信號(hào)合成的合理性和必要性

音頻流不象典型的視頻流一樣在空間/時(shí)間域占有惟一的位置，在同一時(shí)間和位置的信號(hào)元素疊加是沒有任何意義的。但人耳可以感知在同一空間/時(shí)間播放多個(gè)音頻流。這就是會(huì)議信號(hào)合成的合理性和必要性。通過會(huì)議信號(hào)的合成，將多路音頻流的輸入經(jīng)過處理后，提供一個(gè)單輸出信道輸出合成音頻。

1.2 會(huì)議信號(hào)合成的關(guān)鍵因素

當(dāng)多個(gè)音頻源在一個(gè)空間播放時(shí)，人耳聽到的聲波是各個(gè)聲源聲波的線性疊加，這正是模擬音頻信號(hào)合成的基礎(chǔ)。該事實(shí)表明數(shù)字化后的語(yǔ)音進(jìn)行合成也應(yīng)當(dāng)使用線性疊加的方式。假設(shè)有n路輸入音頻流進(jìn)行混音，Xi(t)是t時(shí)刻的第i路輸入語(yǔ)音的線性樣本，則t時(shí)刻的混音值為：

語(yǔ)音信號(hào)是連續(xù)的、時(shí)間要求嚴(yán)格的一種流媒體信號(hào)，它在時(shí)域上具有短時(shí)平穩(wěn)的特征。對(duì)語(yǔ)音信號(hào)進(jìn)行處理的一個(gè)基本概念就是對(duì)語(yǔ)音信號(hào)進(jìn)行采樣，得到的語(yǔ)音樣本以緩沖區(qū)為單位進(jìn)行處理，即對(duì)語(yǔ)音樣本分幀。語(yǔ)音處理的很多概念都是基于語(yǔ)音幀的，比如有聲/無(wú)聲、能量、自相關(guān)等。語(yǔ)音幀的長(zhǎng)度一般采用10～20ms。 數(shù)字音頻的重要參數(shù)是采樣率，各路輸入音頻流合成的前提應(yīng)當(dāng)是使用相同的采樣率。

隨著需要合成的語(yǔ)音信道數(shù)量的增加，在不采取任何附加預(yù)防措施的情況下，一些并非會(huì)議有效信號(hào)(如聲反饋和噪音)就會(huì)累積起來導(dǎo)致質(zhì)量劣化,讓人無(wú)法接受。特別是由本地?cái)U(kuò)聲系統(tǒng)產(chǎn)生的電聲反饋引起的回音造成了再生混響，其結(jié)果嚴(yán)重地影響了語(yǔ)音的清晰度。更為致命的是當(dāng)聲反饋非常嚴(yán)重時(shí)會(huì)產(chǎn)生自激，使整個(gè)通信系統(tǒng)無(wú)法正常工作。所以必須對(duì)每個(gè)終端的輸入音頻進(jìn)行有無(wú)聲檢測(cè)和聲反饋抑制處理。

語(yǔ)音合成時(shí)應(yīng)注意求和樣本的動(dòng)態(tài)范圍，這引出了歸一化定標(biāo)問題。數(shù)字音頻波形理論定義，定標(biāo)就是檢查某個(gè)選定的幀，找到振幅峰值，并由此調(diào)整被選幀整體的音量，以便使允許的振幅值最大，且不會(huì)溢出。語(yǔ)音合成是對(duì)數(shù)字波形進(jìn)行的一種編輯，尤其需要解決歸一化定標(biāo)問題。

2 會(huì)議信號(hào)合成關(guān)鍵技術(shù)研究

2.1 自適應(yīng)回波抵消算法

數(shù)字回波抵消器的理論基礎(chǔ)是自適應(yīng)濾波器技術(shù)。隨著DSP的快速發(fā)展，數(shù)字回波抵消器已能很好地在DSP上加以應(yīng)用。在電話會(huì)議中產(chǎn)生回波的最主要原因是遠(yuǎn)端會(huì)議信號(hào)經(jīng)本地?fù)P聲系統(tǒng)在室內(nèi)產(chǎn)生的聲場(chǎng)回饋至傳聲器引起回音造成的再生混響。

回波抵消器必須精確地估計(jì)回波路徑特性并快速適應(yīng)其變化，根據(jù)電話會(huì)議的特點(diǎn)，使用干涉抵消模型是最佳的方式。該模型是一個(gè)具有二個(gè)輸入端的自適應(yīng)濾波器，如圖1所示。它將本地的傳聲器輸出作為原始信號(hào)，而將本地?fù)P聲器的輸入作為參考信號(hào)。經(jīng)過自適應(yīng)回波抵消處理后，能有效地抑制本地傳聲器的輸出經(jīng)室內(nèi)聲場(chǎng)饋至傳聲器的電聲反饋(回音)，從而實(shí)現(xiàn)自適應(yīng)聲反饋(回音)的抵消。

回波抵消的核心就是自適應(yīng)濾波器算法。常見的算法包括SDA算法和LMS算法。由于SDA算法中梯度的計(jì)算涉及到矩陣，并不適合實(shí)際應(yīng)用。通過其派生的LMS算法簡(jiǎn)單實(shí)用，計(jì)算效率高。TI公司的DSP芯片TMS320C54X有專門的LMS指令用于加速自適應(yīng)濾波算法。在實(shí)際應(yīng)用中，還可以在LMS算法的基礎(chǔ)上得到修改濾波器系數(shù)的算法：

詳細(xì)的自適應(yīng)回波抵消算法計(jì)算步驟如下：

(1) 采樣值；

(2) 根據(jù)前一次的計(jì)算值和濾波器系數(shù)修改算法，進(jìn)行系數(shù)調(diào)整；

(3) 計(jì)算遠(yuǎn)端估計(jì)能量；

(4) 進(jìn)行FIR濾波計(jì)算, 求得濾波器的輸出y(n)和誤差信號(hào)e(n)；

(5) 數(shù)據(jù)輸出；

(6) 跳轉(zhuǎn)到第一步。

2.2 有無(wú)聲能量檢測(cè)

在ITU-T協(xié)議中有無(wú)聲檢測(cè)即語(yǔ)音激活檢測(cè)(Voice Activity Detection)。在多點(diǎn)音頻會(huì)議中，有無(wú)聲檢測(cè)使得在某一時(shí)段實(shí)際語(yǔ)音合成的終端數(shù)目大大少于與會(huì)者數(shù)目，降低了合成運(yùn)算量，減輕了處理芯片的負(fù)擔(dān)。同時(shí)也是麥克風(fēng)自適應(yīng)增益控制AGC的基礎(chǔ)。

在數(shù)字語(yǔ)音信號(hào)中，有無(wú)聲檢測(cè)是通過信號(hào)能量、過零率參數(shù)的組合，與預(yù)置的能量門限值進(jìn)行比較得出。基于短時(shí)平均能量的計(jì)算是利用一個(gè)固定寬度的滑動(dòng)窗口，每輸入一個(gè)最新樣本，計(jì)算該樣本之前的窗口覆蓋的所有樣本的能量平均值，將其與一個(gè)能量門限值比較來判斷該新樣本是靜音還是有聲。

如上所述，以幀為單位對(duì)數(shù)字語(yǔ)音進(jìn)行檢測(cè)，如果某一幀內(nèi)有任何一個(gè)樣本是有聲，則該幀就是有聲。將窗口以幀為單位滑動(dòng)，而不是以樣本為單位，直接憑每幀的最后一個(gè)樣本是有無(wú)聲來確定該幀是有聲幀或無(wú)聲幀，這種簡(jiǎn)化的判斷方式大大節(jié)省了運(yùn)算量。對(duì)判斷的結(jié)果而言并無(wú)影響。

使用自適應(yīng)變化的能量門限可以更加準(zhǔn)確地對(duì)有無(wú)聲加以判斷。可以通過樣本短時(shí)能量的一階線性低通濾波得到背景噪聲能量。而自適應(yīng)能量門限值則保持與短時(shí)背景噪聲能量一個(gè)靜音檢測(cè)的靈敏度常量比值So。長(zhǎng)時(shí)間連續(xù)講話會(huì)升高背景噪聲的估計(jì)值，這就相應(yīng)地提高了靜音檢測(cè)能量門限，有可能造成緊接著發(fā)生的低幅值的講話當(dāng)作靜音而未被檢測(cè)到。所以當(dāng)檢測(cè)到話音時(shí)可以通過改變低通濾波器的截止頻率來重新估計(jì)噪聲能量。

在過濾靜音的同時(shí)應(yīng)當(dāng)注意如何保留短時(shí)能量相對(duì)較低的微弱音頻信號(hào)，如摩擦音和輔音。這些微弱信號(hào)的存在保證了語(yǔ)音語(yǔ)義的完整性，所以在短時(shí)平均能量判斷之外還應(yīng)該結(jié)合過零率的判別保留這些微弱音頻信號(hào)。采用余音生成器的方式可以實(shí)現(xiàn)微弱音頻信號(hào)的保留，即余音生成器將緊跟在一個(gè)語(yǔ)音串后的頭幾幀。所謂無(wú)聲的幀仍然應(yīng)該被當(dāng)作是有聲，從而避免低電平語(yǔ)音被抑制掉。ITU-T G.723.1A對(duì)余音生成器算法作了較詳細(xì)的設(shè)計(jì)，在此不做詳細(xì)描述。

2.3 歸一化定標(biāo)處理

多路語(yǔ)音信號(hào)合成時(shí)采用線性疊加，必須解決的問題是如何防止疊加產(chǎn)生溢出而導(dǎo)致失真。如果采樣樣本是16bit，而求和緩沖區(qū)也是16bit，那兩路音頻流就容易使求和區(qū)溢出。即使提供了高精度的求和緩沖區(qū)，使得在求和過程中不會(huì)溢出，但是這不能保證求和結(jié)果的幅值適合輸出硬件器件的要求范圍(DA器件范圍通常是16bit)。

簡(jiǎn)單的方法是對(duì)超出范圍的值箝位。更好的方法是對(duì)求和結(jié)果分幀進(jìn)行歸一化定標(biāo)，具體就是：對(duì)某個(gè)求和語(yǔ)音幀中的所有樣本分析，若樣本S的值超過了器件所能表示的最大范圍，那么S之后的所有樣本均乘以一個(gè)衰減因子f。其中f是能夠使S滿足輸出器件范圍的最大值，顯然，f的絕對(duì)值小于1。這樣在箝位后的一段時(shí)間內(nèi)，語(yǔ)音樣本之間的大小是相對(duì)不變的。

在實(shí)驗(yàn)中選用了通用的16bit定點(diǎn)DSP芯片TMS320C549進(jìn)行實(shí)時(shí)仿真來完成多路音頻流的合成。各路線性樣本相加過程中，求和的值是不會(huì)溢出的，因?yàn)闃颖臼?6bit，而累加器是32bit。但和值很容易超過輸出硬件設(shè)備允許的范圍(16bit)。

在歸一化定標(biāo)處理中，初始化時(shí)衰減因子f為1，每次開始處理一個(gè)新的樣本緩沖區(qū)時(shí)，任何一個(gè)樣本S超過了范圍，將S箝位，并且求得S與允許范圍值的比值f，在時(shí)序上位于S之后的樣本都除以f。但是為了避免語(yǔ)音不必要的衰減，而箝位操作有讓f越來越小的趨勢(shì)，因此需要有讓f變大的地方，這發(fā)生在每個(gè)新樣本緩沖區(qū)開始處理的入口。新的緩沖區(qū)樣本仍然需要衰減的可能性很大，所以f不適合每次都從1開始，而是應(yīng)該在某種程度上繼承過去的值。即在每個(gè)新樣本緩沖區(qū)的入口處，只要f不等于1，就將其調(diào)整為比f(wàn)稍大些的值，讓它成為新的衰減因子。若樣本的確不需要衰減，經(jīng)過若干幀后f會(huì)慢慢變回1。

定點(diǎn)DSP中不易使用除法，所以可以把所有f的值做成一張表，f的取值范圍定義為1/16、2/16，直到15/16，它的衰減精度為1/16。當(dāng)S發(fā)生箝位時(shí)，用比較法或者查表法求出合適f (15個(gè)取值之一)。之所以考慮是1/16的步長(zhǎng)，是因?yàn)樗�已�?jīng)可以確保16個(gè)輸入流求和不會(huì)溢出，如果還需要更大的精度，可以取1/32(2的n次方由定點(diǎn)DSP實(shí)現(xiàn)起來較方便)。

歸納起來，歸一化定標(biāo)的核心思想是：f必須很快地變成合適的衰減因子，使得樣本不會(huì)溢出，然后f會(huì)慢慢地變回1。S發(fā)生箝位時(shí)f立刻被計(jì)算出，而在時(shí)間上每處理完一個(gè)求和幀后，就試圖把f向1靠近，f每次增加它與1的差值的1/16。即： f′= f+(1-f)/16。具體的定標(biāo)流程圖如圖2所示。

3 試驗(yàn)分析

同時(shí)輸入10路的音頻流到混音模塊，每路的采樣率都是16kHz，幀長(zhǎng)選擇10ms，即160個(gè)樣本。

在對(duì)電干擾進(jìn)行抵消時(shí)，對(duì)于帶寬為3kHz(300～3 300Hz)的寬帶隨機(jī)白噪聲，抵消程度優(yōu)于42dB。在室外，其混響時(shí)間較小，對(duì)寬帶噪聲的聲干擾的抵消程度優(yōu)于30dB。在混響較為嚴(yán)重的實(shí)驗(yàn)室中，聲干擾的抵消程度也可以優(yōu)于15dB。

經(jīng)過聽覺試驗(yàn)表明，經(jīng)過定標(biāo)和回波抑制的合成語(yǔ)音流輸出能夠清晰分辨出每一路的聲音。

使用Matlab比較對(duì)輸出進(jìn)行簡(jiǎn)單箝位和輸出定標(biāo)兩種方式的語(yǔ)音時(shí)域波形，可以觀察到前者波形中有很多因溢出導(dǎo)致的“削波”，而后者的波形失真較小。

數(shù)字音頻流合成對(duì)于多點(diǎn)音頻會(huì)議系統(tǒng)是不可缺少的。首先對(duì)輸入的多路音頻流進(jìn)行經(jīng)過有無(wú)聲能量檢測(cè)和回波抑制處理后將有效輸入信號(hào)線性疊加，然后進(jìn)行增益定標(biāo)以便減少失真，以滿足輸出設(shè)備的要求。通過定點(diǎn)DSP的實(shí)現(xiàn)以及實(shí)驗(yàn)證明這種模式下的音頻會(huì)議信號(hào)合成算法能取得很好的會(huì)議效果。

參考文獻(xiàn)

1 周 霖． DSP通信工程技術(shù)應(yīng)用[M]. 北京：國(guó)防工業(yè)出版社，2004：301～315

2 楊行峻．語(yǔ)音數(shù)字信號(hào)處理[M].北京：電子工業(yè)出版社，1995：154～157

3 ITU-T G.723.1 Annex A：Silence Compression Scheme. ITU，1996

作者：李超 浙江萬(wàn)里學(xué)院 智能控制技術(shù)研究所 來源：電子技術(shù)應(yīng)用