聲加科技基于 Arm MCU 的語音拾取與增強(qiáng)技術(shù)
背景
人們已愈發(fā)習(xí)慣使用真無線立體聲 (TWS) 耳機(jī)接打電話。無線耳塞不僅佩戴輕便，還可讓用戶在解放雙手的同時(shí)進(jìn)行其他活動(dòng)。此外，在參加遠(yuǎn)程會(huì)議時(shí)開啟主動(dòng)降噪 (ANC) 功能也逐漸成為一個(gè)普遍現(xiàn)象。
目前的耳機(jī)麥克風(fēng)通常呈一定角度置于嘴部后方，而人們?cè)谡f話時(shí)，聲波會(huì)向前方輻射，因此耳機(jī)麥克風(fēng)的拾音效果往往不如手機(jī)麥克風(fēng)理想 (手機(jī)麥克風(fēng)可以靠近嘴部放置)。另外，由于耳機(jī)的電池容量和處理器性能有限，在使用TWS耳機(jī)通話時(shí)，用戶也很難獲得和手機(jī)麥克風(fēng)一樣的通話質(zhì)量。
人工智能方法與麥克風(fēng)陣列相結(jié)合
為補(bǔ)償語音信號(hào) (尤其是高頻分量、提供清晰音質(zhì)等) 向前輻射引起的振幅衰減，常采用雙麥克風(fēng)陣列形成空間定向波束，以增強(qiáng)特定方向的增益，同時(shí)消除其他方向的干擾噪聲。
考慮到用戶不同的佩戴角度，波束成形是一個(gè)自適應(yīng)估計(jì)過程。這也就意味著如果周圍環(huán)境嘈雜，估計(jì)誤差就會(huì)增大。故而為了避免消除用戶聲音的情況，只能保留來自近似方向的殘留動(dòng)態(tài)噪聲。
機(jī)器學(xué)習(xí)算法的出現(xiàn)則打破了這一限制。深度神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的非線性建模能力以及對(duì)動(dòng)態(tài)噪聲干擾的良好識(shí)別性能，區(qū)別于傳統(tǒng)的利用統(tǒng)計(jì)信號(hào)分析來區(qū)分噪聲和語音的方法。然而，受限于計(jì)算平臺(tái)的資源，神經(jīng)網(wǎng)絡(luò)模型本身的魯棒性以及泛化能力在網(wǎng)絡(luò)剪枝和量化后也會(huì)有所降低，可能不足以覆蓋所有的使用場景。
將自適應(yīng)波束成形和機(jī)器學(xué)習(xí)方法相結(jié)合，可以提升降噪性能，從而使解決方案能夠在嘈雜環(huán)境中更好地進(jìn)行自適應(yīng)調(diào)整。同時(shí)，波束成形能夠在空間上濾除周圍環(huán)境中的干擾噪聲，從而提高神經(jīng)網(wǎng)絡(luò)輸入信號(hào)的信噪比 (SNR)。因此，資源有限的模型也可以穩(wěn)定地運(yùn)作。
請(qǐng)看下圖的對(duì)比：
圖1：基于空間濾波和頻譜估計(jì)的傳統(tǒng)雙麥克風(fēng)陣列波束成形語音增強(qiáng)
圖2：人工智能增強(qiáng)的雙麥克風(fēng)解決方案
可以看出，圖2與圖1有顯著差異。借助深度學(xué)習(xí)算法，我們可以更準(zhǔn)確地區(qū)別語音成分和噪聲成分，并補(bǔ)充高頻諧波，從而使語音更加飽滿清晰。
在邊緣部署人工智能語音增強(qiáng)技術(shù)的挑戰(zhàn)
返回