從近講到遠(yuǎn)場，小米自研語音技術(shù)讓用戶“自由場景自由說”

　　智能語音行業(yè)已經(jīng)進(jìn)入蓬勃發(fā)展的時(shí)代，隨著智能設(shè)備的逐漸增多，用戶對(duì)語音交互的需求越來越大。在AIoT時(shí)代，智能設(shè)備的自然語言交互能力成為與用戶溝通的重要一環(huán)。當(dāng)用戶對(duì)智能設(shè)備產(chǎn)生需求并進(jìn)行對(duì)話時(shí)，語音的喚醒和識(shí)別能力直接決定了用戶對(duì)設(shè)備的好感度。

　　依托于小愛同學(xué)、小米多款智能設(shè)備，小米持續(xù)深耕語音技術(shù)，希望在智能家庭、智能車載等豐富的使用場景之下，更進(jìn)一步解放對(duì)用戶語音識(shí)別環(huán)境的條件限制，讓用戶體驗(yàn)更自然、更自由、無壓力的語音交互方式，更好地理解用戶意圖，為用戶提供極致的智能語音交互體驗(yàn)。

　　多通道端到端語音技術(shù)，讓用戶在“自由場景自由說”

　　目前，業(yè)內(nèi)各家的近講語音喚醒和識(shí)別能力已經(jīng)達(dá)到了較高的水平，在近距離、安靜的環(huán)境下，用戶與智能設(shè)備的語音交互已經(jīng)基本無障礙。然而，在強(qiáng)噪聲干擾、強(qiáng)房間混響、說話距離遠(yuǎn)、設(shè)備自身播放音源等條件下，智能設(shè)備與用戶進(jìn)行連續(xù)地自然語音交互仍然具有挑戰(zhàn)性。

　　如何讓遠(yuǎn)場語音性能達(dá)到和近講相近的水平，一直是困擾業(yè)界語音工程師的一大難題。鑒于此，小米語音團(tuán)隊(duì)的“多通道端到端語音技術(shù)”自研能力，取得比“傳統(tǒng)多通道陣列增強(qiáng)模塊加單通道語音技術(shù)”更好的性能。

　　為了在遠(yuǎn)場聲音中更準(zhǔn)確的識(shí)別出目標(biāo)語音，傳統(tǒng)多通道陣列增強(qiáng)技術(shù)會(huì)使用空間濾波或語音分離算法，但這些算法引入了較多先驗(yàn)假設(shè)，在一些不符合假設(shè)的場景下，性能會(huì)明顯下降。另外，傳統(tǒng)多通道陣列處理技術(shù)是由多個(gè)技術(shù)模塊串聯(lián)組成，多個(gè)麥克風(fēng)的數(shù)據(jù)會(huì)被送入回聲消除、降噪、去混響、尋向和波束形成等模塊，幾個(gè)模塊單獨(dú)進(jìn)行優(yōu)化，優(yōu)化目標(biāo)并不一致。

　　小米從2018年開始驗(yàn)證端到端語音喚醒和識(shí)別的思路，目標(biāo)即從充滿噪聲、混響和回聲的多個(gè)麥克風(fēng)中直接學(xué)習(xí)語音特征，提升真實(shí)環(huán)境中的識(shí)別率和穩(wěn)定性。經(jīng)過一系列的校驗(yàn)，小米多通道端到端語音技術(shù)有三大明顯優(yōu)勢。第一，端上的計(jì)算量變小，較之前減少了50%，縮短了所有的計(jì)算路徑和時(shí)長;其次，端上的存儲(chǔ)量變小，在原有的基礎(chǔ)上大幅減少，減輕了存儲(chǔ)壓力;最后，“多通道端到端語音技術(shù)”直接用一個(gè)網(wǎng)絡(luò)中的不同級(jí)去替代之前的多個(gè)模塊，最后有一個(gè)一致的優(yōu)化目標(biāo)，避免誤差的逐級(jí)傳播。整個(gè)模型用一套神經(jīng)網(wǎng)絡(luò)表述，大幅減小系統(tǒng)設(shè)計(jì)復(fù)雜度，可以明顯降低運(yùn)算負(fù)荷。從大規(guī)模訓(xùn)練數(shù)據(jù)中習(xí)得的深度神經(jīng)網(wǎng)絡(luò)，比基于傳統(tǒng)信號(hào)處理的方式，使用的先驗(yàn)假設(shè)少，可以涵蓋更多的實(shí)際場景。

　　從近講到遠(yuǎn)場，小米自研技術(shù)拓寬了語音的想象力

　　據(jù)小米語音工程師介紹，盡管傳統(tǒng)信號(hào)處理具有一些方面的不足，但是其能夠較好地處理麥克風(fēng)陣列信號(hào)的相位，利用物理學(xué)中樸素的法則“同向相加，異向相消”對(duì)不想要的信號(hào)分量進(jìn)行抑制。因此，小米的多通道語音識(shí)別模型不僅采用了更先進(jìn)的深度神經(jīng)網(wǎng)絡(luò)，也同時(shí)繼承了傳統(tǒng)信號(hào)處理理論對(duì)相位處理的精髓，將傳統(tǒng)前端算法和深度神經(jīng)網(wǎng)絡(luò)的優(yōu)勢進(jìn)行互補(bǔ)，也即將傳統(tǒng)信號(hào)處理的概念進(jìn)一步拓展，充分利用深度神經(jīng)網(wǎng)絡(luò)的非線性處理能力，提出一種全神經(jīng)網(wǎng)絡(luò)語音識(shí)別模型。

　　在語音識(shí)別大牛Daniel Povey加入小米后，小米的語音交互在原有的基礎(chǔ)上更進(jìn)一步。終于讓多通道端到端語音方案性能超過了傳統(tǒng)方案。經(jīng)過數(shù)據(jù)測試，多通道端到端語音技術(shù)讓遠(yuǎn)場語音識(shí)別性能相對(duì)提升了10%，使用戶與智能設(shè)備的交互更加順暢。

　　從3G時(shí)代，到4G時(shí)代，再到5G時(shí)代，智能語音交互也發(fā)生著巨大的變革。多通道端到端的語音技術(shù)不僅讓用戶交互方式更加自由，同時(shí)也降低了硬件的產(chǎn)品功耗。從近講的喚醒識(shí)別到遠(yuǎn)場的喚醒識(shí)別，從單通道到多通道，小米自研語音技術(shù)旨在幫助用戶在自由的場景下實(shí)現(xiàn)自由說的目標(biāo)。未來，小米將智能語音技術(shù)落地至更多應(yīng)用場景，不斷突破自研技術(shù)，為用戶提供更加極致的語音交互體驗(yàn)。