多語言混合語音識別的技術難點有哪些？

1樓：瑪格麗特Summer

本來想在知乎搜尋「混合語言語音識別技術」的解答，發現有關內容太少了。看到這個問題，基於我目前遇到的問題順便回答一下吧。以下是我個人觀點，如有問題請各位專業人士指正啦。

難點1.

不同語言的音素集合存在差異，尤其是不同語系，差異更大，比如中文和英文。如果想要支援多語言，在訓練聲學模型和語言模型的時候就需要把目標語言的音素集納入到訓練集。但這個就會有個問題，外語的音素是否會對本體語因素造成干擾。

由於本體語沒有這些外來語的發音，可能會影響對本體語的識別。

難點2.

如果採用monolingual音素集訓練AM和LM，找出外語和本體語音之間的對應關係，用本體語音素去map 外語音素。這樣做的優點是不會干擾對本體語言的識別，訓練模型也簡單一些。缺點是有些外語裡的音素在本體語中找不到對應的音素匹配，導致模型的精度不夠。

難點3.

訓練資料size會很大，尤其是聲學模型的資料比較缺乏，目前我們公司都是花錢找第三方公司或者個人提供真人音訊資料，那個花費簡直驚人，開發成本較高。

暫時先寫這麼多吧，最近一直被bilingual ASR困擾，有時間再更新吧。