音声モデル

音声を扱う機械学習モデル。大きく 2 方向ある。

方向	内容
音声認識 (ASR)	音声 → テキスト
音声合成 (TTS)	テキスト → 音声

音声というデータ#

性質	内容
サンプリング周波数	16 kHz〜48 kHz
1 秒のサンプル数	16,000〜48,000
系列長	テキストより 2〜3 桁長い

この系列長の長さが、音声処理の主要な難しさ。 そのまま Transformer に入れると $𝒪(T^2)$ が破綻する。

対処#

• スペクトログラム — 短時間フーリエ変換で時間×周波数の 2 次元表現にする。 時間方向が 1/100 程度に圧縮される
• ニューラル音声コーデック — 音声を離散トークン列に変換する。 言語モデルと同じ枠組みで扱えるようになる

後者により、音声と言語のモデルが統合される流れが進んでいる。

参考文献#

• Alec Radford et al. Robust Speech Recognition via Large-Scale Weak Supervision (Whisper). ICML, 2023. https://arxiv.org/abs/2212.04356
• Alexandre Défossez et al. High Fidelity Neural Audio Compression (EnCodec). TMLR, 2023. https://arxiv.org/abs/2210.13438