音声認識
音声波形をテキストに変換する。 ASR (Automatic Speech Recognition)。
従来の構成#
音声 → 特徴抽出(MFCC) → 音響モデル(HMM-GMM) → 発音辞書 → 言語モデル → テキスト音素、単語、文法をそれぞれ別のモデルで扱い、 言語ごとに専門家が辞書を作る必要があった。
End-to-End 化#
深層学習により、音声からテキストへ一気に変換する構成に置き換わった。
| 手法 | 内容 |
|---|---|
| CTC | 出力長と入力長の対応を、空白記号を含む全経路の周辺化で解く |
| Attention 系 | エンコーダ・デコーダで直接変換 |
| RNN-T | CTC と言語モデルを統合。ストリーミングに向く |
CTC の考え方#
音声フレーム 1000 個に対し、出力は「こんにちは」の 5 文字。 どのフレームがどの文字に対応するかのラベルが無い。
CTC は空白記号 を導入し、 正解文字列を生成しうるすべての経路の確率を足し合わせる。
この和は動的計画法で効率的に計算できる。 アラインメントを教えずに学習できる点が画期的だった。
Whisper#
68 万時間の弱教師ありデータで学習した Transformer ベースのモデル。
- 多言語対応、翻訳も同時に行う
- ドメイン固有の微調整なしで高い頑健性
「データ量で頑健性を得る」という方針が有効であることを示した。
参考文献#
- Alex Graves et al. Connectionist Temporal Classification. ICML, 2006. https://doi.org/10.1145/1143844.1143891
- Alec Radford et al. Robust Speech Recognition via Large-Scale Weak Supervision. ICML, 2023. https://arxiv.org/abs/2212.04356
- Alexei Baevski et al. wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations. NeurIPS, 2020. https://arxiv.org/abs/2006.11477