埋め込み

トークンを密なベクトルに写す。

$$\text{トークン ID}⟶𝐯\in {ℝ}^d$$

$d$ は数百〜数千。学習可能なパラメータ（埋め込み行列）。

なぜベクトルにするのか#

one-hot 表現（語彙数次元の疎ベクトル）では

• 次元が語彙数（10 万超）
• すべての語が等距離。意味の近さを表現できない

密ベクトルなら、意味的に近い語が近い位置に配置される。 「学習によって意味の空間が作られる」と言える。

意味の演算#

Word2Vec で有名になった性質。

$${𝐯}_{\text{king}}-{𝐯}_{\text{man}}+{𝐯}_{\text{woman}}\approx {𝐯}_{\text{queen}}$$

意味の関係がベクトルの差として現れる。 ただしこの性質は誇張されて伝わった面があり、 後の検証では条件依存であることが指摘されている。

文脈依存へ#

Word2Vec や GloVe は語ごとに 1 つのベクトル（静的）。 「bank」が銀行か土手かを区別できない。

Transformer の埋め込みは Attention を通ることで 文脈に応じて変化する（動的）。 これが大きな進歩だった。

検索での利用#

文や文書を 1 つのベクトルにまとめれば、 意味的な検索ができる。 RAG の基盤技術。

参考文献#

• Tomas Mikolov et al. Efficient Estimation of Word Representations in Vector Space. 2013. https://arxiv.org/abs/1301.3781
• Dan Jurafsky, James H. Martin. Speech and Language Processing, 3rd ed. draft.（全文公開） https://web.stanford.edu/~jurafsky/slp3/
• Aston Zhang et al. Dive into Deep Learning. Cambridge University Press, 2023.（全文公開） https://d2l.ai/