人工知能

データから規則を学び取る手法を中心にまとめる。

構成#

分野	内容
機械学習	学習の枠組みと基本概念
ニューラルネットワーク	層を重ねた関数近似
深層学習	CNN、RNN、Transformer
大規模言語モデル	LLM の仕組み
強化学習	試行錯誤から方策を学ぶ
画像生成モデル・音声モデル	生成の技術
AIシステム	RAG、エージェント、MCP

最適化との関係#

学習とは最適化である。 損失関数を最小化するパラメータを探す。

$$\underset{\theta }{\min }\frac{1}{m}\sum _{i=1}^{m}L(f_{\theta }(x_i),y_i)$$

そのため勾配に基づく最適化、 特にSGD と Adam が学習の中核にある。

違いは規模で、パラメータが ${10}^6\sim {10}^{12}$ に及ぶため、 二階の手法が使えない。

参考文献#

• Ian Goodfellow, Yoshua Bengio, Aaron Courville. Deep Learning. MIT Press, 2016.（全文公開） https://www.deeplearningbook.org/
• Kevin P. Murphy. Probabilistic Machine Learning: An Introduction. MIT Press, 2022. https://probml.github.io/pml-book/book1.html
• Trevor Hastie, Robert Tibshirani, Jerome Friedman. The Elements of Statistical Learning, 2nd ed. Springer, 2009.（全文公開） https://hastie.su.domains/ElemStatLearn/