最適化のための数学

最適化を読むうえで、特に効いてくる数学をまとめる。

凸性が難易度を分ける#

凸か非凸かが、 その問題が解けるかどうかの実質的な境界になる。 そのため凸性の定義と判定法は、最適化の文献を読む前提知識になる。

• 凸集合
• 凸関数

制約をどう扱うか#

• ラグランジュ未定乗数法
• KKT条件

距離の測り方#

• Mahalanobis距離

他の分野に置いた項目#

次の項目も最適化に不可欠だが、内容の性質から別の場所に置いてある。

項目	置き場所
勾配、ヘッセ行列	微分積分
二次形式、正定値行列	線形代数
多変量正規分布、共分散	確率

参考文献#

• Stephen Boyd, Lieven Vandenberghe. Convex Optimization. Cambridge University Press, 2004.（全文公開） https://web.stanford.edu/~boyd/cvxbook/
• Jorge Nocedal, Stephen J. Wright. Numerical Optimization, 2nd ed. Springer, 2006. https://doi.org/10.1007/978-0-387-40065-5