パーセプトロン — 知識ノート

最も単純な計算単位。入力の重み付き和に非線形関数をかける。

y = σ (\sum_{i} w_{i} x_{i} + b) = σ (w^{⊤} x + b)

Rosenblatt が 1958 年に提案した。

幾何的な意味#

$w^{⊤} x + b = 0$ が超平面。パーセプトロンはこの平面でデータを 2 つに分ける。 $w$ が平面の法線ベクトル、 $b$ が原点からのずれ。

単層パーセプトロンは線形分離可能な問題しか解けない。

XOR は 1 本の直線で分けられないので学習できない。 Minsky と Papert が 1969 年にこれを指摘し、ニューラルネットワーク研究の停滞（第一次冬の時代）を招いたとされる。

隠れ層を挟めば XOR も解ける。層を重ねることで、線形分離可能な空間へ写してから分けるという構造が作れるため。

ただし多層にすると、 どの層の重みをどう更新すべきかが分からなくなる。この問題が誤差逆伝播法の普及（1986 年）まで解決されなかった。

Frank Rosenblatt. The perceptron: A probabilistic model for information storage and organization in the brain. Psychological Review 65(6), 1958. https://doi.org/10.1037/h0042519
Ian Goodfellow, Yoshua Bengio, Aaron Courville. Deep Learning. MIT Press, 2016.（全文公開） https://www.deeplearningbook.org/