RBM
2017/09/23
主要是先存檔。
-----
深度學習時代的敲門磚--RBM
Softmax & Sigmoid
「Hinton用能量函數來描述NN的一些特性，期望這樣可以帶來更多的統計學支持。
不久Hinton發現，多層神經網絡可以被描述為玻爾茲曼機的一種特例 - 受限玻爾茲曼機（RBM）」[1]。
「在統計力學中，玻爾茲曼分佈（或稱吉布斯分佈）可以用來描述量子體系的量子態的分佈，有著以下的形式：
P（s）\ propto e ^ { - {\ frac {E（s）} {kT}}}
其中s是某個量子態，E（s）為這個狀態的能量，P（s）為這個狀態出現的概率。
ķ是玻爾茲曼常量，是個常數.T是系統溫度，在具體問題中也是一個常數。於是我們不妨讓KT = 1，原來的表達式可以簡化」[1]。
這不就是softmax嗎？居然自然地在統計力學分佈裡面出現了（難怪之前LeCun讓大家學物理）[1]。
這時候sigmoid函數就有了自然的解釋：玻爾茲曼分佈下隱含層神經元激活的條件概率的激活函數。其中s是某個量子態，E（s）為這個狀態的能量，P（s）為這個狀態出現的概率。 [1]
-----
References
[1] 浅析 Hinton 最近提出的 Capsule 计划 - 知乎专栏
https://zhuanlan.zhihu.com/p/29435406