Saturday, September 23, 2017

RBM

RBM

2017/09/23

主要是先存檔。

-----

深度學習時代的敲門磚--RBM

Softmax & Sigmoid

「Hinton用能量函數來描述NN的一些特性,期望這樣可以帶來更多的統計學支持。 不久Hinton發現,多層神經網絡可以被描述為玻爾茲曼機的一種特例 - 受限玻爾茲曼機(RBM)」[1]。
 
「在統計力學中,玻爾茲曼分佈(或稱吉布斯分佈)可以用來描述量子體系的量子態的分佈,有著以下的形式: P(s)\ propto e ^ { - {\ frac {E(s)} {kT}}} 其中s是某個量子態,E(s)為這個狀態的能量,P(s)為這個狀態出現的概率。 ķ是玻爾茲曼常量,是個常數.T是系統溫度,在具體問題中也是一個常數。於是我們不妨讓KT = 1,原來的表達式可以簡化」[1]。

這不就是softmax嗎?居然自然地在統計力學分佈裡面出現了(難怪之前LeCun讓大家學物理)[1]。

這時候sigmoid函數就有了自然的解釋:玻爾茲曼分佈下隱含層神經元激活的條件概率的激活函數。其中s是某個量子態,E(s)為這個狀態的能量,P(s)為這個狀態出現的概率。 [1]
 
-----

References

[1] 浅析 Hinton 最近提出的 Capsule 计划 - 知乎专栏
https://zhuanlan.zhihu.com/p/29435406