Monday, March 05, 2018

PyTorch(八):深度學習的竅門

PyTorch(八):深度學習的竅門

2018/03/05

什麼是學 Deep Learning 的秘訣?

有很多方法可以選擇 [1],我來告訴你我的秘訣。

-----


Fig. 1. 深度學習最佳策略 [1].

-----

昨天我跟社團的朋友聚會,有兩位最熱心的朋友,從 LeNet 實作團 [2],一直到最新的論文研討 [3],一路跟隨。

我消遣了他們一下,因為 LeNet 實作團的作業他們一直都沒交。然後這次活動的教學文部分,大家的抗拒都很大,估計就不了了之了。

這兩個,真的是最大的秘訣。報告完畢!:)

-----

閒聊一下 deep learning 的秘訣吧!

比如 Goodfellow 那本聖經。如果你從頭開始看,就死定了。即使是從 CNN 那章開始,除非有老師帶,要不然很難入手。

最棒的方式還是 LeNet,還好一年多前我剛開始就有人告訴我。然後我就很努力的先把 BP 看懂。然後是 RNN 的 LSTM。這兩個就是最基本的。

所以,秘訣就是照著我寫的 AI從頭學,一篇一篇努力追,然後你就可以「輕輕鬆鬆」很快追到我的進度。更好的方法是照著我的主題一篇一篇自己寫。這樣當然慢很多,但是就會更加實在。

所以,秘訣就是「慢」。你不用到處去修課,就是照著重要的主題「慢慢」把它仔細想通。一開始也許是慢。比如說,BP 我就看了好幾星期,LeNet 也是。但是現在就比以前快很多。

研討會每週都會有人報告重要的論文,你不來報也沒關係,仔細閱讀我寫的文章跟原來的論文,不懂就跟演講者問到懂,那你就會進步神速。

這就是竅門,或者秘訣。 這十八篇掃過,你應該不是會走,而是會飛了。把握機會,接下來主題將是 optimization 跟 regularization。

CNN 跟 R-CNN,我們不會重頭再走一遍了!

-----

References

[1] 別盲目調參!深度學習要先找到最佳策略_AI100 - 微文庫
https://weiwenku.net/d/100337296
 
[2] LeNet實作團(目錄)
http://hemingwang.blogspot.tw/2017/04/lenet.html

[3] PyTorch (七)Seminar Example:AlexNet
http://hemingwang.blogspot.tw/2018/01/pytorch-seminaralexnet.html

No comments: