深度學習基礎理論

深度學習基礎理論

2021/02/26

說明：

李宏毅老師的教材。

在 LeNet 跟 AlexNet 之前，可以先觀看所有影片的前四場，作為輔助教材。

-----

https://pixabay.com/zh/photos/excavators-blade-1937151/

-----

教材

[1] courses

https://speech.ee.ntu.edu.tw/~tlkagk/courses.html

-----

機器學習筆記一

觀看日期：2021/02/25。

內容：Powerpoint version of the slides: link Course Info pdf (2015/09/18) What is Machine Learning, Deep Learning and Structured Learning? pdf,mp4,download (2015/09/18)

感想：生動有趣的觀念建立。

http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLSD15_2.html

-----

機器學習筆記二

觀看日期：2021/02/26。

內容：Neural Network (Basic Ideas) pdf,mp4,download (2015/09/25)

感想：兩個多小時的影片，很仔細地講了神經網路與梯度下降。另外也安排了一個語音的實作。是 CNN 與 RNN 共同的基礎。對深度學習有興趣的人，若有時間按照順序一直看應該可以打下很好的基礎。

http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLSD15_2.html

-----

機器學習筆記三

觀看日期：2021/02/27。

內容：Backpropagation pdf,mp4,download (2015/10/02) Theano: DNNpdf,mp4,download (2015/10/02)

感想：大約三十分鐘的 BP。講得非常仔細，如果一遍沒有完全聽懂，可以再聽一遍。另外有約一小時的 Theano。Theano 雖然已經過時了，但這段影片主要用來輔助一個神經網路的小實做，還是值得參考。

http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLSD15_2.html

-----

機器學習筆記四

觀看日期：2021/03/01。

內容：Tips for Training Deep Neural Network pdf,mp4,download (2015/10/16)

感想：大約兩個半小時。主要內容有激活函數的 ReLU，Maxout。損失函數 softmax。最佳化 Adagrad，Momentum。正規化 Weight Decay，Dropout。很適合作為 AlexNet 的輔助教材。分量很重，最好可以分幾次看。

http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLSD15_2.html

-----

本來是想慢慢看完影片，不過還是決定多跑一些 Tutorials。2021/03/24。

-----