深度學習論文研討（三）：深度學習（一）

深度學習論文研討（三）：深度學習（一）

2020/11/25

-----

前言：

台大電機系教授，李宏毅老師機器學習課程的攻略建議。在參加任何收費課程之前，建議都先試一下李宏毅老師免費的線上課程。

-----

http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/DNN%20tip.pdf

# p. 41。

圖一、李。

-----

Summary：

深度學習 [1] 與機器學習 [2] 有何不同？如果用淺顯的話說明，人工智慧分為兩種，會思考的強人工智慧，與不會思考的弱人工智慧，機器學習，屬於弱人工智慧，只是看起來會思考而已，基本上是基於數據的統計模型。類神經網路 NN 是機器學習 ML 裡面的一支。深度學習 DL 則是有平行運算、更深的類神經網路 [3]（以上是「淺顯」的話，請勿過度挑剔）。

深度學習，可以寫一本厚厚的教科書 [4]。這本書賣的很好，中譯本也賣的很好。個人覺得很棒，只是教科書不適於自習。如果要「快速」知道深度學習是什麼，可以讀一下深度學習的經典論文 [5]。讀完之後，你大概知道深度學習可以做什麼，但可能還是不知道深度學習是如何運作的。其實 [5] 的參考文獻有一百多篇，最重要的，作者有加上粗體說明，只是，還是太多。[5] 的另一個缺點是內容已經舊了一點，我從 [5] 的精華裡面，又補充了一些，可以依照順序攻略 [6]。

-----

圖二、人工智慧、機器學習、深度學習 [3]。

-----

圖三、機器學習與深度學習 [4]。

-----

說明：

先看一下圖二，深度學習是機器學習的一支，機器學習是人工智慧的一支。再看一下圖三，資料量少時、機器學習比較佔優勢，資料量多時，深度學習比較佔優勢。網路時代以來，資料量越來越大，所以你就知道，為什麼深度學習 [1] 這麼紅。無論如何，機器學習 [2] 是基礎，有空還是回去複習一下基礎。但不一定要從基礎複習。因為基礎就是假設你線性代數跟機率統計已經修過了。在 [4] 裡面，一開始就複習線性代數跟機率統計，只是點醒你這兩個是根基，超重要。如果你仔細研究一下目錄，其實整本都是線性代數跟機率統計。個人以為這是該書作者在發表生成對抗網路 Generative Adversarial Network，GAN 之後，為了教人讀懂 GAN 這篇論文，才又寫了這本書。

-----

開動：

現在進入主題。你可能聽說，李宏毅老師的機器學習（深度學習）影片很棒，想說先看看。但是影片這麼多，從最早，還是最新，開始看？要每一部影片都看嗎？

目錄是可以先研究一下的。重要的東西，會每年都講。最重要的是哪些？回歸分析、梯度下降、反向傳播。

回歸分析把輸入的資料，跟資料的值，用一條直線或複雜的多項式曲線描述，線建立起來，你就可以用輸入值來預測輸出值，看起來就有點「智慧」的樣子了。神經網路可以說是複雜的「線、超平面」，可以預測較複雜的東西譬如照片的類別。多項式有係數，我們稱為參數。梯度下降法透過更動參數讓結果更準確。至於反向傳播，就是微積分裡面的鍊式法則，因為梯度下降是透過微分找低點，損失函數一微下去，就要用鍊式法則展開。不懂？沒關係，影片講得很好，可以慢慢看，這裡只是告訴你，「回歸分析」、「梯度下降」、「反向傳播」很重要而已。

-----

應用：

如果你喜歡應用，[4] 裡面的 12.2 Computer Vision 電腦視覺跟 12.4 Natural Language Processing 自然語言處理，就是深度學習的兩大應用。CNN 就是 CV 的基礎，RNN、Word Embedding、Seq2seq、Transformer、BERT 就是 NLP 的基礎。可以依照下方的推薦順序觀看影片。

-----

實作：

下方 Tips 跟 Lab 有實作的技巧跟實際練習，這個是更多人感興趣的。

-----

更炫的主題：

DRL 跟 GAN，雖然很炫，不過我建議你不要太快進入。

-----

最後：

如果你對於深入理論很有興趣，我也整理了一份論文清單 [6]，可以參考。祝您有個愉快的深度學習之旅。

-----

◎ 開動。

-----

在底下這份清單中，如果你對機器學習很有興趣，我建議可以先跳過 2014 的 Circuit 以及所有的 Linear Algebra [1]。Circuit 是硬體相關的課程，如果你有注意到，這門課後來並沒有繼續開設。另外，線性代數很重要，不過如果你從線性代數開始機器學習，那放棄的機會很高。比較適合的方式是，先從簡單的機器學習開始，如果覺得想要加強數學，再開始複習線性代數。

Linear Algebra (2020,Fall)

Deep Learning for Human Language Processing (2020,Spring)

Machine Learning (2020,Spring)

Linear Algebra (2019,Fall)

Machine Learning (2019,Spring)

Deep Learning and Human Language Processing (2018,Fall)

Linear Algebra (2018,Fall)

Machine Learning and having it deep and structured (2018,Spring)

Machine Learning (2017,Fall)

Machine Learning and having it deep and structured (2017,Fall)

Machine Learning (2017,Spring)

Machine Learning and having it deep and structured (2017,Spring)

Machine Learning (2016,Fall)

Linear Algebra (2016,Spring)

Machine Learning and having it deep and structured (2015,Fall)

Machine Learning and having it deep and structured (2015,Spring)

Circuit (2014,Fall)

-----

◎ 一、Regression

-----

2016, Fall。(2016/09/30)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML16.html

2017, Spring。(2017/03/02)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17.html

2017, Fall。(2017/09/22)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17_2.html

2019, Spring。(2019/02/21)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML19.html

2020, Spring。(2020/03/26)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML20.html

-----

◎ 二、Gradient Descent

-----

梯度下降法，是機器學習重要的基本觀念之一。

2016, Fall。(2016/10/07)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML16.html

2017, Spring。(2017/03/09, recorded at 2016/10/07)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17.html

2017, Fall。(2017/09/29)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17_2.html

2019, Spring。(2019/02/21)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML19.html

2020, Spring。(2020/03/26)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML20.html

簡單說，神經網路這個函數的輸出值跟實際值的差距，的圖形，在某個權重的維度上，可以看成一座山。x 軸是權重，y 軸是差距。梯度下降就是往下山的方向走一小步。只要方向正確，一直走，理論上就可以下山了。

-----

◎ 三、Back Propagation

-----

2015, Fall。(2015/10/02)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLSD15_2.html

2016, Fall。(2016/10/28)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML16.html

2017, Fall。(2017/10/13)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17_2.html

2019, Spring。(2019/03/07)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML19.html

2020, Spring。(2020/04/30)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML20.html

-----

◎ 四、CNN。

-----

2015, Fall。(2015/09/25)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLSD15_2.html

2016, Fall。(2016/10/28)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML16.html

2017, Spring。(2017/04/06)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17.html

2017, Fall。(2017/10/27)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17_2.html

2019, Spring。(2019/03/14)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML19.html

2020, Spring。(2020/04/30)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML20.html

-----

◎ 五、RNN。

-----

2016, Fall。(2016/12/30)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML16.html

2017, Fall。(2017/11/03)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17_2.html

2019, Spring。(2019/03/28)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML19.html

2020, Spring。(2020/04/30)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML20.html

-----

◎ 六、Word Embedding

-----

2020, Spring。(2020/04/30)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML20.html

-----

◎ 七、Seq2seq。

-----

2019, Spring。(2019/03/28)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML19.html

2020, Spring。(2020/05/21)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML20.html

-----

◎ 八、Transformer。

-----

2019, Spring。(2019/05/30)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML19.html

2020, Spring。(2020/05/21)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML20.html

-----

◎ 九、BERT。

-----

2019, Spring。(2019/06/02)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML19.html

2020, Spring。(2020/05/21)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML20.html

-----

◎ 十、Tips for （Training）Deep Learning（Neural Network）。

-----

2015, Fall。(2015/10/16)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLSD15_2.html

2016, Fall。(2016/11/04)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML16.html

2017, Fall。(2017/10/20)。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17_2.html

-----

◎ 十一、Lab。

-----

2018, Spring。http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.html

2019, Spring。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML19.html

2020, Spring -1。http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML20.html

2020, Spring -2。http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.html

-----

◎ 十二、DRL。

-----

自行搜尋。

-----

◎ 十三、GAN。

-----

自行搜尋。

-----

References

[1] courses

https://speech.ee.ntu.edu.tw/~tlkagk/courses.html

-----

[2] The Star Also Rises: 深度學習論文研討（一）：機器學習（一）

http://hemingwang.blogspot.com/2020/12/hsuan-tien-lin.html

[3] History DL。

Alom, Md Zahangir, et al. "The history began from alexnet: A comprehensive survey on deep learning approaches." arXiv preprint arXiv:1803.01164 (2018).

https://arxiv.org/ftp/arxiv/papers/1803/1803.01164.pdf

-----

[4] Deep Learning Book

https://www.deeplearningbook.org/

[5] Deep Learning Paper。

LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. "Deep learning." nature 521.7553 (2015): 436-444.

https://www2.cs.duke.edu/courses/spring19/compsci527/papers/Lecun.pdf

[6] The Star Also Rises: 深度學習論文研討（四）：深度學習（二）

https://hemingwang.blogspot.com/2020/11/problem.html

-----