AI 從頭學（二一）：A Glance at Deep Reinforcement Learning

AI 從頭學（二一）：A Glance at Deep Reinforcement Learning

2017/04/06

前言：

資料很多，先理出個頭緒以便按圖索驥。

-----

Summary：

Deep learning (DL) [1]-[40] + reinforcement l earning (RL) [41]-[44] =  Deep reinforcement learning (DRL) [45]-[53]。

這四個多月以來，我利用下班時間自學一點 DL [1]-[20]。嚴格說來，不能算是完全自學，因為社團內的先進很熱心，陸陸續續受到 Jason、Winston 等先進的指導，所以還算蠻順利的。最近因為 Jason 除了原來 DL 的讀書會之外 [29]，新增了 RL 的讀書會 [41]，而我也獲得新的 DRL 資訊 [20]，所以藉這個機會，重新擬定一下自己的讀書計畫，參考圖1.1。

一開始，我查了一些回顧性質的論文 [1]，隨著 S/W tools 的貼文 [2]，引來一連串的討論 [3]-[8]，而我也開始從 BP [9]、AD [10]、LeNet [12], [13]、CNN [18]、RNN [19] 一路看下來。與此同時，我還是不斷地問自己，DL 是什麼 [1], [11], [17], [20]？

整理完 DRL 的參考資料，大約可說稍有概念了！


 

Fig. 1.1. Deep reinforcement learning.

-----

Introduction

AI 要如何定義，圖1.2告訴我們，由淺入深是 ML、RL、DL。圖1.3則是把相關技術分為 Deep、Shallow，Supervised、Unsupervised。圖 1.4則是舉出另外還有 Reinforcement Learning。結合 DL 與 RL，目前 DRL 是一重要的發展方向。

到目前為止，我大概可以對 DL 下個不算精確的定義隨時提醒自己：DL 為一連續可微的函數表現為多層的網路，其輸入與輸出均為向量。每層前半為線性，後半段為非線性。f(x, w, b) = y，訓練的目的在於找出 w、b 值使得所有 x 輸入的誤差很小。其方法是 BP，對某個 x 輸入固定時，w、b 為變數，沿著讓 cost function 的偏導數變小的方向調整 w、b，則可讓誤差函數慢慢收斂。

以上這段是寫給自己的，不懂的人看不懂，懂得的人不用看。

以下共分六部分，A、B、C 為基礎到進階的 DL。D 為 RL，E、F 為 DRL，參考圖1.1，數字為我幫自己設計的課程順序。本文主要以解釋順序為主。

Fig. 1.2. AI, p. 9 [29].

Fig. 1.3. Deep learning taxonomy, p. 492 [28].

Fig. 1.4. Machine learning, p. 515 [28].
 
-----

A, 01-07

Part A 屬於 DL 的基礎部分，有關這個，我特別想推薦 [28]，這本書有電子版可以下載。它寫的不算很好，有的地方太簡略。但好處是 DL 就一章，RL 也一章，你不用在一開始就去啃 [29]，即使我現在對於CNN [18] 與 RNN [19] 已經有一點瞭解，[29] 的相關章節我還是認為不容易閱讀。

論文的部分，[23] 是可以先看一下的，因為它主要是介紹性質。[21] 裡面有好幾種基本架構簡介，也是可以反覆閱讀的。這樣先熱身一下，接下來就可以專攻 LeNet 了 [12]。

-----

B, 08-10

RNN 是可以記憶的單元，加上 Controller，則有 Neural Turing Machine (NTM)、Differential Neural Computer (DNC ) 與 Memory Augmented Neural Network (MANN) 的架構 [30]-[37]。

-----

C, 11-15

這個部分主要是生成模型。

圖 2.1a 指出，Autoencoders (AE) 之後是 RL。看 Deep Generative Models (DGM) 之前也得先看 AE。

Boltzmann Machine 在二十章前半部，VAE 與 GAN 都藏身在 20.10 裡，參考圖2.2a。

Fig. 2.1a. Deep Learning, p. 12 [29].

Fig. 2.1b. Autoencoder, p. 501 [28].

Fig. 2.1c. Representation learning, [38].

Fig. 2.2a. Deep generative models, [29].

Fig. 2.2b. Restricted Boltzmann machine, p. 498 [28].

-----

D, 16-23

有關 Representation Learning，[41] 這本不容易啃，所以我從 [28] 裡面先把重點找出來，首先是四個比較重要的技術，分別是 Dynamic Programming (DP)、Monte Carlo Methods (MCM)、 Temporal Difference (TD) Learning、以及 Policy Gradient Method (PGM)。

MCM 很重要，[29] 裡也有一章。TD 可能是最重要的，參考圖3.2a。所以我也找了 Q-Learning 的資料 [43], [44]。

從圖3.1a中，我們知道，Markov Decision Process (MDP) 跟 Functional Approximation (FA) 是基礎。FA 在 [41] 裡面有不少章，但是想看懂 AlphaGo [50] 的話，少不了 FA，所以整本 [41] 還是跑不掉的。

MDP，簡單來說就是sars，參考圖3.1b。

Fig. 3.1a. RL basis, p. 513 [28].

Fig. 3.1b. Basic RL model, p. 524 [28].

Fig. 3.2a. RL methods, p. 513 [28].

Fig. 3.2b. Q-learning, p. 537 [28].

Fig. 3.2c. Actor-Critic, p. 538 [28].

-----

E, 24-27

[45] 有很詳細的 DRL 介紹，包含今年 2017 的出版論文。ATARI 電玩是 DQN、S3C、UNREAL 這幾篇論文的重點 [46]-[49]。

-----
 
F, 28-34

最後是 AlphaGo [50]，這個有好幾篇中文文章介紹它用的技術 [11]，除了 CNN 之外，還用到 PGM [51] 以及 MCTS [52], [53]。由於這個 PGM 有用到 function approximation，所以要把 [41] 讀完，才能真正瞭解 AlphaGo。

-----


結論：

很快把 DRL 整個帶過一遍。算是地圖而非旅遊指南。後面還有很長的路要走呢！

-----

Fig. 4.1a. Policy gradient method [50].

Fig. 4.1b. Policy and value networks [50].

Fig. 4.1c. Monte Carlo tree search (MCTS) [50].

Fig. 4.2. Actor-critic artificial neural network and a hypothetical neural implementation, p. 340 [41].

-----

References

[1] AI從頭學（一）：文獻回顧

[2] AI從頭學（二）：Popular Deep Learning Software Tools

[3] AI從頭學（三）：Popular Deep Learning Hardware Tools

[4] AI從頭學（四）：AD and LeNet

[5] AI從頭學（五）：AD and Python

[6] AI從頭學（六）：The Net

[7] AI從頭學（七）：AD and Python from Jason

[8] AI從頭學（八）：The Net from Mark

[9] AI從頭學（九）：Back Propagation

[10] AI從頭學（一０）：Automatic Differentiation

[11] AI從頭學（一一）：A Glance at Deep Learning

[12] AI從頭學（一二）：LeNet

[13] AI從頭學（一三）：LeNet - F6

[14] AI從頭學（一四）：Recommender

[15] AI從頭學（一五）：Deep Learning，How？

[16] AI從頭學（一六）：Deep Learning，What？

[17] AI從頭學（一七）：Shallow Learning 

[18] AI從頭學（一八）：Convolutional Neural Network

[19] AI從頭學（一九）：Recurrent Neural Network

[20] AI從頭學（二０）：Deep Learning，Hot 

[21] Wang, Hao, and Dit-Yan Yeung. "Towards Bayesian Deep Learning: A Survey." arXiv preprint arXiv:1604.01662 (2016).

[22] Lacey, Griffin, Graham W. Taylor, and Shawki Areibi. "Deep learning on fpgas: Past, present, and future." arXiv preprint arXiv:1602.04283 (2016).

[23] LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. "Deep learning." Nature 521.7553 (2015): 436-444.

[24]Schmidhuber, Jürgen. "Deep learning in neural networks: An overview." Neural networks 61 (2015): 85-117.

[25]Deng, Li, and Dong Yu. "Deep learning: methods and applications." Foundations and Trends® in Signal Processing 7.3–4 (2014): 197-387.

[26] Bengio, Yoshua, Aaron C. Courville, and Pascal Vincent. "Unsupervised feature learning and deep learning: A review and new perspectives." CoRR, abs/1206.5538 1 (2012).

[27] Bengio, Yoshua. "Learning deep architectures for AI." Foundations and trends® in Machine Learning 2.1 (2009): 1-127.

[28] Gollapudi, Sunila . Practical machine learning. Packt Publishing, 2016.

[29] Goodfellow, Ian, Yoshua Bengio, and Aaron Courville. Deep learning. MIT Press, 2016.
http://www.deeplearningbook.org/

[30] 

[31] 程式編寫程式：泛用人工智慧領域的一顆明珠 - 歌穀穀
http://www.gegugu.com/2017/03/16/9050.html

[32] 深度學習挑戰馮·諾依曼結構_幫趣網
bangqu.com/gpu/blog/5239

[33] 深度學習的新方向 One-shot learning - George's Research Website
http://tzuching1.weebly.com/blog/-one-shot-learning

[34] Olah, Chris, and Shan Carter. "Attention and Augmented Recurrent Neural Networks." Distill 1.9 (2016): e1.
http://distill.pub/2016/augmented-rnns/

[35] Graves, Alex, Greg Wayne, and Ivo Danihelka. "Neural turing machines." arXiv preprint arXiv:1410.5401 (2014).

[36] Graves, Alex, et al. "Hybrid computing using a neural network with dynamic external memory." Nature 538.7626 (2016): 471-476.

[37] Santoro, Adam, et al. "One-shot learning with memory-augmented neural networks." arXiv preprint arXiv:1605.06065 (2016).

[38] Bengio, Yoshua, Aaron Courville, and Pascal Vincent. "Representation learning: A review and new perspectives." IEEE transactions on pattern analysis and machine intelligence 35.8 (2013): 1798-1828.

[39] Doersch, Carl. "Tutorial on variational autoencoders." arXiv preprint arXiv:1606.05908 (2016).

[40] Goodfellow, Ian, et al. "Generative adversarial nets." Advances in neural information processing systems. 2014.

[41] Sutton, Richard S., and Andrew G. Barto. Reinforcement learning: An introduction. (2016): 424.
http://incompleteideas.net/sutton/book/bookdraft2016sep.pdf

[42] Heidrich-Meisner, Verena, et al. "Reinforcement learning in a nutshell." ESANN. 2007.

[43] Watkins, Christopher JCH, and Peter Dayan. "Q-learning." Machine learning 8.3-4 (1992): 279-292.

[44] Artificial Intelligence - foundations of computational agents -- 11_3_3 Q-learning
http://artint.info/html/ArtInt_265.html

[45] Li, Yuxi. "Deep reinforcement learning: An overview." arXiv preprint arXiv:1701.07274 (2017).
 
[46] 深度增強學習前沿算法思想 - 歌穀穀
http://www.gegugu.com/2017/02/17/1360.html

[47] Mnih, Volodymyr, et al. "Human-level control through deep reinforcement learning." Nature 518.7540 (2015): 529-533.
 
[48] Mnih, Volodymyr, et al. "Asynchronous methods for deep reinforcement learning." International Conference on Machine Learning. 2016.

[49] Jaderberg, Max, et al. "Reinforcement learning with unsupervised auxiliary tasks." arXiv preprint arXiv:1611.05397 (2016).

[50] Silver, David, et al. "Mastering the game of Go with deep neural networks and tree search." Nature 529.7587 (2016): 484-489.

[51] Sutton, Richard S., et al. "Policy gradient methods for reinforcement learning with function approximation." NIPS. Vol. 99. 1999.

[52] Browne, Cameron B., et al. "A survey of monte carlo tree search methods." IEEE Transactions on Computational Intelligence and AI in games 4.1 (2012): 1-43.

[53] Huang, Shih-Chieh, and Martin Müller. "Investigating the limits of Monte-Carlo tree search methods in computer Go." International Conference on Computers and Games. Springer International Publishing, 2013.