Friday, October 27, 2017

新-AI從頭學(一):文獻回顧

新-AI從頭學(一):文獻回顧

2017/10/27

前言:

人工智慧是目前的熱潮,談論人工智慧的文章越來越多,但其實很多非技術背景的作者都不知道他們在講的 AI 到底是什麼,有誤解,有恐懼,也有盲目的樂觀。我把之前的一些文章重新整理,藉以溫故知新。

-----

Summary:

研究者切入新領域時,多從文獻回顧入手 [1]-[7],這也是我在約一年前進入 Deep Learning 所做的事。用「deep learning」、「survey」、「review」等關鍵字到 Google Scholar 查論文 [8]。

一般而言,這是對的。但是你要從 [1]-[7] 追到真正重要的論文 [9], [10],而且下定決心熟讀 [11], [12],有時要看運氣。

-----

[1]-[7] 的關係是:

[1] 引用 [4]。
[2]-[6] 引用 [9]。
[7] 引用 [9] 的稍早版本 [10]。

所以關鍵還是要讀 [9]。

直接讀 [9] 不容易,我認為先快速讀一下 [4] 還不錯,之前我也是如此,其實 [4] 主要就是介紹 [13] 那一堆論文的成果,如果有一天你略讀完 [13],就更能體會 [4] 的重要。

-----

結論:

[4] 裡面的偏微分符號是重點。想知道 AL / Deep Learning 究竟在搞什麼,可以從 [11], [12] 入手。

-----


Fig. 1. LeNet-5 [9].

-----

References

[1] Lacey, Griffin, Graham W. Taylor, and Shawki Areibi. "Deep Learning on FPGAs: Past, Present, and Future." arXiv preprint arXiv:1602.04283 (2016).

[2] Wang, Hao, and Dit-Yan Yeung. "Towards Bayesian Deep Learning: A Survey." arXiv preprint arXiv:1604.01662 (2016).

[3] Schmidhuber, Jürgen. "Deep learning in neural networks: An overview." Neural Networks 61 (2015): 85-117.

[4] LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. "Deep learning." Nature 521.7553 (2015): 436-444.

[5] Yu, Dong, Li Deng, and D. Yu. "Deep Learning Methods and Applications." Foundations and Trends in Signal Processing (2014).

[6] Bengio, Yoshua, Aaron C. Courville, and Pascal Vincent. "Unsupervised feature learning and deep learning: A review and new perspectives." CoRR, abs/1206.5538 1 (2012).

[7] Bengio, Yoshua. "Learning deep architectures for AI." Foundations and trends® in Machine Learning 2.1 (2009): 1-127.

-----

[8] Google 學術搜尋
https://scholar.google.com.tw/

[9] LeCun, Yann, et al. "Gradient-based learning applied to document recognition." Proceedings of the IEEE 86.11 (1998): 2278-2324.

[10] LeCun, Yann, et al. "Backpropagation applied to handwritten zip code recognition." Neural computation 1.4 (1989): 541-551.

-----

[11] AI從頭學(一二):LeNet
http://hemingwang.blogspot.tw/2017/03/ailenet.html

[12] AI從頭學(一三):LeNet - F6
http://hemingwang.blogspot.tw/2017/03/ailenet-f6.html 

[13] Deep Learning Papers Reading Roadmap
https://github.com/songrotek/Deep-Learning-Papers-Reading-Roadmap/blob/master/README.md 

No comments: