AI 從頭學（三九）：Complete Works

AI 從頭學（三九）：Complete Works

2017/08/07

前言：

每當技術文章寫了一陣子，就得來個抬槓時間。本來是要把大全集查完再來個心得分享，不過台灣「人工智慧」社團的版主 Jason Tsai 不吝指教，在下只好勉力以赴，稍作回應。社團的朋友們就當茶餘飯後之笑談即可！：）

Summary：

[1], [2] 是 Deep Learning 的論文清單，包含部分 Deep Reinforcement Learning。[1] 較偏經典，[2] 內容較新。

[3], [4] 則以 Deep Reinforcement Learning 為主。[3] 是較新的論文集結。[4] 則列出經典論文的系譜。 [5] 是 Reinforcement Learning 的公式精選。

[6]-[8] 是 Machine Learning 的資料，算有一點相關性，一併列出。

[9] 是廣泛的 Deep Learning Resources 的精選，CNN 與 RNN 的論文推薦附帶簡潔的 comments！

-----

Fig. 1. Deep reinforcement learning [4].

Fig. 2. Deep reinforcement learning.

Fig. 3. Deep reinforcement learning.

-----

上週六到圖書館加班查論文 [1]，好不容易查完，發現又有新的大全集 [2]，於是興沖沖的貼出 [9]，結果 Jason 大師貼出一段看似潑冷水的留言 [10]。

大體上，不能說大體上，事實上，[10] 這段話是千真萬確的。正因為「全面涉獵精通深度學習各個延伸領域是不切實際的」，所以更要研究這些論文清單，以便找出自己學習的方向。這件事，我每個一段時間就會做一次，大家可以參考圖2跟圖3。

-----

回顧半年多前，在我對 Deep Learning 一無所知的狀態下。其實是從查論文開始的。

讀論文的方式，可分為精讀與略讀。有關精讀，最近我寫的 GoogLeNet 一系列文章可以作為示範。如何選擇要精讀的文章，這個可透過廣泛略讀來達成。

當然，如果一開始就廣泛略讀，這個方法「肯定」也是錯的。還好我的運氣不錯，遇到高人指點，省去不少盲目摸索的時間 [11]。

在此野人獻曝，提供略讀論文的方法：

1. 讀標題。
2. 讀摘要。
3. 以整頁模式瀏覽圖片。
4. 讀參考文獻（查有興趣的）。
5. 到 Google Scholar 上看看有哪些論文引用此略讀的論文（查有興趣的）。

這樣算是「略讀」完一篇。

但是攻略大全集時，步驟4查論文要省略。另外深度學習的經典論文被引用數少則數百，多則上千，步驟5只好也省略。

以上的方式，你可以視為某種 Deep Learning，你要當是 Shallow Learning，也無妨。

若你照表操課，自然可對 [1] 裡面的第一本書，Goodfellow et al. 的 《Deep Learning》一書，起到見山又是山，見水又是水的作用。

-----

結論：

在 Jason 回應之前，我其實也沒想過這個問題 [10]。估計有此雄心壯志之人，是 Jason 自己？：）

-----

出版說明：

五十篇完整版

CNN 9
（LeNet、AlexNet、ZFNet、NIN、GoogLeNet、VGGNet、PreVGGNet、Highway、ResNet）

Semantic Segmentation 4
（FCN、U-Net、Deeplab）、（Mask R-CNN）

Object Detection 14
（SVM、DPM、SS、R-CNN、SPPNet、Fast R-CNN）、（YOLOv1）、（Faster R-CNN、SSD、YOLOv2、FPN、RetinaNet、YOLOv3）、（R-FCN）

Optimization 6
（SGD、Momentum、NAG、AdaGrad、AdaDelta、RMSProp、Adam）

Regularization 2
（Weight Decay、Dropout）

Normalization 5
（Batch、Weight、Layer、Instance、Group）

NLP 10
（LSTM、NNLM、Word2vec、Seq2seq、Attention、ConvS2S、Transformer、ELMo、GPT、BERT）

-----

[1] Deep Learning Papers Reading Roadmap
https://github.com/songrotek/Deep-Learning-Papers-Reading-Roadmap/blob/master/README.md

[2] Deep Learning Papers by Task
https://github.com/sbrugman/deep-learning-papers

[3] A List of Recent Papers Regarding Deep Reinforcement Learning
https://github.com/junhyukoh/deep-reinforcement-learning-papers

[4] Deep Reinforcement Learning Records
https://github.com/tigerneil/awesome-deep-rl

[5] A List of Reinforcement Learning Derivations
http://www.alexirpan.com/rl-derivations/

[6] Must Read Books on Machine Learning Artificial Intelligence
https://www.analyticsvidhya.com/blog/2015/10/read-books-for-beginners-machine-learning-artificial-intelligence/

[7] 16 Free Machine Learning Books
https://hackerlists.com/free-machine-learning-books/?utm_campaign=Data%2BElixir&utm_medium=web&utm_source=Data_Elixir_84

[8] The 10 Algorithms Machine Learning Engineers Need to Know
http://www.iamwire.com/2016/10/the-10-algorithms-machine-learning-engineers-need-to-know/142223 

[9] Marcel Wang：今天查完上次的大全集。沒想到又出現其他更新的版本。 這份新的，2017年的論文比較多，分類也更細一點。上次的大全集，比較偏「經典」吧！

[10] Jason Tsai：想要透過研讀海量的各式論文嘗試全面涉獵精通深度學習各個延伸領域是不切實際的，沒有任何人辦得到。

[11] AI從頭學（四）：AD and LeNet
http://hemingwang.blogspot.tw/2016/12/aiad-and-lenet.html

[12] Awesome-Deep-Learning-Resources_README.md at master · guillaume-chevalier_Awesome-Deep-Learning-Resources · GitHub
https://github.com/guillaume-chevalier/Awesome-Deep-Learning-Resources/blob/master/README.md 

[13] 2017_Deep Reinforcement Learning, An Overview
https://arxiv.org/abs/1701.07274 

[14] 从起源到具体算法，这是一份适合所有人读的深度学习综述论文 _ 机器之心
https://www.jiqizhixin.com/articles/2018-03-12-3 

-----





CV
GitHub - weslynn_AlphaTree-graphic-deep-neural-network  深度神经网络(DNN)与对抗神经网络(GAN)模型总览图示，建立模型发展路书(roadmap),方便大家的理解与学习
https://github.com/weslynn/AlphaTree-graphic-deep-neural-network

# Image Classification
GitHub - weiaicunzai_awesome-image-classification  A curated list of deep learning image classification papers and codes
https://github.com/weiaicunzai/awesome-image-classification

# Object Detection
GitHub - hoya012_deep_learning_object_detection  A paper list of object detection using deep learning
https://github.com/hoya012/deep_learning_object_detection

# Object Detection
GitHub - amusi_awesome-object-detection  Awesome Object Detection based on handong1587 github  https _handong1587.github.io_deep_learning_2015_10_09_object-detection
https://github.com/amusi/awesome-object-detection


# NLP
GitHub - huggingface_transformers  🤗 Transformers  State-of-the-art Natural Language Processing for TensorFlow 2.0 and PyTorch
https://github.com/huggingface/transformers