AI 從頭學（二六）：AlexNet

AI 從頭學（二六）：AlexNet

2017/05/31

前言：
  
講解 AlexNet，主要是為 Caffe 的實作課程鋪路。

-----

Summary：

AlexNet [1] 扮演承先啟後的角色 [2]-[4]，是現代深度學習網路的基礎。相關卷積神經網路的簡介，可以參考之前的文章 [6]-[10]。

本文介紹 AlexNet 使用的一些技巧，包含 LRN [11], [12]、ReLU [13]、Pooling [14]、Dropout [15]-[18]等。

-----

AlexNet 是現代大型卷積神經網路的濫觴 [1]，自2012年發表以來，到筆者寫稿時間已經有超過12000的引用，粗估每個月有200次引用。我們大約可以說，LeNet [3] 引起機器學習界對於神經網路的關注，AlexNet 引起學術界對深度學習的關注，而 AlphaGo [4] 則引起全世界的人對人工智慧的好奇。

在以問題進入 AlexNet 之前，先說明何謂 Top-1 與 Top-5 [1]。Top-1 的錯誤率指的是圖片正確的標籤是否被準確預測。Top-5 的錯誤率則是，如果你預測的前五個選項包含正解，則此次的預測就算正確。

下面以七則問題來解釋 AlexNet。

-----

Question

Q1: Structure
Q2: GPU
Q3: Augmentation
Q4: LRN
Q5: ReLU
Q6: Pooling
Q7: Dropout

-----

Q1: Structure

AlexNet 的架構，大致可以想像成比較「巨大」的 LeNet，參考圖1.1 與 圖1.3。包含輸入層、卷積層、池化層、全連接層、輸出層等。另外有些層後面也會使用激活函數。2013年提出的 ZFNet則修改了一些參數，提升不少效能，參考圖1.2 與 圖1.4。

-----

Fig. 1.1. AlexNet [1].

Fig. 1.2. Modification of AlexNet [2].

Fig. 1.3. LeNet [3].

Fig. 1.4. Architectural changes of AlexNet [2].

-----

Q2: GPU

當時 AlexNet 率先使用 GPU 並獲得極大的成功。GPU 使用兩塊，而線條與顏色的 C1 filters 每次都會落在不同的 GPU 上 [7]，是值得思考的問題。

-----

Q3: Augmentation

資料擴增有助於降低 overfitting，也就是提升測試時的準確性。由於在 CPU 而不是 GPU 上做，所以對於整體計算時間，可說沒有影響。

第一個方法是 horizontal reflections，也就是左右翻轉。
第二個方法是 altering the intensities of the RGB channels，使用 PCA 改變一點顏色。此處原文並未引用論文，雖然影響不小，對 Top-1 有1%，這邊我們就帶過。

-----

Q4: LRN

Local response normalization (LRN)，局部反應標準化。

這點值得一提。

圖2.1的公式有點複雜，所以我們可以先看看它的靈感來源，從最早的圖2.3先看好了。這是一個 V1-like 的模型，也就是它模仿視覺皮層的第一層的反應。主要概念是減去平均值然後再標準化。圖2.3跟圖2.2都是處理對比，圖2.1由於沒有減去平均值，所以他說他是在處理亮度。裡面的參數是作者調出來的。

Fig. 2.1. Local response normalization, p. 4 [1].

Fig. 2.2. Local contrast normalization, p. 3 [11].

Fig. 2.3. Local input divisive normalization, p. 5 [12].

-----

Q5: ReLU

ReLU 是激活函數的一種，近年來比較多人使用。細節可以參考 [13]。

-----

Q6: Pooling

一般池化區不重疊 [14]。本論文使用重疊的方法，Top-1 錯誤率降低 0.4%，Top-5 降低 0.3%。

-----

Q7: Dropout

很快就講到 dropout 了。Dropout 是很簡單的概念，用在全連接層上。

參考圖3.1，在訓練時丟棄每層上面一些節點，每次丟棄的點是隨機選出，這樣等於每次是在不同的網路上訓練，可以有效避免 overfitting。

圖3.2講的是如果某個節點在訓練時出現的機率是p，由於測試時全部節點都保留，所以權重w要乘上p。

圖3.3是公式，這邊要先講解圖3.5比較清楚。

圖3.5左方是傳統的神經網路，如果我們先隨機產生一個值，1的機率是p，0的機率是(1-p)，然後把值乘上權重再加總，這等於說有乘1被保留，乘0被丟棄，這樣就同時說明了圖3.3的公式與圖3.4的 Bernoulli distribution。

[16] 有深入的說明，[17], [18] 則是簡易的解說。Dropconnect [17] 則是 dropout 的特殊型 [16]，雖然 [17] 聲稱它是一般化，我支持 [16] 的論點。

圖3.6是幾種激活函數搭配 drop 的比較，有意思的是 tanh 搭配 dropout 之後反而變差了！

Fig. 3.1. Dropout neural net model, p. 1930 [15].

Fig. 3.2. A unit at training time and at test time, p. 1931 [15].

Fig. 3.3. Formulae of a standard and dropout network, p. 1933 [15].

Fig. 3.4. Bernoulli distribution, p. 62 [16].

Fig. 3.5. Standard and dropout network, p. 1934 [15].

Fig. 3.6. Drop and activation function p. 5, [20].

-----

結論：

AlexNet 後續的 ZFNet、VGGNet 等都繼承了它的架構，即使是另一個路線的 GoogLeNet，也使用了它的技巧如 dropout 等 [8]，可見 AlexNet 的成功！

-----

References

[1] 2012_Imagenet classification with deep convolutional neural networks

[2] 2014_Visualizing and understanding convolutional networks

[3] 1998_Gradient-Based Learning Applied to Document Recognition

[4] 2016_Mastering the game of Go with deep neural networks and tree search

[5] AI從頭學（一二）：LeNet
http://hemingwang.blogspot.tw/2017/03/ailenet.html

[6] AI從頭學（一三）：LeNet - F6
http://hemingwang.blogspot.tw/2017/03/ailenet-f6.html

[7] AI從頭學（二五）：Kernel Visualizing
http://hemingwang.blogspot.tw/2017/05/aikernel-visualizing.html

[8] AI從頭學（一八）：Convolutional Neural Network
http://hemingwang.blogspot.tw/2017/03/aiconvolutional-neural-network_23.html

[9] AI從頭學（一一）：A Glance at Deep Learning
http://hemingwang.blogspot.tw/2017/02/aia-glance-at-deep-learning.html

[10] AI從頭學（二六）：Aja Huang
http://hemingwang.blogspot.tw/2017/05/aiaja-huang.html

[11] 2009_What is the best multi-stage architecture for object recognition

[12] 2008_Why is real-world visual object recognition hard

[13] mAiLab_0005：Activation Function
http://hemingwang.blogspot.tw/2017/05/mailab0005activation-function.html

[14] mAiLab_0006：Pooling
http://hemingwang.blogspot.tw/2017/05/mailab0006pooling.html 

[15] 2014_Dropout, a simple way to prevent neural networks from overfitting

[16] 2016_Deep Learning

[17] 2013_Regularization of neural networks using dropconnect

[18] 2013_Maxout networks

AI 從頭學（二五）：AlphaGo

AI 從頭學（二五）：AlphaGo

2017/05/24

以四勝一負在2016年擊敗李世乭的 AlphaGo [1]，在2017/5/23，再度以1/4目之差，小勝持黑的柯潔 [2]。AlphaGo 背後的靈魂人物，說是 Aja Huang 也不為過 [1]。

-----

Fig. 1. 黃士傑與AlphaGo對弈李世乭 [1]。

Fig. 2. 第 24 手「大飛」，第 54 手「斷」[2].

-----

Aja Huang 是台師大資工博士，碩士班跟博士班的題目都是圍棋 [1]。看完與柯潔的對奕之後，我特地找了他的博士論文來看 [3]，參考文獻裡看似只有一篇跟深度學習有關 [4]，其餘多屬強化學習的 MCTS [3]。

不過這篇 backpropagation [4] 並非我們熟悉的 BP 演算法 [5]。回過頭來再看 2016 年 DeepMind 發表的論文 [6]，在 Huang 專門的 MCTS 之上，導入近年來最熱的深度學習 [7]，Policy Network、Value Network、MCTS 三缺一不可，才是致勝的關鍵。

用 CNN 來下圍棋並非 DeepMind 首創 [8]，早在1996年，即有學者提出用類神經網路下圍棋的概念 [9]。

[6]、[7]、[8]、[10] 一路追下去，[10] 這篇應該可以算是 AlphaGo alpha 版，裡面 CNN、TD、MCTS 都有。還不到十年，棋王就已不敵...

更早一點的研究，還有 [11]-[14]。

-----

References

[1] 創造AlphaGo的台灣「土博士」，他們眼中的黃士傑 _ 端傳媒 Initium Media
https://theinitium.com/article/20170116-taiwan-AlphaGo/

[2] 柯潔為何說「輸得沒脾氣」？8 個問題解讀人機大戰第一局 - INSIDE 硬塞的網路趨勢觀察
https://www.inside.com.tw/2017/05/23/analyzing-alphago-versus-ke-jie-round-1

[3] 應用於電腦圍棋之蒙地卡羅樹搜尋法的新啟發式演算法 SC Huang - 臺灣師範大學資訊工程研究所學位論文, 2011

[4] 2009_Backpropagation modification in Monte-Carlo game tree search

[5] AI從頭學（九）：Back Propagation
http://hemingwang.blogspot.tw/2017/02/aiback-propagation.html

[6] 2016_Mastering the game of Go with deep neural networks and tree search

[7] 2015_Move evaluation in Go using deep convolutional neural networks

[8] 2014_Teaching deep convolutional neural networks to play Go

[9] 1996_The integration of a priori knowledge into a Go playing neural network

[10] 2008_Mimicking go experts with convolutional neural networks

[11] 2003_Local move prediction in Go

[12] 2003_Evaluation in Go by a neural network using soft segmentation

[13] 1996_The integration of a priori knowledge into a Go playing neural network

[14] 1994_Temporal difference learning of position evaluation in the game of Go

AI從頭學（）：Generative Adversarial Nets

AI從頭學（）：Generative Adversarial Nets

2017/05/23

前言：

施工中...

Summary：

Generative Adversarial Nets (GAN) [1] 自2014年推出以來，引 AI 界起很大的熱潮。GAN 的概念，是由 generative net (GN) 跟 discriminative net (DN) 相互對抗，最後 DN 不再能分辨 GN 生成的圖片是真是假，GN 就成功了（能產生以假亂真的圖片）。Adversarial 的觀念是新的，而 generative 跟 discriminative 的觀念則已超過十年 [2]。

有關 GAN 的簡單介紹，可以參考 [3], [4]，較深入的討論，則可參考 [5]-[10]。[11], [12] 則有視覺化的訓練可以參考。

Log likelihood 是學習 GAN 的基礎 [13]-[16]。另外我們可以參考其他的論文來瞭解 GN [17]-[22]。最後則提供徹底掌握 GAN 所需的資料 [23]-[26]。

其實，以上資料並不足以徹底掌握 GAN。Wasserstein GAN [27]-[31] 才是完備的 GAN。而 Kullback–Leibler divergence [32] 與 Jensen–Shannon divergence [33] 算是基礎。

-----

Outline：

1. Formula
2. Generative Net
3. Deep Generative Models

本文重點有三：

1. GAN 公式
2. 生成網路構造
3. 瞭解 GAN 所需之相關資料

-----

Fig. 1.1a. Backpropagate derivatives through generative processes, p. 2 [1].

Fig. 1.1b. Random variable and probability distribution, p. 57 [23].

Fig. 1.1c. Expectation, p. 60 [23].

Fig. 1.1d. Normal distribution, also known as the Gaussian distribution, p. 63 [23].

-----

Fig. 1.2a. D and G play the following two-player minimax game with value function V (G;D), p. 3 [1].

Fig. 1.2b. The model can then be trained by maximizing the log likelihood, p. 2 [1].

Fig. 1.2c. Decomposition into the positive phase and negative phase of learning, p. 608 [23].

Fig. 1.3. Generative adversarial nets are trained by simultaneously updating the discriminative distribution, p. 4 [1].

Fig. 1.4. Minibatch stochastic gradient descent training of generative adversarial nets, p.4 [1].

Fig. 2.1a. DCGAN generator used for LSUN scene modeling, p. 4 [17].

Fig. 2.1b. A 100 dimensional uniform distribution Z, p. 4 [17].

Fig. 2.2. The architecture of the generator in Style-GAN, p. 324 [18].

Fig. 2.3. Text-conditional convolutional GAN architecture, p. 4 [19].

Fig. 2.4. A deconvnet layer (left) attached to a convnet layer (right), p. 822 [20].

Fig. 3.1. Deep generative models, p. vi [23].

Fig. 3.2. Deep learning taxonomy, p. 492 [24].

Fig. 3.3. Chapters 16-19, p. 671 [23].

Fig. 3.4. From section 3.14 to chapter 16, p. 560 [23].

Fig. 4.1. Fully-observed models [6].

Fig. 4.2. Transformation models [6].

Fig. 4.3. Latent bariable models [6].

Fig. 5.1. Probabilistic modeling of natural images, p. 563 [23], p. 8 [26].

Fig. 5.2. An illustration of the slow mixing problem in deep probabilistic models, p. 604 [23].

Fig. 5.3. Positive phase and negative phase, p. 611 [23].

Fig. 5.4. The KL divergence is asymmetric, p. 76 [23].



-----

References

1 GAN

[1] 2014_Generative adversarial nets

[2] 2007_Generative or discriminative, getting the best of both worlds

-----

2 GAN Internet

[3] 生成对抗式网络(Generative Adversarial Networks) – LHY's World
http://closure11.com/%E7%94%9F%E6%88%90%E5%AF%B9%E6%8A%97%E5%BC%8F%E7%BD%91%E7%BB%9Cgenerative-adversarial-networks/

[4] 能根據文字生成圖片的GAN，深度學習領域的又一新星 GigCasa 激趣網
http://www.gigcasa.com/articles/465963

[5] 深度学习与生成式模型 - Solomon1558的专栏 - 博客频道 - CSDN.NET
http://blog.csdn.net/solomon1558/article/details/52512459

[6] 生成式对抗网络GAN研究进展（一） - Solomon1558的专栏 - 博客频道 - CSDN.NET
http://blog.csdn.net/solomon1558/article/details/52537114

[7] 生成式对抗网络GAN研究进展（二）——原始GAN - Solomon1558的专栏 - 博客频道 - CSDN.NET
http://blog.csdn.net/solomon1558/article/details/52549409

[8] 生成式对抗网络GAN研究进展（三）——条件GAN - Solomon1558的专栏 - 博客频道 - CSDN.NET
http://blog.csdn.net/solomon1558/article/details/52555083

[9] 生成式对抗网络GAN研究进展（四）——Laplacian Pyramid of Adversarial Networks，LAPGAN - Solomon1558的专栏 - 博客频道 - CSDN.NET
http://blog.csdn.net/solomon1558/article/details/52562851

[10] 生成式对抗网络GAN研究进展（五）——Deep Convolutional Generative Adversarial Nerworks，DCGAN - Solomon1558的专栏 - 博客频道 - CSDN.NET
http://blog.csdn.net/solomon1558/article/details/52573596

[11] An introduction to Generative Adversarial Networks (with code in TensorFlow) – AYLIEN
http://blog.aylien.com/introduction-generative-adversarial-networks-code-tensorflow/

[12] Adverarial Nets
http://cs.stanford.edu/people/karpathy/gan/

-----

3 log likelihood

[13] 2009_Deep Boltzmann machines

[14] Likelihood function - Wikipedia
https://en.wikipedia.org/wiki/Likelihood_function

[15] 1.4 - Likelihood & LogLikelihood _ STAT 504
https://onlinecourses.science.psu.edu/stat504/node/27

[16] Chapter 18 Confronting the Partition Function
http://www.deeplearningbook.org/contents/partition.html

-----

4 Generator

[17] 2016_Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks

[18] 2016_Generative image modeling using style and structure adversarial networks

[19] 2016_Generative adversarial text to image synthesis

[20] 2014_Visualizing and understanding convolutional networks

[21] 2011_Adaptive deconvolutional networks for mid and high level feature learning

[22] 2016_A guide to convolution arithmetic for deep learning

-----

5 Goodfellow

[23] 2016_Deep Learning
https://github.com/HFTrader/DeepLearningBook/raw/master/DeepLearningBook.pdf

[24] 2016_Practical Machine Learning

[25] 2009_Learning multiple layers of features from tiny images

[26] 2011_Unsupervised models of images by spike-and-slab RBMs

-----

6 Goodfellow

[27] 2016_NIPS 2016 Tutorial, Generative Adversarial Networks

-----

7 Wasserstein GAN

[28] 令人拍案叫绝的Wasserstein GAN - 知乎专栏
https://zhuanlan.zhihu.com/p/25071913

[29] 生成式对抗网络GAN有哪些最新的发展，可以实际应用到哪些场景中？ - 知乎
https://www.zhihu.com/question/52602529/answer/158727900

[30] 2017_Towards principled methods for training generative adversarial networks

[31] 2017_Wasserstein GAN

[32] 2017_ Improved training of Wasserstein GANs

[33] Kullback–Leibler divergence - Wikipedia
https://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence

[34] Jensen–Shannon divergence - Wikipedia
https://en.wikipedia.org/wiki/Jensen%E2%80%93Shannon_divergence

GAN Warm Up 1 - Log Likelihood

GAN Warm Up 1 - Log Likelihood

2017/03/30

前言，GAN 整個寫出來會很長，所以先暖身一下，以免受到運動傷害！

-----

我看版上的同好對 GAN [1] 都蠻感興趣的，當然我自己也是。論文其實不容易看懂，在查閱一些網路文章的解說之後，原理不難瞭解。鑑別網路D要判斷生成網路G的圖片是不是屬於真實的圖片資料庫。

用個很宅的比喻：比克跟神本來就是同一個。一會兒比克出招，神餵招。一會兒神出招，比克餵招。在一連串的練功之後，神再也分辨不出比克生成的圖片是真是假，比克贏了，Goodfellow 就達成了他的目的，讓比克成為超級的偽幣製造者，神退場。

鑑別網路D可以是一般的CNN，生成網路G概念上比較困難。但直觀上只是把鑑別網路D倒過來訓練，餵入亂數，生成圖片。文獻上看到的多是一個一百維的亂數產生器。所以重點還是在訓練。

[1] 裡面有兩個公式，分別是圖1.1a跟圖1.2a。這兩個公式是本篇論文的核心。謹尊Mark的教誨，看到公式不要跳過去，要直指核心，才能花開見佛。所以在上面的概念粗具之後，我們可以來仔細探究這兩個公式為何？

打開統計學課本，其實符號與論文並不一致。後來想到 [2] 裡面有機率的章節，所以可以把統計部分的定義搞定。至於極限與梯度，請自行參閱微積分課本。圖1.1a可以用圖1.1b、1.1c、1.1d把它分解，完全瞭解。分別是隨機變數、期望值函數、以及高斯（常態）分布。

-----

Fig. 1.1a. Gradient, p. 2, [1]

Fig. 1.1b. Random variable, p. 57, [2].

Fig. 1.1c. Expectation function, p. 60, [2].

Fig. 1.1d. Gaussian distribution, p. 63, [2]

-----

接下來是本論文的重頭戲，圖1.2a的訓練公式。主旨要max D, min G。有了上面的定義分解，這個公式只剩下 log 這個可疑份子。如何搞定它，其實論文這一節上頭一開始，圖1.2b就告訴我們可以參考 [3]。有關 log likelihood，可以看一下圖1.2c，在 [2] 的18.1這一節用了兩頁解釋。

-----

Fig. 1.2a. GAN training formula, p. 2, [1].

Fig. 1.2b. Log likelihood reference 1, p. 2, [1].

Fig. 1.2c. Log likelihood reference 1, p. 606, [2].

-----

所以如果 log likelihood 搞定，GAN 應該也差不多就搞定了！

有這麼簡單嗎？其實我認為 GAN 算是 Goodfellow 的 Debut，為了讓大家了解 [1]，他才寫了 [2]，GAN 躲在 [2] 的第二十章 DEEP GENERATIVE MODELS 裡的第十節的 Deep Generative Nets 的第四小節 Generative Adversarial Neworks 裡，但整本書，包括前面的數學、中間基本的章節、後面高段的模型，都可說是用來烘托 GAN 的出場！

所以，GAN 可說不難，也可說很難。

本段熱身，報告完畢！

-----

References

[1] 2014_Generative adversarial nets

[2] 2016_Deep Learning
http://www.deeplearningbook.org/

[3] 2009_Deep Boltzmann machines

-----

Marcel Wang： http://www.cs.toronto.edu/....../Deep_generative_models.pdf

李盈： https://nips.cc/Conferences/2016/Schedule?showEvent=6202NIPS 2016 tutorial 也有詳細的介紹 包含generative model有甚麼用途、如何work、和一些研究。 論文版：https://arxiv.org/abs/1406.2661

Marcel Wang： http://aliensunmin.github.io/project/accv16tutorial/media/generative.pdf

AI 從頭學（二七）：ZFNet

AI 從頭學（二七）：ZFNet

2017/05/19

前言：

學習 DL 的路上充滿幸運：

第一個是建議實做 LeNet。 然後才有 LeNet實作團。

第二個是 Jason 辦了讀書會一起研讀 Goodfellow 以及 Sutton 的教科書，雖然時間受限沒辦法參加讀書會，但是瀏覽過這兩本書後，對 DRL 的架構清楚很多。

第三個是 Winston 推薦了兩篇論文，還讓他的學生幫忙指導以及討論。現在 DRL實作團也誕生了！

答謝的最好方式是散播幸運...

-----

Summary：

AlexNet [1] 的 feature maps 怎麼 show 出來，[2] 有詳細的說明。[3] 也展示了最後一層的 feature maps。值得一提的是 [3] 的架構被 GoogLeNet [4] 所吸收。

本篇只簡單描述研讀 kernel visualizing 的經驗。

-----

Fig. 1.1. An illustration of the architecture of AlexNet [1].

圖1.1 是 AlexNet 的架構，大體上可以想成是巨型的 LeNet。之所以分成兩路，其中一個原因是硬體的限制，要拆開分別在兩塊 GPU 上面跑。

Fig. 1.2. 96 convolutional kernels learned by the first convolutional layer. The top 48 kernels were learned on GPU 1 while the bottom 48 kernels were learned on GPU 2 [1].

圖1.2 是 conv layer 1 的 feature maps，上面可以看到是一些 edge filters。下面則跟色彩有關。這兩者構成一張圖。

關於這張圖，我的好奇心是：線條跟彩度是如何被分開在兩塊 GPU，隨機的嗎？

Fig. 2.1a. Architecture of revised AlexNet model [2].

圖2.1a 是 AlexNet 修改過的架構。主要是靠窮舉法去把適合的參數找出來。

Fig. 2.1b. A deconvnet layer (left) attached to a convnet layer (right) [2].

圖2.1b 展示了 feature maps 如何利用 deconvolution 「還原」成可以「看」的圖。除了最底層的 edge filter 比較直觀之外，高層的 feature maps 大部分是看不出東西的。說「大部分」，是因為有些最高層的 feature maps 可以看出物體的形狀，參考 [3]。

Fig. 2.2a. Visualization of features in a fully trained model [2].

圖2.2a 是 Layer 1 跟 Layer 2 的視覺化 features。經還原後可以看出 Layer 2 已經有比直線更複雜一點的結構。

Fig. 2.2b. (a): 1st layer features [1]. (b): 1st layer features [2]. (c): 2nd layer features [1]. (d): 2nd layer features [2].

圖2.2b 比較 AlexNet 跟改良版有何不同。改良版的圖「漂亮」一點。所謂漂亮，這裡指的是彩度跟解析都提高了！意味著訊息被保留較多。

Fig. 2.2c. Visualization of features in a fully trained model [2].

圖2.2c 是最高層的 feature maps 「被還原」，可以看到跟原圖很接近的形狀。

Fig. 2.2d. Three test examples [2].

圖2.2d，(a)是輸入的圖片。(b)是熱圖：高強度的數值以紅色表示，低強度的數值則是以藍色來表示。(c)是利用 deconvolution 把 feature maps 還原成類似原圖。(d)是這個圖是「對」的圖的機率高不高。(e)是這個圖最可能是哪一種。機率圖可參考 [6]。

Fig. 3.1a. Comparison of linear convolution layer and mlpconv layer [3].

圖3.1a，左邊是傳統的 convolutional layers，右邊可以看到插進去兩層的全連接層。

Fig. 3.1b. The overall structure of Network In Network [3].

圖3.1b，NiN的架構。

Fig. 3.2a. Visualization of the feature maps from the last mlpconv layer [3].

圖3.2a是接近輸出層的 feature maps。

Fig. 3.2b. Visualization of the automobile feature map from the last mlpconv layer [3].

Fig. 3.2c. Visualization of the automobile feature map from the last mlpconv layer [3].

汽車是最明顯的！

-----

結論：

要看中間的 feature maps，可以利用 deconvolution [2]。

-----

References

[1] 2012_Imagenet classification with deep convolutional neural networks

[2] 2014_Visualizing and understanding convolutional networks

[3] 2013_Network in network

[4] 2015_Going deeper with convolutions

[5] Heat map - Wikipedia
https://en.wikipedia.org/wiki/Heat_map 

[6] Handwritten Digit Recognition Using A Naive Bayes Classifier Trained With MNIST _ Me, Myself and AI
https://gettingintoai.wordpress.com/2014/09/01/firstmlexperience/