NIN（二）：Overview

NIN（二）：Overview

2020/12/23

-----

https://pixabay.com/zh/photos/italy-venice-channel-architecture-1797893/

-----

◎ Abstract

-----

◎ Introduction

-----

本論文要解決（它之前研究）的（哪些）問題（弱點）？ 

-----

# ZFNet。

說明：

ZFNet  效能不夠好，加上 NIN 效果好一點點。

-----

◎ Method

-----

解決方法？ 

-----

# NIN

說明：

在特徵圖上某一個點，在特徵圖間，也就是頻道間，加上一個全連接層，訓練權重，調整像素值。也可用來升維或降維。

-----

具體細節？

http://hemingwang.blogspot.com/2021/03/ninillustrated.html

-----

◎ Result

-----

本論文成果。 

-----

◎ Discussion

-----

本論文與其他論文（成果或方法）的比較。 

-----

成果比較。 

-----

Table 1: Test set error rates for CIFAR-10 of various methods.

# NIN

說明：

NIN 加上 Dropout 與資料擴增兩種正則化方法（避免過擬合）明顯優於當時其他演算法在 CIFAR10 上的表現。

-----

方法比較。 

-----

# SENet。

說明：

SENet 不是調整單一像素的值，而是整張特徵圖的值放大或縮小。比例一樣靠訓練。

-----

◎ Conclusion 

-----

◎ Future Work

-----

後續相關領域的研究。 

-----

# GoogLeNet。

說明：

Conv1 被 GoogLeNet 用來升維與降維，獲得極大的成功。

-----

後續延伸領域的研究。

-----

Figure 1: An overview of Neural Architecture Search.

# NAS_RL

說明：

NIN 非直接影響到 NAS，只是用來比較結果。不過 NAS 在 CNN 上面有重要發展。應該說 NAS 在整個深度學習都有很大的影響。

-----

◎ References

-----

# ZFNet。被引用 10795 次。AlexNet 的微調版本，VGGNet 的前驅研究。卷積核的可視化。

Zeiler, Matthew D., and Rob Fergus. "Visualizing and understanding convolutional networks." European conference on computer vision. Springer, Cham, 2014.

https://arxiv.org/pdf/1311.2901.pdf

# NIN。被引用 4475 次。Channel（feature maps） 之間的 fusion。可用於升維或降維（改變特徵圖的數目）。

Lin, Min, Qiang Chen, and Shuicheng Yan. "Network in network." arXiv preprint arXiv:1312.4400 (2013).

https://arxiv.org/pdf/1312.4400.pdf

# SENet。被引用 4780 次。NIN 的特殊版本，可對每張特徵圖的所有權重同時進行 scale。

Hu, Jie, Li Shen, and Gang Sun. "Squeeze-and-excitation networks." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018.

https://openaccess.thecvf.com/content_cvpr_2018/papers/Hu_Squeeze-and-Excitation_Networks_CVPR_2018_paper.pdf

# GoogLeNet。被引用 25849 次。成功將 NIN 的一維卷積運用於大型網路，效能略優於 VGGNet。

Szegedy, Christian, et al. "Going deeper with convolutions." Proceedings of the IEEE conference on computer vision and pattern recognition. 2015.

https://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Szegedy_Going_Deeper_With_2015_CVPR_paper.pdf

# NAS_RL

Zoph, Barret, and Quoc V. Le. "Neural architecture search with reinforcement learning." arXiv preprint arXiv:1611.01578 (2016).

https://arxiv.org/pdf/1611.01578.pdf

-----