AlexNet（二）：Overview

AlexNet（二）：Overview

2020/12/28

-----

https://pixabay.com/zh/photos/alexanderplatz-berlin-alex-tv-tower-1222650/

-----

◎ Abstract

-----

◎ Introduction

-----

本論文要解決（它之前研究）的（哪些）問題（弱點）？ 

-----

# LeNet 1998。

說明：

LeNet 使用的資料集 MNIST，圖片大小是 28 x 28，訓練集數目為 20K，測試集數目為 10K。類別數目為 10。

https://scidm.nchc.org.tw/dataset/mnist

ILSVRC 使用 ImageNet 的子集，在 1000 個類別中的每個類別中大約包含 1000 張圖像。 總共大約有 120 萬張訓練圖像，50,000 張驗證圖像和 150,000 張測試圖像。（論文資料）。

從 LeNet 到 AlexNet，網路大小變大，各種技巧也增加很多。

-----

# PreVGGNet 2011。

說明：

使用 GPU。小型資料集。加寬無效，加深有效。

-----

◎ Method

-----

解決方法？ 

-----

# AlexNet。

說明：

參考具體細節。

-----

具體細節？

https://hemingwang.blogspot.com/2020/12/illustrated-alexnet.html

-----

◎ Result

-----

本論文成果。 

-----

◎ Discussion

-----

本論文與其他論文（成果或方法）的比較。 

-----

成果比較。 

-----

# 2010

說明：

可以看到效果比之前最好的結果好很多。

-----

# 2012

說明：

在多個類似模型的平均，以及整個 ImageNet 2011 Fall 預訓練，都有些微的改善。

-----

方法比較。 

-----

◎ Conclusion 

-----

◎ Future Work

-----

後續相關領域的研究。 

-----

# ZFNet 2013。

說明：

參數的微調，結果稍微改善。

-----

後續延伸領域的研究。

-----

# AlphaGo 2016。

說明：

搭配強化學習，在圍棋的人工智慧上取得極大突破，乃至戰勝職業棋手。

-----

◎ References

-----

# LeNet。被引用 31707 次。經典的卷積神經網路，主要比 HDR 多了全連接層。

LeCun, Yann, et al. "Gradient-based learning applied to document recognition." Proceedings of the IEEE 86.11 (1998): 2278-2324.

http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf

# PreVGGNet

Cireşan, Dan C., et al. "High-performance neural networks for visual object classification." arXiv preprint arXiv:1102.0183 (2011).

https://arxiv.org/pdf/1102.0183.pdf

# AlexNet。被引用 74398 次。較早使用 GPU 的大型卷積神經網路之一，效能比之前有飛躍的提升，成功使用 dropout 避免 overfitting。

Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "Imagenet classification with deep convolutional neural networks." Advances in neural information processing systems 25 (2012): 1097-1105.

https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

# ZFNet

Zeiler, Matthew D., and Rob Fergus. "Visualizing and understanding convolutional networks." European conference on computer vision. Springer, Cham, 2014.

https://cdanfort.w3.uvm.edu/csc-reading-group/zeiler-eccv-2014.pdf

# AlphaGo

Silver, David, et al. "Mastering the game of Go with deep neural networks and tree search." nature 529.7587 (2016): 484-489.

https://web.iitd.ac.in/~sumeet/Silver16.pdf

-----