LeNet（二）：Overview

LeNet（二）：Overview

2020/12/04

-----

https://pixabay.com/zh/photos/keys-numbers-numeric-keypad-phone-917202/

-----

-----

Outline

一、Introduction

二、Method

三、Result

四、Discussion

五、Conclusion and Future Work

-----

◎ Abstract

-----

◎ Introduction

-----

本論文要解決（它之前研究）的（哪些）問題（弱點）？ 

答：效能不夠好。HDR 為 LeNet 作者群之前的研究。HDR 為 1989 年的論文，是第一個使用反向傳播法訓練的卷積神經網路，架構跟 1998 的 LeNet-5 類似，不過少了全連接層。

-----

# HDR。

-----

# HDR。

-----

◎ Method

-----

解決方法？ 

-----

# LeNet。

-----

具體細節？

https://hemingwang.blogspot.com/2020/12/illustrated-lenet.html

-----

◎ Result

-----

本論文成果。 

-----

◎ Discussion

-----

本論文與其他論文（成果或方法）的比較。 

-----

成果比較。 

-----

# LeNet。

說明：

較值得一提的是 SVM 跟 CNN 效能接近。ANN 則差了些。

-----

方法比較。 

-----

◎ Conclusion 

-----

◎ Future Work

-----

後續相關領域的研究。 

-----

# AlexNet。

說明：

2012 的 AlexNet，讓類神經網路進入深度學習的時代。

-----

後續延伸領域的研究。

-----

# CNNSC。

說明：

卷積也可以用在 NLP。一維卷積 ConvS2S 也是用這個。

-----

◎ References

-----

# HDR。被引用 3589 次。針對數字的手寫辨識，較早的神經網路架構，無全連接層。

LeCun, Yann, et al. "Handwritten digit recognition with a back-propagation network." Advances in neural information processing systems 2 (1989): 396-404.

https://papers.nips.cc/paper/1989/file/53c3bce66e43be4f209556518c2fcb54-Paper.pdf

# LeNet。被引用 31707 次。經典的卷積神經網路，主要比 HDR 多了全連接層。

LeCun, Yann, et al. "Gradient-based learning applied to document recognition." Proceedings of the IEEE 86.11 (1998): 2278-2324.

http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf

# AlexNet。被引用 74398 次。較早使用 GPU 的大型卷積神經網路之一，效能比之前有飛躍的提升，成功使用 dropout 避免 overfitting。

Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "Imagenet classification with deep convolutional neural networks." Advances in neural information processing systems 25 (2012): 1097-1105.

https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

# CNNSC。被引用 9534 次。

Kim, Yoon. "Convolutional neural networks for sentence classification." arXiv preprint arXiv:1408.5882 (2014).

https://arxiv.org/pdf/1408.5882.pdf

-----