The Star Also Rises: Keras Selected

Keras Selected

2014/04/13

-----

如何深度，怎樣學習（三小時的深度學習入門介紹）

一、十個 Colab 上的 Keras 實作介紹。

二、實際動手跑一次 Simple MNIST convnet。

三、LeNet 與 AlexNet 核心技術與網路架構的網路資源。

-----

第一小時、介紹篇

-----

# History DL。

Alom, Md Zahangir, et al. "The history began from alexnet: A comprehensive survey on deep learning approaches." arXiv preprint arXiv:1803.01164 (2018).

https://arxiv.org/ftp/arxiv/papers/1803/1803.01164.pdf

機器學習與深度學習。

說明：

兩者核心皆為：資料、模型、訓練、推論。

一般而言，資料多時，深度學習的效果較好。

-----

# History DL。

Alom, Md Zahangir, et al. "The history began from alexnet: A comprehensive survey on deep learning approaches." arXiv preprint arXiv:1803.01164 (2018).

https://arxiv.org/ftp/arxiv/papers/1803/1803.01164.pdf

人工智慧、機器學習、深度學習。

說明：

機器學習是人工智慧的一支。深度學習是機器學習的一支。

脈衝神經網絡

譯自英文-尖峰神經網絡是與自然神經網絡更接近的人工神經網絡。除了神經元和突觸狀態之外，SNN還將時間概念納入其操作模型中。這個想法是SNN中的神經元不會在每個傳播週期中傳輸信息，而是僅在膜電位（與膜電荷相關的神經元的內在特性）達到特定值（稱為閾值）時才傳輸信息。维基百科（英文)

-----

https://keras.io/examples/

說明：

Keras 的實作設計很適合初學者，只要從頭到尾一直做就可以了。某個實作如果執行不順，可以練習一下 debug，也可以直接跳過去。

-----

◎ CV

-----

一、K01_Image classification from scratch（推薦：★★★★★ ）

https://keras.io/examples/vision/image_classification_from_scratch/

說明：

二元分類，貓與狗。

-----

# LeNet

二、K02_Simple MNIST convnet（推薦：★★★★★ ）

https://keras.io/examples/vision/mnist_convnet/

# LeNet。被引用 31707 次。經典的卷積神經網路，主要比 HDR 多了全連接層。

LeCun, Yann, et al. "Gradient-based learning applied to document recognition." Proceedings of the IEEE 86.11 (1998): 2278-2324.

http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf

https://hemingwang.blogspot.com/2020/12/illustrated-lenet.html

說明：

0 到 9 的阿拉伯數字辨識。

-----

三、K03_Image segmentation with a U-Net-like architecture（推薦：★★★★★ ）

https://keras.io/examples/vision/oxford_pets_image_segmentation/

說明：

Semantic Segmentation 語意分割，簡單說，把某一種類別的像素標示起來，譬如說把貓塗黑。語意分割特別可以用在醫學上與自駕車。

-----

四、Object Detection with RetinaNet

https://keras.io/examples/vision/retinanet/

說明：

偵測出物件的位置，然後偵測物件的類別。

-----

◎ NLP

-----

五、Sequence to sequence learning for performing number addition

https://keras.io/examples/nlp/addition_rnn/

# History DL。

Alom, Md Zahangir, et al. "The history began from alexnet: A comprehensive survey on deep learning approaches." arXiv preprint arXiv:1803.01164 (2018).

https://arxiv.org/ftp/arxiv/papers/1803/1803.01164.pdf

說明：

這是一個很簡單的實作，也很有趣。加法器。架構是 LSTM。資料可以自己生成。一開始錯很多，進行到十五次以後，基本上就正確了。

-----

六、Character-level recurrent sequence-to-sequence model

https://keras.io/examples/nlp/lstm_seq2seq/

說明：

用 LSTM 實現機器翻譯。

-----

# Transformer。被引用 13554 次。

Vaswani, Ashish, et al. "Attention is all you need." Advances in neural information processing systems. 2017.

https://papers.nips.cc/paper/7181-attention-is-all-you-need.pdf

七、Text classification with Transformer

https://keras.io/examples/nlp/text_classification_with_transformer/

說明：

用 Transformer 進行文本分類。

-----

# BERT。被引用 12556 次。

Devlin, Jacob, et al. "Bert: Pre-training of deep bidirectional transformers for language understanding." arXiv preprint arXiv:1810.04805 (2018).

https://arxiv.org/pdf/1810.04805.pdf

八、Text Extraction with BERT

https://keras.io/examples/nlp/text_extraction_with_bert/

說明：

用 BERT 進行文字抽取 Q&A。

-----

Rajpurkar, Pranav, Robin Jia, and Percy Liang. "Know what you don't know: Unanswerable questions for SQuAD." arXiv preprint arXiv:1806.03822 (2018).

-----

◎ Generative Deep Learning

-----

九、Neural style transfer

https://keras.io/examples/generative/neural_style_transfer/

說明：

風格轉換。

-----

十、Actor Critic Method

https://keras.io/examples/rl/actor_critic_cartpole/

說明：

學習到保持木棍的平衡。

-----

# DRL Survey

Arulkumaran, Kai, et al. "Deep reinforcement learning: A brief survey." IEEE Signal Processing Magazine 34.6 (2017): 26-38.

https://www.gwern.net/docs/rl/2017-arulkumaran.pdf

-----

第二小時、實作篇

-----

K02_Simple MNIST convnet（推薦：★★★★★ ）

https://keras.io/examples/vision/mnist_convnet/

說明：

一、實作一個例子

二、切換至英文模式

三、切換至 GPU 模式

-----

第三小時、理論篇

-----

LeNet：

◎ Gradient Descent 梯度下降、Back Propagation 反向傳播。

AlexNet：

◎ ReLU 激活函數、Dropout 丟棄網路、

◎ Weight Decay 權重衰減、Momentum 動量。

-----

深度學習基礎理論

http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLSD15_2.html

https://hemingwang.blogspot.com/2021/02/lee.html

-----

# LeNet。被引用 31707 次。經典的卷積神經網路，主要比 HDR 多了全連接層。

LeCun, Yann, et al. "Gradient-based learning applied to document recognition." Proceedings of the IEEE 86.11 (1998): 2278-2324.

http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf

01a：LeNet

LeNet 論文（別人翻譯）

https://blog.csdn.net/qianqing13579/article/details/71076261

LeNet 簡介

https://hemingwang.blogspot.com/2020/12/lenet.html

LeNet 詳解

https://hemingwang.blogspot.com/2020/12/illustrated-lenet.html

-----

# AlexNet

Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "Imagenet classification with deep convolutional neural networks." Advances in neural information processing systems 25 (2012): 1097-1105.

https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

01b：AlexNet

AlexNet 論文翻譯（已完成）

http://hemingwang.blogspot.com/2021/03/alexnetpaper-translation.html

AlexNet 簡介（已完成）

https://hemingwang.blogspot.com/2020/12/alexnet.html

AlexNet 詳解（已完成）

https://hemingwang.blogspot.com/2020/12/illustrated-alexnet.html

-----