Thursday, March 08, 2018

PyTorch(九):Seminar Introduction

PyTorch(九):Seminar Introduction

2018/03/06

本文張貼網址:

https://www.facebook.com/groups/2027602154187130/permalink/2094773947469950/

前言:

幫研討會準備的介紹。

-----


Fig. 1. Deep Learning [2].

-----



Fig. 2. CNN and R-CNN [3]。

-----

內容簡介:

本活動以深度學習經典論文研討為主。台北與新竹每週都有實體的研討會,目前分別於台大與清大舉行,除論文研討外尚有 PyTorch 實作演練 [1]。

Ian Goodfellow 的經典教科書很棒,但是不易入門 [2]。所以我安排了 CNN 與 R-CNN 各六篇論文作為第一步 [2],另外配合 R-CNN 還準備了六篇輔助論文 [3]。第二波規劃的十八篇是 optimization、regularization、以及較新的 CNN 與 R-CNN。

-----

下面簡單介紹一下名詞:

CNN 的中文名稱是卷積神經網路 [4],可以用來辨識影像的內容。

R-CNN 系列則是從圖片中選取數個物體,再加以辨識 [5], [6]。

Optimization 簡單來說就是加快運算(模型的收斂)。「代價函數的優化 (Optimization) 是機器學習的重要研究目標,也就是:如何找到優化的最佳解(誤差的最小值)?如何用更快的方式逼近最佳解? 如何逼近最佳解有很多種不同的演算法,最典型的方法是採用隨機梯度下降法 (Stochastic Gradient Descent)。」[7]。

Regularization 則是避免模型針對訓練資料集做得太好,但實際結果不佳。最基本的方法是 weight decay [8]。

Optimization 跟 regularization 在 Goodfellow 的教科書中各有一章專門討論 [2]。

-----

那什麼是模型呢?以 CNN 為例,你從大量的圖片資料庫,歸納出一個可以判斷物體種類的演算法,這個演算法就是一個模型。現在最熱的深度學習就是從大量的資料中找到一個模型可以幫你處理資料。譬如圖片、影片、音樂、文字等等。如自駕車、聊天機器人都屬於最熱的應用。

整個主題很龐大,有興趣者可以先閱讀參考資料,然後再提出問題。當然,你可能很怕提出笨問題,或者別人就叫你去 google。不過,我就是從問笨問題,以及 google,開始我的深度學習之旅的 [9]。

下次的主題是 LeNet,然後你無可避免的會碰到 BP,這個就是我認為學習 deep learning 最好的開始!

祝您旅途愉快!:)

-----

References

[1] PyTorch Taiwan(目錄)
http://hemingwang.blogspot.tw/2017/11/pytorch-taiwan.html

[2] 深入淺出 Deep Learning(一):Introduction
http://hemingwang.blogspot.tw/2018/01/aideep-learning-in-120-mins.html

[3] PyTorch(六):Seminar
http://hemingwang.blogspot.tw/2018/03/deep-learning.html 

[4] 卷積神經網絡 - 維基百科,自由的百科全書
https://zh.wikipedia.org/wiki/%E5%8D%B7%E7%A7%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C

[5] 關於影像辨識,所有你應該知道的深度學習模型 – Steven Shen – Medium
https://medium.com/@syshen/%E7%89%A9%E9%AB%94%E5%81%B5%E6%B8%AC-object-detection-740096ec4540

[6] 深度學習目標檢測模型全面綜述:Faster R-CNN、R-FCN和SSD - 幫趣
http://bangqu.com/89Nc1n.html

[7] 類神經網路的復興:深度學習簡史 – StockFeel 股感知識庫
https://www.stockfeel.com.tw/%E9%A1%9E%E7%A5%9E%E7%B6%93%E7%B6%B2%E8%B7%AF%E7%9A%84%E5%BE%A9%E8%88%88%EF%BC%9A%E6%B7%B1%E5%BA%A6%E5%AD%B8%E7%BF%92%E7%B0%A1%E5%8F%B2/

[8] AI從頭學(三二):Weight Decay
http://hemingwang.blogspot.tw/2017/06/aiweight-decay.html 

[9] AI從頭學(目錄)
http://hemingwang.blogspot.tw/2016/12/ai_20.html 

[10] 深入淺出 Deep Learning(二):LeNet & BP
http://hemingwang.blogspot.tw/2018/02/deep-learninglenet-bp.html

No comments: