Wednesday, October 28, 2020

From Statistics to Deep Learning

From Statistics to Deep Learning

2020/10/28

-----


https://pixabay.com/zh/photos/mathematics-formula-smartphone-3348991/

-----

Gaussian Distribution(Formula)

Linear Regression(Least Squares)

Polynomial Regression(Curve Fitting)

Logistic Regression(Gradient Descent)

Machine Learning

Representation Learning(Neuron)

Deep Learning

-----

Tuesday, October 27, 2020

What's the main points of LSTM?

What's the main points of LSTM?

2020/10/27

-----


-----

-----

一、基礎學習與論文理解(70%)。


◎ 1. 可以從這篇論文學到什麼(解決什麼問題)? 

◎ A. 問題原因。 

◎ 1.a.1:過往這個領域已經做到甚麼程度?

◎ 1.a.2:最近的研究遇到了甚麼瓶頸?

◎ 1.a.3:議題發生的根本原因是甚麼?


◎ B. 解決方法。 

◎ 1.b.1:作者採用甚麼方式解決?

◎ 1.b.2:細節內容是如何解決的?

◎ 1.b.3:(optional)- 作者是否有說明思路? - 或是後續研究者的討論?


◎ C. 效能評估。 

◎ 1.c.1:成果效能的比較。

◎ 1.c.2:目前這個方法是否還有限制,是甚麼?

◎ 1.c.3:(optional)- 作者對後續發展的期許? - 其他研究者後續的發展?


二、後續發展與延伸應用(30%)


◎ 2. 可以應用在那些垂直領域(應用領域)? 

◎ 3. 這篇論文的價值在哪(如何跨領域延伸應用)? 

◎ 4. 如果要改進可以怎麼做(後續的研究)?

-----

-----

References

相關論文

延伸論文

六、LSTM - Kiki LSTM LSTM Lab NNLM、(C&W、RNNLM) Word2vec、LSA、GloVe、FastText v1 v2、WordRank)

-----

What's the main points of YOLO?

What's the main points of YOLO?

2020/10/27

-----


-----

-----

一、基礎學習與論文理解(70%)。


◎ 1. 可以從這篇論文學到什麼(解決什麼問題)? 

◎ A. 問題原因。 

◎ 1.a.1:過往這個領域已經做到甚麼程度?

◎ 1.a.2:最近的研究遇到了甚麼瓶頸?

◎ 1.a.3:議題發生的根本原因是甚麼?


◎ B. 解決方法。 

◎ 1.b.1:作者採用甚麼方式解決?

◎ 1.b.2:細節內容是如何解決的?

◎ 1.b.3:(optional)- 作者是否有說明思路? - 或是後續研究者的討論?


◎ C. 效能評估。 

◎ 1.c.1:成果效能的比較。

◎ 1.c.2:目前這個方法是否還有限制,是甚麼?

◎ 1.c.3:(optional)- 作者對後續發展的期許? - 其他研究者後續的發展?


二、後續發展與延伸應用(30%)


◎ 2. 可以應用在那些垂直領域(應用領域)? 

◎ 3. 這篇論文的價值在哪(如何跨領域延伸應用)? 

◎ 4. 如果要改進可以怎麼做(後續的研究)?

-----

-----

References

相關論文

延伸論文

五、YOLO - Sam YOLO YOLO Lab SSD、(DSSD、YOLO v2、FPN、RetinaNet、YOLOv3) YOLO v4

-----

What's the main points of FCN?

What's the main points of FCN?

2020/10/27

-----


-----

-----

個人對於週日論文研討的期望如下: 

1. 可以從這篇論文學到什麼(解決什麼問題)? 

A. 問題原因。 

B. 解決方法。 

C. 效能評估。 

2. 可以應用在那些垂直領域(應用領域)? 

3. 這篇論文的價值在哪(如何跨領域延伸應用)? 

4. 如果要改進可以怎麼做(後續的研究)?

-----

問一:可以從這篇論文學到什麼(解決什麼問題)? 

答一:

-----

問一A:問題原因。 

答一A:

-----

問一B:解決方法。 

答一B:

-----

問一C:效能評估。 

答一C:

-----

問二:可以應用在那些垂直領域(應用領域)? 

答二:

-----

問三:這篇論文的價值在哪(如何跨領域延伸應用)?

答三:

-----

問四:如果要改進可以怎麼做(後續的研究)?

答四:

-----

References

相關論文

延伸論文

四、FCN - 聖耀 FCN、(U-Net、V-Net、3D U-Net、Attention U-Net、Skip Connections、U-Net++、MultiResUNet、DC-UNet) FCN Lab、(3D U-Net Lab) Faster R-CNN Mask R-CNN、(MS R-CNN、

-----

What's the main points of ResNet?

What's the main points of ResNet?

2020/10/27

-----


-----

-----

一、基礎學習與論文理解(70%)。


◎ 1. 可以從這篇論文學到什麼(解決什麼問題)? 

◎ A. 問題原因。 

◎ 1.a.1:過往這個領域已經做到甚麼程度?

◎ 1.a.2:最近的研究遇到了甚麼瓶頸?

◎ 1.a.3:議題發生的根本原因是甚麼?


◎ B. 解決方法。 

◎ 1.b.1:作者採用甚麼方式解決?

◎ 1.b.2:細節內容是如何解決的?

◎ 1.b.3:(optional)- 作者是否有說明思路? - 或是後續研究者的討論?


◎ C. 效能評估。 

◎ 1.c.1:成果效能的比較。

◎ 1.c.2:目前這個方法是否還有限制,是甚麼?

◎ 1.c.3:(optional)- 作者對後續發展的期許? - 其他研究者後續的發展?


二、後續發展與延伸應用(30%)


◎ 2. 可以應用在那些垂直領域(應用領域)? 

◎ 3. 這篇論文的價值在哪(如何跨領域延伸應用)? 

◎ 4. 如果要改進可以怎麼做(後續的研究)?

-----

-----

References

相關論文

ResNet v1

ResNet-D

ResNet v2

ResNet-E

ResNet-V

延伸論文

三、ResNet - Leo ResNet v1、(ResNet-D、ResNet v2、ResNet-E、ResNet-V) ResNet Lab WRN、(PyramidNet、ResNeXt) DenseNet、(DPN、DLA、Res2Net)

-----

What's the main points of NIN?

What's the main points of NIN?

2020/10/27

-----


-----

-----

一、基礎學習與論文理解(70%)。


◎ 1. 可以從這篇論文學到什麼(解決什麼問題)? 

◎ A. 問題原因。 

◎ 1.a.1:過往這個領域已經做到甚麼程度?

◎ 1.a.2:最近的研究遇到了甚麼瓶頸?

◎ 1.a.3:議題發生的根本原因是甚麼?


◎ B. 解決方法。 

◎ 1.b.1:作者採用甚麼方式解決?

◎ 1.b.2:細節內容是如何解決的?

◎ 1.b.3:(optional)- 作者是否有說明思路? - 或是後續研究者的討論?


◎ C. 效能評估。 

◎ 1.c.1:成果效能的比較。

◎ 1.c.2:目前這個方法是否還有限制,是甚麼?

◎ 1.c.3:(optional)- 作者對後續發展的期許? - 其他研究者後續的發展?


二、後續發展與延伸應用(30%)


◎ 2. 可以應用在那些垂直領域(應用領域)? 

◎ 3. 這篇論文的價值在哪(如何跨領域延伸應用)? 

◎ 4. 如果要改進可以怎麼做(後續的研究)?

-----

-----

References

相關論文

NIN

SENet、SKNet、STNet、RANet、BAM、CBAM、RASNet。

延伸論文

GoogLeNet(Inception v1)、Batch Normalization(Inception v2)、Inception v3、Inception v4。

VGGNet、PreVGGNet、Highway v1、Highway v2。

-----

What's the main points of LeNet?

What's the main points of LeNet?

2020/10/27

-----


-----

-----

一、基礎學習與論文理解(70%)。


◎ 1. 可以從這篇論文學到什麼(解決什麼問題)? 

◎ A. 問題原因。 

◎ 1.a.1:過往這個領域已經做到甚麼程度?

◎ 1.a.2:最近的研究遇到了甚麼瓶頸?

◎ 1.a.3:議題發生的根本原因是甚麼?


◎ B. 解決方法。 

◎ 1.b.1:作者採用甚麼方式解決?

◎ 1.b.2:細節內容是如何解決的?

◎ 1.b.3:(optional)- 作者是否有說明思路? - 或是後續研究者的討論?


◎ C. 效能評估。 

◎ 1.c.1:成果效能的比較。

◎ 1.c.2:目前這個方法是否還有限制,是甚麼?

◎ 1.c.3:(optional)- 作者對後續發展的期許? - 其他研究者後續的發展?


二、後續發展與延伸應用(30%)


◎ 2. 可以應用在那些垂直領域(應用領域)? 

◎ 3. 這篇論文的價值在哪(如何跨領域延伸應用)? 

◎ 4. 如果要改進可以怎麼做(後續的研究)?

-----

-----

References

相關論文

# LeNet

# 1989

延伸論文

# AlexNet

# PreAlexNet

# ZFNet

# PreZFNet

# Deconv

-----

Friday, October 23, 2020

Language

Language

2020/10/23

-----


https://pixabay.com/zh/photos/love-hate-german-text-language-2644155/

-----

-----


-----


-----

-----




-----


-----


http://dcc.dickinson.edu/grammar/latin/case-endings-five-declensions

-----


https://www.pinterest.com/pin/119767671312510959/

-----


第一語言與第二語言

「1997 年一個雙語實驗顯示:第一和第二語言大腦處理的區塊不相同,尤其第二語言的區域更是因人而異。實驗者給法文為母語,英文為第二語言的受試者聽法文和英文的故事,同時做核磁共振的大腦掃瞄,結果發現第一語言都在左腦的顳葉處理」,右邊的顳葉雖然也有活化,但是活化程度大不如左。但是第二語言學習的區域就很不一致了,在他的八位男性受試者中(都是7歲以後開始學英文)找不到一個至少六個人有共同處的地方,第二語言的處理都轉到右腦去了」,即使左腦有活化也遠比右腦弱。也就是說,第一語言的學習通常是左腦皮質的任務,但是第二語言會因每個人的學習策略而異。」

https://parents.hsin-yi.org.tw/Library/Article/5609

https://blog.xuite.net/tcpang/twblog/157224124-%E5%BE%9E%E5%A4%A7%E8%85%A6%E7%A5%9E%E7%B6%93%E7%A7%91%E5%AD%B8%E7%9A%84%E8%A7%92%E5%BA%A6%E7%9C%8B%E8%AA%9E%E6%96%87%E5%AD%B8%E7%BF%92

-----


https://www.vectorstock.com/royalty-free-vector/human-brain-anatomy-card-poster-vector-20498832

-----


https://www.vectorstock.com/royalty-free-vector/cartoon-human-brain-anatomy-in-a-cut-vector-13237286

-----



左腦與右腦

◎ 右腦發達的人對所接收的訊息,是用符號、圖像,或圖案來記憶,因此可以一次記住大量的訊息。如同使用相機拍成照片再處理成影像及圖案,作為記憶。此外,右腦發達的人在感受外界的五感(視聽嗅觸味五覺)刺激時,會依照當下的感受留存記憶,這也是右腦的特性之一。因此,右腦是屬於圖像腦

◎ 右腦型的人,發揮情感、欣賞藝術的腦細胞集中在右半球。知覺和想像力較強、高創造性、不拘泥於局部分析,往往會統觀全局及大膽猜測,是屬於直覺型結論。

◎ 左腦發達的人,記憶時並不是依據圖案,而是用文字語言來熟稔,對牢記背誦的科目較為擅長。對於五感的刺激,會將當時的感受轉化為言語並留存記憶,因此,左腦是屬於言語腦

◎ 左腦型的人,理解數學和語言的腦細胞集中在左半球。處理事情比較有邏輯、條理,社交場合上較活躍,善於組織、統計、方向感強。判斷各種關係和因果 善於做技術類、抽象等工作。

https://www.chinatimes.com/realtimenews/20151005004166-260405?chdtv

-----


https://pixabay.com/zh/photos/hypnosis-clock-pocket-watch-4041583/

https://hemingwang.blogspot.com/2019/01/history-of-natural-language-processing.html

-----


https://practicalpie.com/edward-thorndike/

-----


語料庫

「十九世紀語言學家 Kading (1897) 曾使用一千多萬個德文字來計算德文中字母出現的頻率,但將語料研究應用在英語教學領域的先驅,則要從Thorndike (1921)」、Palmer (1933)、Fries and Traver (1940) 與 Bongers (1947) 所做的字頻 (word count) 開始算起。他們從 1927 年到 1957 年期間大量匯集語料,1957 年之後則開始以語料為基礎做研究。」

http://www.cavesbooks.com.tw/CET/ArtContent_tw.aspx?CDE=ART201308271330094HD

-----


https://hemingwang.blogspot.com/2020/07/introduction-to-natural-language.html

-----


https://hemingwang.blogspot.com/2020/07/introduction-to-natural-language.html

-----


https://hemingwang.blogspot.com/2020/07/introduction-to-natural-language.html

-----


https://hemingwang.blogspot.com/2020/07/introduction-to-natural-language.html

-----

Japanese

Japanese

2020/10/23

-----


https://pixabay.com/zh/photos/tea-warm-cup-hot-drink-cup-of-tea-1040653/

-----


https://taiwan.kinokuniya.com/bw/9789579926300

-----



https://www.amazon.co.jp/%E3%83%99%E3%83%8D%E3%83%83%E3%82%BB%E6%96%B0%E4%BF%AE%E5%9B%BD%E8%AA%9E%E8%BE%9E%E5%85%B8-%E7%AC%AC%E4%BA%8C%E7%89%88-%E4%B8%AD%E9%81%93-%E7%9C%9F%E6%9C%A8%E7%94%B7/dp/4828865683/ref=sr_1_1?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&dchild=1&keywords=%E3%83%99%E3%83%8D%E3%83%83%E3%82%BB+%E5%9B%BD%E8%AA%9E%E8%BE%9E%E5%85%B8&qid=1603415182&sr=8-1

-----


https://jp.sonic-learning.com/2016/06/07/seiri/

-----


http://aozoraroudoku.jp/index.html

-----

Wednesday, October 21, 2020

English

 English

2020/10/21

-----


https://pixabay.com/zh/photos/capital-england-famous-london-2653/

-----


如何學好英文 

大概就是幾個要點: 


一:成寒,從聽力開始。 

二:鄭贊容,除了聽力以外,要知道學習型辭典。 

三:George Chen,學習型辭典詳解。 

四:六本學習型辭典。 

五:Crocodile 在六本學習型辭典中的解釋。 

六:柳林中的風聲簡易版。 

七:柳林中的風聲完整版。

-----


https://tw.bid.yahoo.com/item/%E8%BA%BA%E8%91%97%E5%AD%B8%E8%8B%B1%E6%96%87%E9%99%84%E7%A2%9F%E6%99%82%E5%A0%B1%E5%87%BA%E7%89%88%E6%88%90%E5%AF%92%E8%91%97%E8%81%BD%E5%8A%9B%E5%BE%9E%E9%9B%B6%E5%88%B0%E6%BB%BF%E5%88%862003%E5%B9%B413-100856578605

-----


https://shopee.tw/%E3%80%90%E5%A4%A7%E9%A0%AD%E8%B2%93%E5%95%86%E9%8B%AA%E3%80%91%E3%80%8A%E7%B5%95%E7%89%88%E4%BA%8C%E6%89%8B%E6%9B%B8%E3%80%8B%E9%81%A0%E6%B5%81-%E5%8D%83%E8%90%AC%E5%88%A5%E5%AD%B8%E8%8B%B1%E8%AA%9E-%E9%84%AD%E8%B4%8A%E5%AE%B9-%E5%8F%A4%E8%91%A3-%E6%94%B6%E8%97%8F-%E6%9B%B8%E7%B1%8D-book-%E7%A6%AE%E7%89%A9-%E6%AD%A3%E7%89%88-%E7%8F%BE%E8%B2%A8-%E3%80%8E%E9%99%90%E6%99%82%E5%85%8D%E9%81%8B%E3%80%8F-i.33211563.3156336644

-----


http://georgechen.tw/?page_id=21

-----

-----

-----


https://www.youtube.com/watch?v=lpC7MnHmNqE

-----


https://www.amazon.co.uk/Macmillan-English-Dictionary-Advanced-learners/dp/1405026286

-----


http://georgechen.idv.tw/wordpress/?p=1561

-----


https://www.amazon.co.uk/Longman-Dictionary-Contemorary-English-Contemporary/dp/1405811269

-----


http://georgechen.idv.tw/wordpress/?p=1561

-----


https://www.pinterest.com/pin/454652524852056658/

-----


https://onepiece.fandom.com/zh/wiki/%E6%B2%99%C2%B7%E5%85%8B%E6%B4%9B%E5%85%8B%E9%81%94%E7%88%BE?variant=zh-sg

-----


https://www.crane.com.tw/Book/Detail?bokid=1700005&vtmc=0010

-----


https://librivox.org/the-wind-in-the-willows-by-kenneth-grahame-3/

-----

Monday, October 19, 2020

Regularization

Regularization

2020/10/19

-----


https://pixabay.com/zh/photos/health-fitness-health-is-wealth-4861815/

----- 

Regularization
https://hemingwang.blogspot.com/2019/10/an-overview-of-regularization.html 
https://hemingwang.blogspot.com/2019/10/regularization.html

-----


Regularization 一般被翻譯成正則化。正則化比較難以理解,所以讀者只要想成是避免過擬合即可。

那什麼叫過擬合呢?簡單說,機器學習,或者說統計學,是要從有限的樣本裡面,歸納出一個模型,用來預測真實世界裡面的無窮資料。如果我們過份考慮資料集的資料,則訓練出來的模型,就很可能無法預測資料集以外的資料。正則化,就是避免過擬合的一些方法的總稱。

-----


◎ Weight Decay、L2、L1、L0、

◎ Early Stopping、

◎ Fully Connected Networks(Dropout、DropConnect、)

CNN(DropPath、Scheduled DropPath、
Shake-Shake、ShakeDrop、
Spatial Dropout、Cutout、DropBlock、)

RNN(Fast Dropout、RNN Regularization、
Variational Dropout、Information Dropout、
rnnDrop、DropEmbedding、Recurrent Dropout、Zoneout、AWD-LSTM、)

Attention(DropAttention、)

◎ Label Smoothing、

◎ Pairing Samples、Mixup。 

----- 

Weight Decay
https://hemingwang.blogspot.com/2019/12/weight-decay.html

L2
https://hemingwang.blogspot.com/2019/12/l2.html

L1
https://hemingwang.blogspot.com/2019/12/l1.html

L0
https://hemingwang.blogspot.com/2019/12/l0.html

-----

Early Stopping 
https://hemingwang.blogspot.com/2019/12/early-stopping.html 

----- 

// FNN 

Dropout
https://hemingwang.blogspot.com/2020/09/dropout.html
https://hemingwang.blogspot.com/2019/12/dropout.html 

Dropconnect
https://hemingwang.blogspot.com/2019/12/dropconnect.html

----- 

// CNN

DropPath(FractalNet)
https://hemingwang.blogspot.com/2019/12/droppath.html

ResNet-D
https://hemingwang.blogspot.com/2019/11/resnet-d.html 

NASNet(Scheduled DropPath)
https://hemingwang.blogspot.com/2019/12/scheduled-droppath.html

Shake-Shake
https://hemingwang.blogspot.com/2019/12/shake-shake.html

ShakeDrop
https://hemingwang.blogspot.com/2019/12/shakedrop.html

Spatial Dropout
https://hemingwang.blogspot.com/2019/12/spatial-dropout.html 

Cutout
https://hemingwang.blogspot.com/2019/12/cutout.html

DropBlock
https://hemingwang.blogspot.com/2019/12/dropblock.html

-----

// RNN

Fast Dropout 
https://hemingwang.blogspot.com/2019/12/fast-dropout.html 

RNN Regularization 
https://hemingwang.blogspot.com/2019/12/rnn-regularization.html 

Variational Dropout
https://hemingwang.blogspot.com/2019/12/variational-dropout.html

Information Dropout
https://hemingwang.blogspot.com/2019/12/information-dropout.html

rnnDrop
https://hemingwang.blogspot.com/2019/12/rnndrop.html

DropEmbbeding
https://hemingwang.blogspot.com/2019/12/dropembbeding.html 

Recurrent Dropout
https://hemingwang.blogspot.com/2019/12/recurrent-dropout.html

Zoneout
https://hemingwang.blogspot.com/2019/12/zoneout.html

AWD-LSTM
https://hemingwang.blogspot.com/2019/12/awd-lstm.html 

-----

// Self Attention

DropAttention 
https://hemingwang.blogspot.com/2019/12/dropattention.html

-----

// Data Augmentation

Pairing Samples
http://hemingwang.blogspot.com/2019/12/pairing-samples.html

Mixup
http://hemingwang.blogspot.com/2019/12/mixup.html

----- 

Optimization

Optimization

2020/10/12

-----


https://pixabay.com/zh/photos/stopwatch-gears-work-working-time-3699314/

-----


https://www.neuraldesigner.com/blog/5_algorithms_to_train_a_neural_network

-----



https://blog.slinuxer.com/2016/09/sgd-comparison


Fig. Optimization。

-----



-----




-----





-----



-----




-----


http://www.stat.cmu.edu/~ryantibs/convexopt-F18/lectures/quasi-newton.pdf

-----


https://en.wikipedia.org/wiki/Quasi-Newton_method

-----


https://zh.wikipedia.org/wiki/%E8%8E%B1%E6%96%87%E8%B4%9D%E6%A0%BC%EF%BC%8D%E9%A9%AC%E5%A4%B8%E7%89%B9%E6%96%B9%E6%B3%95

-----





-----

References

◎ 大框架

5 algorithms to train a neural network

https://www.neuraldesigner.com/blog/5_algorithms_to_train_a_neural_network


◎ 一、SGD

SGD算法比较 – Slinuxer

https://blog.slinuxer.com/2016/09/sgd-comparison


An overview of gradient descent optimization algorithms

https://ruder.io/optimizing-gradient-descent/


从 SGD 到 Adam —— 深度学习优化算法概览(一) - 知乎

https://zhuanlan.zhihu.com/p/32626442 


◎ 二、牛頓法與高斯牛頓法

(57) Gauss-Newton algorithm for solving non linear least squares explained - YouTube

https://www.youtube.com/watch?v=CjrRFbQwKLA

4.3 Newton's Method

https://jermwatt.github.io/machine_learning_refined/notes/4_Second_order_methods/4_4_Newtons.html

Hessian Matrix vs. Gauss-Newton Hessian Matrix | Semantic Scholar

https://www.semanticscholar.org/paper/Hessian-Matrix-vs.-Gauss-Newton-Hessian-Matrix-Chen/a8921166af9d21cdb8886ddb9a80c703abe3dde5

牛顿法 高斯牛顿法 | Cheng Wei's Blog

https://scm_mos.gitlab.io/algorithm/newton-and-gauss-newton/

◎ 三、共軛梯度法

Deep Learning Book

https://www.deeplearningbook.org/contents/optimization.html

Blog - Conjugate Gradient 1 | Pattarawat Chormai

https://pat.chormai.org/blog/2020-conjugate-gradient-1

linear algebra - Why is the conjugate direction better than the negative of gradient, when minimizing a function - Mathematics Stack Exchange

https://math.stackexchange.com/questions/1020008/why-is-the-conjugate-direction-better-than-the-negative-of-gradient-when-minimi

◎ 四、擬牛頓法

quasi-newton.pdf

http://www.stat.cmu.edu/~ryantibs/convexopt-F18/lectures/quasi-newton.pdf

Quasi-Newton method - Wikipedia

https://en.wikipedia.org/wiki/Quasi-Newton_method

# 很強的架構

梯度下降法、牛顿法和拟牛顿法 - 知乎

https://zhuanlan.zhihu.com/p/37524275

◎ 五、萊文貝格-馬夸特方法

Optimization for Least Square Problems

https://zlthinker.github.io/optimization-for-least-square-problem

萊文貝格-馬夸特方法 - 維基百科,自由的百科全書

https://zh.wikipedia.org/wiki/%E8%8E%B1%E6%96%87%E8%B4%9D%E6%A0%BC%EF%BC%8D%E9%A9%AC%E5%A4%B8%E7%89%B9%E6%96%B9%E6%B3%95

◎ 六、自然梯度法


◎ 七、K-FAC


◎ 八、Shampoo

-----