The Star Also Rises: October 2020

Wednesday, October 28, 2020

From Statistics to Deep Learning

2020/10/28

-----

https://pixabay.com/zh/photos/mathematics-formula-smartphone-3348991/

-----

Gaussian Distribution（Formula）

Linear Regression（Least Squares）

Polynomial Regression（Curve Fitting）

Logistic Regression（Gradient Descent）

Machine Learning

Representation Learning（Neuron）

Deep Learning

-----

Tuesday, October 27, 2020

What's the main points of LSTM?

2020/10/27

-----

一、基礎學習與論文理解（70%）。

◎ 1. 可以從這篇論文學到什麼（解決什麼問題）？

◎ A. 問題原因。

◎ 1.a.1：過往這個領域已經做到甚麼程度？

◎ 1.a.2：最近的研究遇到了甚麼瓶頸？

◎ 1.a.3：議題發生的根本原因是甚麼？

◎ B. 解決方法。

◎ 1.b.1：作者採用甚麼方式解決？

◎ 1.b.2：細節內容是如何解決的？

◎ 1.b.3：（optional）- 作者是否有說明思路？ - 或是後續研究者的討論？

◎ C. 效能評估。

◎ 1.c.1：成果效能的比較。

◎ 1.c.2：目前這個方法是否還有限制，是甚麼？

◎ 1.c.3：（optional）- 作者對後續發展的期許？ - 其他研究者後續的發展？

二、後續發展與延伸應用（30%）

◎ 2. 可以應用在那些垂直領域（應用領域）？

◎ 3. 這篇論文的價值在哪（如何跨領域延伸應用）？

◎ 4. 如果要改進可以怎麼做（後續的研究）？

-----

References

相關論文

延伸論文

六、LSTM - Kiki LSTM LSTM Lab NNLM、（C&W、RNNLM） Word2vec、LSA、GloVe、FastText v1 v2、WordRank）

-----

What's the main points of YOLO?

2020/10/27

-----

一、基礎學習與論文理解（70%）。

◎ 1. 可以從這篇論文學到什麼（解決什麼問題）？

◎ A. 問題原因。

◎ 1.a.1：過往這個領域已經做到甚麼程度？

◎ 1.a.2：最近的研究遇到了甚麼瓶頸？

◎ 1.a.3：議題發生的根本原因是甚麼？

◎ B. 解決方法。

◎ 1.b.1：作者採用甚麼方式解決？

◎ 1.b.2：細節內容是如何解決的？

◎ 1.b.3：（optional）- 作者是否有說明思路？ - 或是後續研究者的討論？

◎ C. 效能評估。

◎ 1.c.1：成果效能的比較。

◎ 1.c.2：目前這個方法是否還有限制，是甚麼？

◎ 1.c.3：（optional）- 作者對後續發展的期許？ - 其他研究者後續的發展？

二、後續發展與延伸應用（30%）

◎ 2. 可以應用在那些垂直領域（應用領域）？

◎ 3. 這篇論文的價值在哪（如何跨領域延伸應用）？

◎ 4. 如果要改進可以怎麼做（後續的研究）？

-----

References

相關論文

延伸論文

五、YOLO - Sam YOLO YOLO Lab SSD、（DSSD、YOLO v2、FPN、RetinaNet、YOLOv3） YOLO v4

-----

What's the main points of FCN?

2020/10/27

-----

個人對於週日論文研討的期望如下：

1. 可以從這篇論文學到什麼（解決什麼問題）？

A. 問題原因。

B. 解決方法。

C. 效能評估。

2. 可以應用在那些垂直領域（應用領域）？

3. 這篇論文的價值在哪（如何跨領域延伸應用）？

4. 如果要改進可以怎麼做（後續的研究）？

-----

問一：可以從這篇論文學到什麼（解決什麼問題）？

答一：

-----

問一Ａ：問題原因。

答一Ａ：

-----

問一Ｂ：解決方法。

答一Ｂ：

-----

問一Ｃ：效能評估。

答一Ｃ：

-----

問二：可以應用在那些垂直領域（應用領域）？

答二：

-----

問三：這篇論文的價值在哪（如何跨領域延伸應用）？

答三：

-----

問四：如果要改進可以怎麼做（後續的研究）？

答四：

-----

References

相關論文

延伸論文

四、FCN - 聖耀 FCN、（U-Net、V-Net、3D U-Net、Attention U-Net、Skip Connections、U-Net++、MultiResUNet、DC-UNet） FCN Lab、（3D U-Net Lab） Faster R-CNN Mask R-CNN、（MS R-CNN、

-----

What's the main points of ResNet?

2020/10/27

-----

一、基礎學習與論文理解（70%）。

◎ 1. 可以從這篇論文學到什麼（解決什麼問題）？

◎ A. 問題原因。

◎ 1.a.1：過往這個領域已經做到甚麼程度？

◎ 1.a.2：最近的研究遇到了甚麼瓶頸？

◎ 1.a.3：議題發生的根本原因是甚麼？

◎ B. 解決方法。

◎ 1.b.1：作者採用甚麼方式解決？

◎ 1.b.2：細節內容是如何解決的？

◎ 1.b.3：（optional）- 作者是否有說明思路？ - 或是後續研究者的討論？

◎ C. 效能評估。

◎ 1.c.1：成果效能的比較。

◎ 1.c.2：目前這個方法是否還有限制，是甚麼？

◎ 1.c.3：（optional）- 作者對後續發展的期許？ - 其他研究者後續的發展？

二、後續發展與延伸應用（30%）

◎ 2. 可以應用在那些垂直領域（應用領域）？

◎ 3. 這篇論文的價值在哪（如何跨領域延伸應用）？

◎ 4. 如果要改進可以怎麼做（後續的研究）？

-----

References

相關論文

ResNet v1

ResNet-D

ResNet v2

ResNet-E

ResNet-V

延伸論文

三、ResNet - Leo ResNet v1、（ResNet-D、ResNet v2、ResNet-E、ResNet-V） ResNet Lab WRN、（PyramidNet、ResNeXt） DenseNet、（DPN、DLA、Res2Net）

-----

What's the main points of NIN?

2020/10/27

-----

一、基礎學習與論文理解（70%）。

◎ 1. 可以從這篇論文學到什麼（解決什麼問題）？

◎ A. 問題原因。

◎ 1.a.1：過往這個領域已經做到甚麼程度？

◎ 1.a.2：最近的研究遇到了甚麼瓶頸？

◎ 1.a.3：議題發生的根本原因是甚麼？

◎ B. 解決方法。

◎ 1.b.1：作者採用甚麼方式解決？

◎ 1.b.2：細節內容是如何解決的？

◎ 1.b.3：（optional）- 作者是否有說明思路？ - 或是後續研究者的討論？

◎ C. 效能評估。

◎ 1.c.1：成果效能的比較。

◎ 1.c.2：目前這個方法是否還有限制，是甚麼？

◎ 1.c.3：（optional）- 作者對後續發展的期許？ - 其他研究者後續的發展？

二、後續發展與延伸應用（30%）

◎ 2. 可以應用在那些垂直領域（應用領域）？

◎ 3. 這篇論文的價值在哪（如何跨領域延伸應用）？

◎ 4. 如果要改進可以怎麼做（後續的研究）？

-----

References

相關論文

NIN

SENet、SKNet、STNet、RANet、BAM、CBAM、RASNet。

延伸論文

GoogLeNet（Inception v1）、Batch Normalization（Inception v2）、Inception v3、Inception v4。

VGGNet、PreVGGNet、Highway v1、Highway v2。

-----

What's the main points of LeNet?

2020/10/27

-----

一、基礎學習與論文理解（70%）。

◎ 1. 可以從這篇論文學到什麼（解決什麼問題）？

◎ A. 問題原因。

◎ 1.a.1：過往這個領域已經做到甚麼程度？

◎ 1.a.2：最近的研究遇到了甚麼瓶頸？

◎ 1.a.3：議題發生的根本原因是甚麼？

◎ B. 解決方法。

◎ 1.b.1：作者採用甚麼方式解決？

◎ 1.b.2：細節內容是如何解決的？

◎ 1.b.3：（optional）- 作者是否有說明思路？ - 或是後續研究者的討論？

◎ C. 效能評估。

◎ 1.c.1：成果效能的比較。

◎ 1.c.2：目前這個方法是否還有限制，是甚麼？

◎ 1.c.3：（optional）- 作者對後續發展的期許？ - 其他研究者後續的發展？

二、後續發展與延伸應用（30%）

◎ 2. 可以應用在那些垂直領域（應用領域）？

◎ 3. 這篇論文的價值在哪（如何跨領域延伸應用）？

◎ 4. 如果要改進可以怎麼做（後續的研究）？

-----

References

相關論文

# LeNet

# 1989

延伸論文

# AlexNet

# PreAlexNet

# ZFNet

# PreZFNet

# Deconv

-----

Friday, October 23, 2020

Language

2020/10/23

-----

https://pixabay.com/zh/photos/love-hate-german-text-language-2644155/

-----

https://en.wikipedia.org/wiki/Language_family

-----

http://fukunan-blog.cocolog-nifty.com/fukunanblog/2019/01/post-b08e.html

-----

http://dcc.dickinson.edu/grammar/latin/case-endings-five-declensions

-----

https://www.pinterest.com/pin/119767671312510959/

-----

第一語言與第二語言

「1997 年一個雙語實驗顯示：第一和第二語言大腦處理的區塊不相同，尤其第二語言的區域更是因人而異。實驗者給法文為母語，英文為第二語言的受試者聽法文和英文的故事，同時做核磁共振的大腦掃瞄，結果發現「第一語言都在左腦的顳葉處理」，右邊的顳葉雖然也有活化，但是活化程度大不如左。但是第二語言學習的區域就很不一致了，在他的八位男性受試者中（都是7歲以後開始學英文）找不到一個至少六個人有共同處的地方，「第二語言的處理都轉到右腦去了」，即使左腦有活化也遠比右腦弱。也就是說，第一語言的學習通常是左腦皮質的任務，但是第二語言會因每個人的學習策略而異。」

https://parents.hsin-yi.org.tw/Library/Article/5609

https://blog.xuite.net/tcpang/twblog/157224124-%E5%BE%9E%E5%A4%A7%E8%85%A6%E7%A5%9E%E7%B6%93%E7%A7%91%E5%AD%B8%E7%9A%84%E8%A7%92%E5%BA%A6%E7%9C%8B%E8%AA%9E%E6%96%87%E5%AD%B8%E7%BF%92

-----

https://www.vectorstock.com/royalty-free-vector/human-brain-anatomy-card-poster-vector-20498832

-----

https://www.vectorstock.com/royalty-free-vector/cartoon-human-brain-anatomy-in-a-cut-vector-13237286

-----

左腦與右腦

◎ 右腦發達的人對所接收的訊息，是用符號、圖像，或圖案來記憶，因此可以一次記住大量的訊息。如同使用相機拍成照片再處理成影像及圖案，作為記憶。此外，右腦發達的人在感受外界的五感（視聽嗅觸味五覺）刺激時，會依照當下的感受留存記憶，這也是右腦的特性之一。因此，右腦是屬於圖像腦。

◎ 右腦型的人，發揮情感、欣賞藝術的腦細胞集中在右半球。知覺和想像力較強、高創造性、不拘泥於局部分析，往往會統觀全局及大膽猜測，是屬於直覺型結論。

◎ 左腦發達的人，記憶時並不是依據圖案，而是用文字語言來熟稔，對牢記背誦的科目較為擅長。對於五感的刺激，會將當時的感受轉化為言語並留存記憶，因此，左腦是屬於言語腦。

◎ 左腦型的人，理解數學和語言的腦細胞集中在左半球。處理事情比較有邏輯、條理，社交場合上較活躍，善於組織、統計、方向感強。判斷各種關係和因果善於做技術類、抽象等工作。

https://www.chinatimes.com/realtimenews/20151005004166-260405?chdtv

-----

https://pixabay.com/zh/photos/hypnosis-clock-pocket-watch-4041583/

https://hemingwang.blogspot.com/2019/01/history-of-natural-language-processing.html

-----

https://practicalpie.com/edward-thorndike/

-----

語料庫

「十九世紀語言學家 Kading (1897) 曾使用一千多萬個德文字來計算德文中字母出現的頻率，但將語料研究應用在英語教學領域的先驅，則要從「Thorndike (1921)」、Palmer (1933)、Fries and Traver (1940) 與 Bongers (1947) 所做的字頻 (word count) 開始算起。他們從 1927 年到 1957 年期間大量匯集語料，1957 年之後則開始以語料為基礎做研究。」

http://www.cavesbooks.com.tw/CET/ArtContent_tw.aspx?CDE=ART201308271330094HD

-----