Thursday, December 17, 2020

What's the main points of Transformer?

What's the main points of Transformer?

2020/10/27

-----


-----

-----

一、基礎學習與論文理解(70%)。


◎ 1. 可以從這篇論文學到什麼(解決什麼問題)? 

◎ A. 問題原因。 

◎ 1.a.1:過往這個領域已經做到甚麼程度?

-----


# ConvS2S 論文。

-----

◎ 1.a.2:最近的研究遇到了甚麼瓶頸?

◎ 1.a.3:議題發生的根本原因是甚麼?


◎ B. 解決方法。 

◎ 1.b.1:作者採用甚麼方式解決?

◎ 1.b.2:細節內容是如何解決的?

◎ 1.b.3:(optional)- 作者是否有說明思路? - 或是後續研究者的討論?


◎ C. 效能評估。 

◎ 1.c.1:成果效能的比較。

◎ 1.c.2:目前這個方法是否還有限制,是甚麼?

◎ 1.c.3:(optional)- 作者對後續發展的期許? - 其他研究者後續的發展?


二、後續發展與延伸應用(30%)


◎ 2. 可以應用在那些垂直領域(應用領域)? 

◎ 3. 這篇論文的價值在哪(如何跨領域延伸應用)? 

◎ 4. 如果要改進可以怎麼做(後續的研究)?

-----

-----

References

◎ 相關論文

◎ 延伸論文

十、Transformer - 英宗 Transformer Transformer Lab GPT-1、(GPT-2、GPT-3) BERT

◎ 參考文章

The Star Also Rises: NLP(五):Transformer

http://hemingwang.blogspot.com/2019/01/transformer.html

-----

No comments: