Short Attention（二）：Overview

Short Attention（二）：Overview

2020/12/28

-----

https://pixabay.com/zh/photos/ask-sign-design-creative-2341784/

-----

◎ Abstract

-----

◎ Introduction

-----

本論文要解決（它之前研究）的（哪些）問題（弱點）？ 

-----

# GNMT。

說明：

Seq2seq 到 Attention，再到 GNMT 的多層 LSTM 架構，還是遇到了瓶頸。

-----

◎ Method

-----

解決方法？ 

-----

# Short Attention。

說明：

將向量分解成 QKV，可以比單純的 Seq2seq 與 Attention 效能更上層樓。

-----

具體細節？

-----

◎ Result

-----

本論文成果。 

-----

◎ Discussion

-----

本論文與其他論文（成果或方法）的比較。 

-----

成果比較。 

-----

方法比較。 

-----

◎ Conclusion 

-----

◎ Future Work

-----

後續相關領域的研究。 

-----

後續延伸領域的研究。

-----

◎ References

-----

# GNMT。被引用 3391 次。

Wu, Yonghui, et al. "Google's neural machine translation system: Bridging the gap between human and machine translation." arXiv preprint arXiv:1609.08144 (2016).

https://arxiv.org/pdf/1609.08144.pdf

# Short Attention。被引用 76 次。

Daniluk, Michał, et al. "Frustratingly short attention spans in neural language modeling." arXiv preprint arXiv:1702.04521 (2017).

https://arxiv.org/pdf/1702.04521.pdf

-----

Attention in NLP. In this post, I will describe recent… | by Kate Loginova | Medium

https://medium.com/@edloginova/attention-in-nlp-734c6fa9d983

-----