ELMo（二）：Overview

ELMo（二）：Overview

2020/12/28

-----

https://pixabay.com/zh/photos/elmo-pirate-toy-kids-sailor-2078481/

-----

◎ Abstract

-----

◎ Introduction

-----

本論文要解決（它之前研究）的（哪些）問題（弱點）？ 

-----

# Paragraph2vec。

說明：

句向量。

-----

◎ Method

-----

解決方法？ 

-----

Modified from # BERT。

說明：

預訓練可以輸出三層的上下文向量。

-----

具體細節？

說明：

三層拼接，基於上下文的向量。

-----

◎ Result

-----

本論文成果。 

-----

◎ Discussion

-----

本論文與其他論文（成果或方法）的比較。 

-----

成果比較。 

-----

方法比較。 

-----

◎ Conclusion 

-----

◎ Future Work

-----

後續相關領域的研究。 

-----

後續延伸領域的研究。

-----

◎ References

-----

# Paragraph2vec。被引用 6763 次。

Le, Quoc, and Tomas Mikolov. "Distributed representations of sentences and documents." International conference on machine learning. 2014.

http://proceedings.mlr.press/v32/le14.pdf

# Context2vec。被引用 312 次。

Melamud, Oren, Jacob Goldberger, and Ido Dagan. "context2vec: Learning generic context embedding with bidirectional lstm." Proceedings of the 20th SIGNLL conference on computational natural language learning. 2016.

https://www.aclweb.org/anthology/K16-1006.pdf

CoVe

ELLM

# ELMo。被引用 5229 次。ELMo 是 Context2vec 中，做的最好的。

Peters, Matthew E., et al. "Deep contextualized word representations." arXiv preprint arXiv:1802.05365 (2018).

https://arxiv.org/pdf/1802.05365.pdf

# BERT。被引用 12556 次。

Devlin, Jacob, et al. "Bert: Pre-training of deep bidirectional transformers for language understanding." arXiv preprint arXiv:1810.04805 (2018).

https://arxiv.org/pdf/1810.04805.pdf

-----

The Star Also Rises: ELMo

https://hemingwang.blogspot.com/2019/04/elmo.html

-----