Paragraph2vec（二）：Overview

Paragraph2vec

2020/12/22

-----

https://pixabay.com/zh/photos/attorney-law-text-of-the-law-lawyer-2730812/

-----

◎ Abstract

-----

◎ Introduction

-----

本論文要解決（它之前研究）的（哪些）問題（弱點）？ 

-----

# Word2vec 1。

說明：

Word Embedding 之後，可以把詞向量加上標籤，進行自然語言常見的任務如 POS、CHUNK、NER、SRL 等任務。

-----

# C&W v2。

說明：

C&W v1 這個詞向量演算法，在進行 POS、CHUNK、NER、SRL 這四個 NLP 任務時，只有 SRL 表現較差，因此 C&W v2 把 window approach 改為 sentence approach，從而改進 SRL 的表現。

https://www.cnblogs.com/qinzhuy/p/12643277.html

「Window Approach 能夠完成絕大部分自然語言處理任務，但是在 SRL 上表現不佳。因此，SENNA 提出了 Sentence Approach 用於適應 SRL。Sentence Approach 採用的卷積網路結構，除了線性層和 HardTanh 層外，還有一個卷積層和一個 Max 層。」

https://blog.csdn.net/hlang8160/article/details/78047676

-----

◎ Method

-----

解決方法？ 

-----

# Paragraph2vec。

Sentence（Paragraph、Document）Embedding。

-----

具體細節？

https://hemingwang.blogspot.com/2021/08/paragraph2vecillustrated_27.html

-----

◎ Result

-----

本論文成果。 

-----

◎ Discussion

-----

本論文與其他論文（成果或方法）的比較。 

-----

成果比較。 

-----

方法比較。 

-----

◎ Conclusion 

-----

◎ Future Work

-----

後續相關領域的研究。 

-----

後續延伸領域的研究。

-----

◎ References

-----

# Paragraph2vec。被引用 6763 次。

Le, Quoc, and Tomas Mikolov. "Distributed representations of sentences and documents." International conference on machine learning. 2014.

http://proceedings.mlr.press/v32/le14.pdf

-----

# Word2vec 1。被引用 18991 次。

Mikolov, Tomas, et al. "Efficient estimation of word representations in vector space." arXiv preprint arXiv:1301.3781 (2013).

https://arxiv.org/pdf/1301.3781.pdf

# Word2vec 2。被引用 23990 次。

Mikolov, Tomas, et al. "Distributed representations of words and phrases and their compositionality." Advances in neural information processing systems. 2013.

https://papers.nips.cc/paper/2013/file/9aa42b31882ec039965f3c4923ce901b-Paper.pdf

# Word2vec 3。被引用 645 次。

Rong, Xin. "word2vec parameter learning explained." arXiv preprint arXiv:1411.2738 (2014).

https://arxiv.org/pdf/1411.2738.pdf

# C&W v1。被引用 5099 次。

Collobert, Ronan, and Jason Weston. "A unified architecture for natural language processing: Deep neural networks with multitask learning." Proceedings of the 25th international conference on Machine learning. 2008.

http://www.cs.columbia.edu/~smaskey/CS6998-Fall2012/supportmaterial/colbert_dbn_nlp.pdf

# C&W v2。被引用 6841 次。本篇論文闡釋了從 Word2vec 繼續發展 Paragraph2vec 的必要性。

Collobert, Ronan, et al. "Natural language processing (almost) from scratch." Journal of machine learning research 12.ARTICLE (2011): 2493-2537.

https://www.jmlr.org/papers/volume12/collobert11a/collobert11a.pdf

-----

The Star Also Rises: Paragraph2vec

https://hemingwang.blogspot.com/2020/08/paragraph2vec.html

-----