Thursday, December 16, 2021

BERT(四):Appendix

 BERT(四):Appendix

2021/12/16

-----


# BERT Pipeline

說明:

「BERT 每一層所學的就像是 NLP 的 pipeline,先決定詞性,再決定文法,找出代名詞所指射的名詞…等。所以可以看的到,橫軸所代表的是不同的 layer,縱軸則 NLP 的 pipeline,不同的 pipeline 所 output 的 embedding 做 weighted sum 的反應會有所不同。舉例來說,POS 的時候所需的可能是中間的 10~13 層。」

https://hackmd.io/@shaoeChen/Bky0Cnx7L

https://zhuanlan.zhihu.com/p/70757539

-----

No comments:

Post a Comment

Note: Only a member of this blog may post a comment.