BERT（四）：Appendix

 BERT（四）：Appendix

2021/12/16

-----

# BERT Pipeline

說明：

「BERT 每一層所學的就像是 NLP 的 pipeline，先決定詞性，再決定文法，找出代名詞所指射的名詞…等。所以可以看的到，橫軸所代表的是不同的 layer，縱軸則 NLP 的 pipeline，不同的 pipeline 所 output 的 embedding 做 weighted sum 的反應會有所不同。舉例來說，POS 的時候所需的可能是中間的 10~13 層。」

https://hackmd.io/@shaoeChen/Bky0Cnx7L

https://zhuanlan.zhihu.com/p/70757539

-----