BLEU

 BLEU

2020/11/02

-----

BLEU（Bilingual Evaluation Understudy，發音近似 blue），Transformer 的評估標準之二。

-----

https://pixabay.com/zh/photos/champs-de-lave-volcans-paysage-4637076/

-----

「通常我們有 BLEU score（Bilingual Evaluation Understudy 雙語評估替補） 來解決。在戲曲界，understudy 指的是候補演員。」[2]。

「聽到老法講到 Cordon Bleu 時 bleu 的發音就跟英文的 blue 相近。」[3]。

-----

# BLEU

-----

Bilingual Evaluation Understudy 雙語評估替補。understudy 在戲曲界指的是候補演員。

一、modified n-gram（Pn）統計預測句的 n-gram 出現在參考句中的次數，但每個 gram 的次數不得超出參考句該 gram 的次數。舉例，輸出句有 7 個 the，參考句有 2 個 the，輸出句只能算 2 個正確，不能算 7 個正確。。

二、BP：短句比較容易得高分，所以加一個懲罰項。

-----

-----

BLEU 計算範例

candidate：Going to play basketball this afternoon ?（含標點符號字數為 7）

reference：Going to play basketball in the afternoon ?（含標點符號字數為 8）

P1 = 6/7 = 0.857...（Going to play basketball afternoon ?）

P2 = 4/6 = 0.666...（Going to, to play, play basketball, afternoon ?）

P3 = 2/5 = 0.4（Going to play, to play basketball）

P4 = 1/4 = 0.25（Going to play basketball）

r = 8

c = 7

BLEU = 0.423

-----

https://www.cnblogs.com/by-dream/p/7679284.html

https://blog.csdn.net/qq_42067550/article/details/105957469

https://tw.answers.yahoo.com/question/index?qid=20080619000016KK03830

-----

References

◎ 主要論文

[1] BLEU

Papineni, Kishore, et al. "BLEU: a method for automatic evaluation of machine translation." Proceedings of the 40th annual meeting of the Association for Computational Linguistics. 2002.

https://www.aclweb.org/anthology/P02-1040.pdf

-----

◎ 網路文章

[2] NLP机器翻译任务中，如何用Bleu score评价翻译质量（学习心得）_AItrust的博客-CSDN博客

https://blog.csdn.net/qq_42067550/article/details/105957469

[3] 請問一下這個字bleu | Yahoo奇摩知識+

https://tw.answers.yahoo.com/question/index?qid=20080619000016KK03830

-----