Thursday, April 26, 2018

Machine Learning Discussion(四):Log-Likelihood

Machine Learning Discussion(四):Log-Likelihood

2017/05/25

1. Log 為遞增的凹函數,找極大值可以到 log domain 上做,再轉回來。
2. 轉 log domain 後,乘法變加法,簡化運算。

-----

[3]

最近又回頭看 GAN 了。公式一的定義可以從 Goodfellow 書前面統計的章節查到。另外,有關 log-likelihood,先抄一下 wiki,再仔細看一下這篇文章!

For many applications, the natural logarithm of the likelihood function, called the log-likelihood, is more 「convenient」 to work with.

「Because the logarithm is a monotonically increasing function, the logarithm of a function achieves its maximum value at the same points as the function itself」.

-----

David Tung:剛看完該書第六章,第六章也仔細說明 log-likelihood 比較方便的幾個地方, 1. negative log-likelihood 可以直接當 cost function 2. 當 sigmoid 用作output unit 時 log-likelihood 會產生 softplus 的 cost function,數值運算和微分後的特性都比較好(如相對 mean squared error)。3. 當 sigmoid 或 softmax 用作output unit 時 cross-entropy (也有log程式,但不知可否可由log-likelihood推導而得) 當cost function,微分後的特性比較好。4. 當我們假設Gaussian model (model 輸出和預期值的誤差) 時, minimum negative log-likelihood 就等於 minimum mean squared error。 

郭宗賢:cross-entropy (也有log程式,但不知可否可由log-likelihood推導而得) 可以. 應該有推導。。 

David Tung:可以指出參考文獻嗎? 比如以principle of maximum likelihood如何推出等同cross-entropy為cost function? 

郭宗賢:chapter 3.3+chapter 5.5 ...(你知道的, 這本書的證明推導的非常簡略)... 讚 · 回覆 · 2 · 5月23日 0:53 David Tung David Tung Chapter 5.5 是在推導我的疑問,謝謝。請問你們前面五章分兩次進行的, 有無錄影? 

郭宗賢:有, 但是, 第一次錄影, 好像品質比較差些..(聲音比較小)..將就看..

https://www.youtube.com/watch?v=DeXH5IMHfcs

-----

References

[1] Likelihood function - Wikipedia
https://en.wikipedia.org/wiki/Likelihood_function

[2] 1.4 - Likelihood & LogLikelihood _ STAT 504
https://onlinecourses.science.psu.edu/stat504/node/27

[3]
https://www.facebook.com/groups/Taiwan.AI.Group/permalink/1836886919967074/ 

[4] Why maximise 'log' likelihood  - YouTube
https://www.youtube.com/watch?v=ddqny3aZNPY&app=desktop

[5] ML notes  Why the log-likelihood  – metaflow-ai
https://blog.metaflow.fr/ml-notes-why-the-log-likelihood-24f7b6c40f83

No comments: