Thursday, May 24, 2018

Math Concept(一):Lagrange Multipliers

Math Concept(一):Lagrange Multipliers

2018/05/24

前言:


Summary:


-----


Fig. 1. Example 1 [12].

-----

一、介紹
二、核心觀念
三、數學基礎
四、進階討論
五、相關應用 


-----

一、介紹




-----

二、核心觀念

核心觀念(幾何)

-----


Fig. 2.1. Example 2-1 [7].



Fig. 2.2. Example 2-2 [7].

-----

核心觀念(代數)



Fig. 3.1. [2].




Fig. 3.2. [17].



Fig. 3.2. Lagrange multipliers method [4].

-----

三、數學基礎

梯度
方向導數
(法向量)
切平面

-----

四、進階討論



-----

五、相關應用

Lagrange 乘數法在經濟學 [17], [22] 與統計學 [23], [25] 上亦有相關應用。

「約束最佳化在經濟學占有很重要的地位。例如一個消費者的選擇問題可以被視為一個求效用方程式在預算約束下的最大值問題。拉格朗日乘數在經濟學中被解釋為影子價格,設定在某種約束下,在這裡即收入的邊際效用。」[17]

「尋找統計方法的過程中,常需要在限制條件下找極大或極小值,如最小平方、最大概似等。在概度比檢定中,H0 即是有限制的模型,因此找 H0 下參數之估計 (為了求最大概似度) 時,就會涉及 Lagrange 乘數法的應用。類別資料中多項群體參數之估計,因各細格機率和為 1,也可用 Lagrange 法求解。」[23]

拉格朗日乘數檢驗,英文是 Lagrange multiplier test,或者叫做 Score test,是一種常用的統計檢驗 [24]。「拉氏 (Lagrange) 乘數檢定。 顯示拉氏 (Lagrange) 乘數檢定統計量,以供您評估使用離差或皮爾森 (Pearson) 卡方檢定計算之尺度參數的有效性,或為常態、Gamma、反向高斯 (Gaussian) 和 Tweedie 分配在固定數字設定之尺度參數的有效性。對於負值二項式分配,此檢定會固定輔助參數。」[25]

-----

結論:



-----

References

一、介紹

// SVM


//由連鎖法則,行列式等於0,所以有 lambda
[2] Lagrange 乘數法
http://episte.math.ntu.edu.tw/entries/en_lagrange_mul/index.html

// 兩個法向量為何要成比例? // 因為平行(切線是同一條)
[3] Lagrange 乘數 - YouTube
https://www.youtube.com/watch?v=3ahgXXv-_j8

// 有不錯的例子
[4] 11-10-Lagrange乘子法
http://calculus.yuyumagic424.net/wp-content/uploads/2013/03/11-10-Lagrange%E4%B9%98%E5%AD%90%E6%B3%95.pdf

二、核心觀念

// 梯度跟函数等高线是垂直的
[5] 拉格朗日乘子法 _ Jermmy's Lazy Blog
http://jermmy.xyz/2017/07/27/2017-7-27-understand-lagrange-multiplier/

// 即在最优点 x∗,梯度 ∇g(x) 和 ∇f(x) 的方向必相同或相反 // 也就是平行
[6] 机器学习之拉格朗日乘数法 _ coder_ss's blog
http://guoshangshu.com/2016/11/07/machine_learning/lagrange/

// 如果两个向量平行,则其中一个向量是另一个向量的倍数
[7] 多变量微积分笔记6——拉格朗日乘数法 - CSDN博客
https://blog.csdn.net/sunbobosun56801/article/details/79391654

三、數學基礎

[8] 梯度 - YouTube
https://www.youtube.com/watch?v=npkl19rcpdY

[9] 方向導數 - YouTube
https://www.youtube.com/watch?v=-DumtBiW4HE&t=51s

[10] 切平面 - YouTube
https://www.youtube.com/watch?v=Gvzs6ENj7F0

// 該點的梯度,也就是該處的法向量
[11] 梯度、方向導數與切平面
http://calculus.yuyumagic424.net/wp-content/uploads/2013/02/%E6%A2%AF%E5%BA%A6%E3%80%81%E6%96%B9%E5%90%91%E5%B0%8E%E6%95%B8%E8%88%87%E5%88%87%E5%B9%B3%E9%9D%A2.pdf

[12] Gradient - Wikipedia
https://en.wikipedia.org/wiki/Gradient

[13] Derivative - Wikipedia
https://en.wikipedia.org/wiki/Derivative

[14] Directional derivative - Wikipedia
https://en.wikipedia.org/wiki/Directional_derivative

// 曲面在某點 P 處的法線為垂直於該點切平面(tangent plane)的向量
[15] 法線 - 維基百科,自由的百科全書
https://zh.wikipedia.org/wiki/%E6%B3%95%E7%BA%BF

[16] Tangent space - Wikipedia
https://en.wikipedia.org/wiki/Tangent_space

四、進階討論

// wiki, 基本的
[17] 拉格朗日乘數 - 維基百科,自由的百科全書
https://zh.wikipedia.org/wiki/%E6%8B%89%E6%A0%BC%E6%9C%97%E6%97%A5%E4%B9%98%E6%95%B0 

// 高微嚴謹的證明
[18] lagrange-c
https://yclinpa.files.wordpress.com/2017/01/lagrange-c.pdf

// 講的很神,最後再看
[19] Lagrange 乘數法 _ 線代啟示錄
https://ccjou.wordpress.com/2012/05/30/lagrange-%E4%B9%98%E6%95%B8%E6%B3%95/

[20] Lagrange multiplier - Wikipedia
https://en.wikipedia.org/wiki/Lagrange_multiplier 

[21] 拉格朗日乘子法如何理解? - 知乎
https://www.zhihu.com/question/38586401 
  
五、應用

// 我們希望得到最大的效用,這是一個有限制條件的極值問題,令. f(x,y)=Px x+Py y-B=0. 由Lagrange 乘子法
[22] 經濟學應用:無差異曲線
http://episte.math.ntu.edu.tw/applications/ap_curve/index.html

// 統計
[23] Lagrange 乘數在統計上的應用
http://www.stat.ncku.edu.tw/bgsf/dissemination/talk/8-8.txt 

// 拉氏 (Lagrange) 乘數檢定。
[24] IBM Knowledge Center - 概化線性模型統計量
https://www.ibm.com/support/knowledgecenter/zh-tw/SSLVMB_24.0.0/spss/advanced/idh_idd_genlin_statistics.html 

// Lagrange multiplier test,或者叫做 Score test,是一种常用的统计检验
[25] 拉格朗日乘数检验 – Little Tail
https://zhanxw.com/blog/2014/12/%E6%8B%89%E6%A0%BC%E6%9C%97%E6%97%A5%E4%B9%98%E6%95%B0%E6%A3%80%E9%AA%8C/

No comments: