ラグランジュの未定乗数法について

質問

ウィキペディアでラグランジュの未定乗数法について調べたのですが、その中で教えてもらいたいことがあります。
図１と図２を使って幾何的に説明をしているのですが、最後のほうで「ここで０でないスカラーλを導入し、ｆ－λｇを考える。上の点の条件は、λのある値に対してｆ－λｇの勾配が０であるということに等しい（λはｆとｇの勾配比）」とあります。
ｆ－λｇの図的な意味が分からないので、勾配が０になることが、ｆとｇが接することと同じであることの
理解ができません。よろしくお願いします。
なお、ｆ（ｘ，ｙ）の最大値は、図２の場合、ｄ１と判断できると思いました。

回答No.6

ak0123

これ勾配比というのは意味がわからないですが、、

解のところでは、 g(x, y) = 0 の平面上の接線と、z = f(x, y) の空間上の接面の xy 切断面が同じになっていますよね。
ここでの「同じ」という制約は2次元ですが、3次元上で考えるとλが出てきます。

具体的には z = λg(x, y) という曲面を考えると、解のところでこれの接面（これが常に g(x, y) = 0 の平面上の接線を含む）の傾きと、z = f(x, y) の接面の傾きを同じにするようなλが存在します。で、このλで f(x, y) - λg(x, y) の偏微分が 0 になります。

回答No.5

中村 拓男（@tknakamuri）

まだ受け付けているようなので、

「さるでも判るラグランジュの未定乗数法」

----------
「線形代数の部分」

N項のベクトルの部分空間を A, B, C があって,AとB, BとCが互いに直交補空間の関係ならば
任意の a∈A, b∈B, c∈C (a, b, c は N項ベクトル)は

a・b = 0
b・c = 0

A は C の直交補空間の直交補空間なので
A=C であることは自明(厳密な照明は線形代数の専門書を見てください)。
従って、C の基底を c1, c2, ... ck とすると

任意の a は

a = λ1 c1 + λ2 c2 + ... λk ck ⇒ a -λ1 c1 -λ2 c2 ... -λk ck = 0

で表せる。λ1 は一次結合係数。ここまでが基本です。

----------
「停留地問題への応用」

ここで、

a = (∂f/x1, ∂f/x2, ... ∂f/xN) f の勾配
b = (δx1, δx2, .. δxN) 任意の微小変位
c1 = (∂g1/x1, ∂g1/x2, ... ∂g1/xN)) 束縛条件の微分形式1
c2 = (∂g2/x1, ∂g2/x2, ... ∂g2/xN)) 束縛条件の微分形式2
:
ck = (∂gk/x1, ∂gk/x2, ... ∂gk/xN)) 束縛条件の微分形式N

と置くと停留値問題に上の線形代数の結果を当てはめることができます。
これがラグランジュの未定乗数法です。

a・b = 0 ⇒ f の停留条件
b・c = 0 ⇒ 束縛条件

なので解は上の結果から直ちに

a -λ1 c1 -λ2 c2 ... -λk ck = 0 ⇒

∂f/xi - Σλj∂gj/xi = 0 (i = 1 ～ N)

従って f - Σλjgj を束縛が無く、x1, x2, ～xN, λ1, λ2, ...λk
が独立の変数の関数として停留値を求めればよい。

お礼

回答ありがとうございます
自分のレベルを超えていると思いました
具体的な例から入りたいと思いました

回答No.4

reiman

定理（ラグランジュの未定乗数法）：
f(x1,x2,・・・,xn),g1(x1,x2,・・・,xn),・・・,gm(x1,x2,・・・,xn)
は開領域Dにて連続微分可能とする
f(x1,x2,・・・,xn)が
g1(x1,x2,・・・,xn)=0
・・・・・・・・・・
gm(x1,x2,・・・,xn)=0
の拘束条件のもとに(a1,a2,・・・,an)∈Dで極値を持つ必要条件は
F(x1,x2,・・・,xn,s1,s2,・・・,sm)
:=f(x1,・・・,xn)-s1*g1(x1,・・・,xn)-・・・-sm*gm(x1,・・・,xn)
としたとき
∂F(a1,a2,・・・,an,s1,s2,・・・,sm)/∂x1=0
・・・・・・・・・・・・・・・・・・・・・・
∂F(a1,a2,・・・,an,s1,s2,・・・,sm)/∂xn=0
∂F(a1,a2,・・・,an,s1,s2,・・・,sm)/∂s1=0 (g1(a1,・・・,an)=0と同じ)
・・・・・・・・・・・・・・・・・・・・・・
∂F(a1,a2,・・・,an,s1,s2,・・・,sm)/∂sm=0 (gm(a1,・・・,an)=0と同じ)
である

命題：
vをn次元行ベクトルとし
Vをm行n列の行列とし
xをn次元列ベクトルとしたとき
V*x=0である任意のxにてv*x=0となるならば
vはVの行ベクトルの線形一次結合で表される

定理証明：
(a1,・・・,an)から媒介変数をtとして直線を引く
x1=p1*t+a1
x2=p2*t+a2
・・・・・・・
xn=pn*t+an
直線に沿った(x1,x2,・・・,xn)=(a1,・・・,an)におけるf(x1,x2,・・・,xn)の微分は
f'(a1,・・・,an)=p1*∂f(a1,・・・,an)/∂x1+・・・+pn*∂f(a1,・・・,an)/∂xn
g1(x1,x2,・・・,xn),・・・,gm(x1,x2,・・・,xn)ついてのそれは
g1'(a1,・・・,an)=p1*∂g1(a1,・・・,an)/∂x1+・・・+pn*∂g1(a1,・・・,an)/∂xn
・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・
gm'(a1,・・・,an)=p1*∂gm(a1,・・・,an)/∂x1+・・・+pn*∂gm(a1,・・・,an)/∂xn
g1(a1,・・・,an)=…=gm(a1,・・・,an)=0の拘束条件のもと前記直線が引けるためには
g1'(a1,・・・,an)=・・・=gm'(a1,・・・,an)=0
その時にf(x1,x2,・・・,xn)が(x1,x2,・・・,xn)=(a1,・・・,an)で極値をとるならば
f'(a1,・・・,an)=0
以上から
g1'(a1,・・・,an)=・・・=gm'(a1,・・・,an)=0である任意の直線について
f'(a1,・・・,an)=0であることは
f(x1,x2,・・・,xn)が(x1,x2,・・・,xn)=(a1,・・・,an)で極値をとる必要条件である
v=[∂f(a1,・・・,an)/∂x1　・・・　∂f(a1,・・・,an)/∂xn]
V=
[∂g1(a1,・・・,an)/∂x1　・・・　∂g1(a1,・・・,an)/∂xn]
[・・・・・・・・・・・・・・・・・・・・・・・・・・・]
[∂gm(a1,・・・,an)/∂x1　・・・　∂gm(a1,・・・,an)/∂xn]
x=[p1　・・・　pn]^T
とすれば命題によりラグランジュの未定乗数法は証明されたことになる

回答No.3

alice_44

f の多変数テイラー展開を考えれば、
∇f が f の等高線(等高面？)の法線ベクトル
であることが解る。g についても同様なので、
∃λ,∇f-λ∇g=0 すなわち ∇f//∇g は、
f の等高線が g=定数 に接する条件である。
こうして、g=定数 という条件下での
f の極値条件が得られた。
∇(f-λg)=0 とまとめてしまうと、
f-λg って何だ？という話になってしまうが、
∇f = λ∇g で考えれば、幾何学的直感に沿う。

お礼

回答ありがとうございます
「∃λ,∇f-λ∇g=0 すなわち ∇f//∇g は、
f の等高線が g=定数 に接する条件である。」
この部分の説明は「なるほど、こう考えるのか」と
思いました。質問はしているのですが、
自分の疑問がはっきりとよく分からなかったところが
あったのですが、回答をみていて、思ったのは、f-λg で
fは高さにあたり、gはxy平面上に存在していて、それをつなぐものとして
λがあるけれど、つながれたf-λg は、何かにもどってしまいます。
話しが行ったり来たりしてしまいますが、∇f//∇gがf-λg から導かれる
と思うのですが、「接している」と言う条件もないとと思いました。
自分でもよく分からない中で、考えているので、とんちんかんな話しになり
申し訳ありません。

回答No.2

reiman

ラグランジュについてはサイトにはあまりいい説明は無いようです
とくにWikipediaはこの項目についてはあまり良く有りません
だれかが書き直してほしいものです
ラグランジュの未定乗数法の定理を即席で作ってみました
即席なので書き間違いが有るかもしれません

定理（ラグランジュの未定乗数法）：
f(x1,x2,・・・,xn),g1(x1,x2,・・・,xn),・・・,gm(x1,x2,・・・,xn)
は開領域Dにて連続微分可能とする
f(x1,x2,・・・,xn)が
g1(x1,x2,・・・,xn)=0
・・・・・・・・・・
gm(x1,x2,・・・,xn)=0
の拘束条件のもとに(a1,a2,・・・,an)∈Dで極値を持つ必要条件は
F(x1,x2,・・・,xn,s1,s2,・・・,sm)
:=f(x1,・・・,xn)-s1*g1(x1,・・・,xn)-・・・-sm*gm(x1,・・・,xn)
としたとき
∂F(a1,a2,・・・,an,s1,s2,・・・,sm)/∂x1=0
・・・・・・・・・・・・・・・・・・・・・・
∂F(a1,a2,・・・,an,s1,s2,・・・,sm)/∂xn=0
∂F(a1,a2,・・・,an,s1,s2,・・・,sm)/∂s1=0 (g1(a1,・・・,an)=0と同じ)
・・・・・・・・・・・・・・・・・・・・・・
∂F(a1,a2,・・・,an,s1,s2,・・・,sm)/∂sm=0 (gm(a1,・・・,an)=0と同じ)
である

狐につままれたようなこの定理は次の命題が証明されることにより氷解する

命題：
vをn次元行ベクトルとし
Vをm行n列の行列とし
xをn次元列ベクトルとしたとき
V*x=0である任意のxにてv*x=0となるならば
vはVの行ベクトルの線形一次結合で表される

この命題を使えばラグランジュの未定乗数法を簡単に証明出きるのでこの命題の証明を補足してください

お礼

回答ありがとうございます
Wikipediaの最初の部分の幾何的な説明のところが、自分のレベルでも
理解できると思い見てみました。f-λgの形の意味するところが、わかれば
と思いました。次元が４次元以上になれば、どう考えればよいのか、と思いますが。
先ずは、Wikipediaの最初の部分に書かれていることを理解したいと思いました。
が、質問でも書いたようにあの部分が分かりませんでした。

回答No.1

中村 拓男（@tknakamuri）

ラグランジュの未定乗数は実は束縛条件を表す部分空間の
直交補空間の直交補空間の線形結合係数であるという点を
理解すると、ラグランジュの未定乗数法は氷解してしまいます。

つまり、ラグランジュの未定乗数は、線形代数の
編微分への応用にすぎません。元は線形代数なんです。

この辺りの詳細は書籍

「解析力学」
http://www.amazon.co.jp/%E8%A7%A3%E6%9E%90%E5%8A%9B%E5%AD%A6-%E7%89%A9%E7%90%86%E3%83%86%E3%82%AD%E3%82%B9%E3%83%88%E3%82%B7%E3%83%AA%E3%83%BC%E3%82%BA-2-%E5%A4%A7%E8%B2%AB-%E7%BE%A9%E9%83%8E/dp/4000077422/ref=cm_lmf_tit_17

を参照してください。悩むよりこれを読むほうが100倍楽です。

少々古い本ですが、ネットこのあたりをちゃんと解説したものを
見たことがないのでとてもお勧めです。

お礼

回答ありがとうごさいます
悩むよりこれを読むほうが100倍楽です。これに期待し、
読んでみたいと思いますが、どうしても難しいと構えてしまいます。